苹果为即将推出的 Siri 屏幕感知功能做准备，并为开发人员提供新的 iOS 18.2 API

作为其Apple Intelligence功能集的一部分， 苹果正在开发更先进的Siri功能，并且为此做好准备，它一直向开发人员提供 App Intent API，以便应用程序能够为新功能做好准备。

随着最新一波测试版的发布，苹果推出了一款新 API，允许开发者将其应用中的屏幕内容提供给 Siri 和 Apple Intelligence。摘自苹果的文档：

当用户询问有关屏幕内容的问题或想要对其执行操作时，Siri 和 Apple Intelligence
可以检索内容以回答问题并执行操作。如果用户明确请求，Siri 和 Apple Intelligence
可以将内容发送到支持的第三方服务。例如，有人可以查看网站并使用 Siri 提供摘要，方法是说或输入短语，例如“嘿
Siri，这份文件是关于什么的？”

在 iOS 18.2 测试版中，ChatGPT 与 Siri 的集成允许用户询问有关照片和文档（例如 PDF 和演示文稿）的问题并获取有关它们的信息。例如，您可以问 Siri“这张照片里有什么？”，Siri 会截取屏幕截图并将其交给 ChatGPT。然后 ChatGPT 会传达图像中的内容，同样的功能也适用于 PDF 和其他文档。

iOS 18.2 ChatGPT 集成似乎不是苹果为 Siri 计划的屏幕感知功能，但可能与之相关。苹果将屏幕感知描述为 Siri 理解屏幕上的内容并采取行动的能力。例如，如果有人给你发了一个地址，你可以说“将此地址添加到他们的联系人卡片中”，Siri 就会这样做。此功能在 iOS 18.2 中不可用，ChatGPT 仅限于评估屏幕截图，但这有点令人困惑。

屏幕感知，例如个人情境和应用内操作，是苹果为 Siri 计划的功能，但我们今年可能不会实现。Siri 的许多功能都将在未来版本的iOS 18中推出，彭博社的马克·古尔曼表示，我们可以期待在 iOS 18.4 中看到它们，该更新将于 2025 年春季发布。

虽然多个 Siri 功能要到明年才会推出，但苹果提前向开发人员提供了 API，以便开发人员有几个月的时间准备，并在更新实际发布时向公众开放这些功能。