产品资讯

智能操作系统:让 AI 智能体在 Android 应用中发挥更大作用

阅读用时:3 分钟
Matthew McCullough
产品管理副总裁,Android 开发者

用户对设备上 AI 的期望正在从根本上改变他们与应用的互动方式。他们不再需要打开应用来逐步完成任务,而是让 AI 代为完成繁琐的工作。在这种新的互动模式下,成功不再仅仅是让用户打开您的应用,而是成功完成用户的任务并帮助他们更快地完成更多事情。

为了帮助您为这个智能体时代打造应用,我们推出了早期阶段的开发者功能,可弥合您的应用与智能体应用和个性化助理(例如 Google Gemini)之间的差距。虽然我们还处于此探索历程的早期 Beta 阶段,但我们正在设计这些功能,并以隐私保护和安全性为核心,作为应用生态系统探索这一范式转变的第一步。

利用 AppFunctions 增强应用功能

Android AppFunctions 允许应用直接向 AI 代理和助理公开数据和功能。借助  AppFunctions Jetpack 库和 平台 API,开发者可以创建自我描述型函数,让智能体应用通过自然语言发现和执行这些函数。与通过 MCP 云服务器声明后端功能的方式类似,AppFunctions 为 Android 应用提供了一种设备端解决方案。与 WebMCP 类似,它在设备本地执行这些函数,而不是在服务器上执行。

Galaxy S26 系列上三星相册与 Gemini 的集成展示了 AppFunctions 的实际应用。现在,您只需问问 Gemini“显示三星相册中我猫的照片”,即可轻松找到所需照片,而无需手动滚动浏览相册。Gemini 会接收用户查询,智能识别并触发相应的功能,然后直接在 Gemini 应用中显示从三星相册返回的照片,因此用户无需离开该应用。此体验是多模态的,可通过语音或文本进行。用户甚至可以在后续对话中使用返回的照片,例如通过短信将照片发送给朋友。

photos.gif

此集成功能目前可在 Galaxy S26 系列设备上使用,很快将扩展到搭载 OneUI 8.5 及更高版本的 Samsung 设备。借助 AppFunctions,Gemini 已经可以在多个制造商的设备上自动执行日历记事任务等应用类别的任务。无论是协调日历活动、整理笔记,还是设置待办事项提醒,用户都可以在一个地方简化日常活动。

通过智能界面自动化技术赋能智能体应用

虽然 AppFunctions 为应用与 AI 代理和助理之间的通信提供了结构化框架和更多控制权,但我们知道,并非每种互动都已实现专用集成。我们还在开发一个界面自动化框架,以便 AI 智能体和助理能够智能地在用户已安装的应用上执行通用任务,同时内置用户知情权和控制功能。该平台负责执行繁重的工作,因此开发者无需编写任何代码即可获得代理覆盖面。这是一种无需立即进行重大工程改造即可扩大覆盖面的简便方法。 
 

为了在完善此框架的过程中获得反馈,我们首先在 Galaxy S26 系列和部分 Pixel 10 设备上推出了早期预览版,用户只需长按电源按钮,即可将多步任务委托给 Gemini。这项功能将以 Beta 版的形式在 Gemini 应用中推出,初期将支持美国和韩国精选的送餐、杂货和网约车类应用。无论是用户需要为有特殊口味的家人订购复杂的披萨,还是与同事协调多站点的网约车行程,亦或是重新订购上次购买的杂货,Gemini 都可以利用应用中已有的上下文信息来帮助完成任务,而无需任何开发者工作。

photos2.gif

通过界面自动化在后台执行任务时,用户可以进行控制。对于任何自动化操作,用户都可以选择通过通知或“实时视图”监控任务进度,并且可以随时切换到手动控制模式来接管操作。Gemini 还会在完成购买等敏感任务之前提醒用户。

未来计划

在 Android 17 中,我们希望扩大这些功能,以便覆盖更多用户、开发者和设备制造商。

我们目前正在与少数应用开发者合作打造体验,随着生态系统的发展,我们将重点关注优质的用户体验。我们计划在今年晚些时候分享更多详细信息,说明如何使用 AppFunctions 和界面自动化为您的应用启用智能体集成。敬请关注最新动态。

作者:

继续阅读