產品最新消息

智慧型 OS:讓 AI 代理更有效協助 Android 應用程式

閱讀時間:3 分鐘
查看 Matthew McCullough 的個人資料
Matthew McCullough Android 開發人員產品管理副總裁

使用者對裝置上 AI 的期望,從根本上改變了他們與應用程式互動的方式。他們不再開啟應用程式逐步完成工作,而是要求 AI 代勞。在這個全新的互動模式中,成功的定義已從吸引使用者開啟應用程式,轉變為成功完成使用者的工作,並協助他們更快完成更多工作。

為了協助您因應未來趨勢,打造更優質的應用程式,我們推出早期階段開發人員功能,縮小應用程式與代理應用程式和個人化助理 (例如 Google Gemini) 之間的差距。雖然這項計畫目前仍處於 Beta 版階段,但我們在設計這些功能時,仍以隱私權和安全性為核心,做為我們探索應用程式生態系統典範轉移的第一步。

使用 AppFunctions 強化應用程式

Android AppFunctions 可讓應用程式直接向 AI 代理和助理公開資料和功能。開發人員可使用  AppFunctions Jetpack 程式庫和平台 API,建立自我描述函式,讓代理應用程式透過自然語言探索及執行。AppFunctions 採用與 MCP 雲端伺服器宣告後端功能類似的方式,為 Android 應用程式提供裝置端解決方案。與 WebMCP 類似,這項功能會在裝置本機執行,而非伺服器。

Samsung Gallery 與 Galaxy S26 系列上的 Gemini 整合,展示了 AppFunctions 的實際運作。現在不必手動捲動相簿,只要問問 Gemini 說「顯示 Samsung Gallery 中的貓咪相片」,Gemini 會接收使用者查詢,智慧辨識並觸發正確函式,然後直接在 Gemini 應用程式中顯示 Samsung Gallery 傳回的相片,使用者不必離開應用程式。這項功能支援多模態,可透過語音或文字使用。使用者甚至可以在後續對話中使用傳回的相片,例如透過簡訊傳送給朋友。

photos.gif

這項整合功能目前適用於 Galaxy S26 系列,不久後將支援搭載 OneUI 8.5 以上版本的 Samsung 裝置。透過 AppFunctions,Gemini 已經能在多個製造商的裝置上,自動執行日曆、記事和工作等應用程式類別的工作。無論是協調日曆活動、整理記事,還是設定待辦事項提醒,使用者都能在同一個地方簡化日常活動。

運用智慧型 UI 自動化功能,啟用代理式應用程式

雖然 AppFunctions 提供結構化架構,讓應用程式能更有效地與 AI 代理和助理通訊,但我們知道並非所有互動都有專屬整合功能。我們也正在開發 AI 代理和助理的 UI 自動化架構,讓這些工具能以智慧方式,在使用者安裝版應用程式上執行一般工作,同時內建使用者資訊公開和控制功能。平台會處理繁重的工作,開發人員不必編寫程式碼,就能運用代理。這樣一來,他們不必立即投入大量工程資源,就能輕鬆擴大觸及範圍。 
 

為了在調整架構時收集意見回饋,我們首先在 Galaxy S26 系列和特定 Pixel 10 裝置上推出早期預先發布版,使用者只要長按電源鍵,就能將多步驟工作交給 Gemini 處理。這項功能將在 Gemini 應用程式中以 Beta 版推出,初期支援美國和韓國的精選應用程式,涵蓋美食外送、生鮮雜貨和共乘服務等類別。無論使用者需要為口味獨特的家庭成員訂購複雜的披薩、與同事協調多站共乘,還是重新訂購上次購買的雜貨,Gemini 都能利用應用程式現有的情境資訊協助完成工作,完全不需要開發人員介入。

photos2.gif

透過 UI 自動化功能在背景執行工作時,使用者仍可掌控一切。使用者可以透過通知或「即時檢視」監控任何自動化動作的進度,並隨時切換為手動控制,接管操作。Gemini 也會在完成購買等敏感工作前,提醒使用者。

展望未來

在 Android 17 中,我們希望擴大這些功能,讓更多使用者、開發人員和裝置製造商受惠。

我們目前正與少數應用程式開發人員合作打造體驗,並隨著生態系統發展,著重於提供優質的使用者體驗。我們預計在今年稍晚分享更多細節,說明如何使用 AppFunctions 和 UI 自動化功能,為應用程式啟用代理整合。敬請期待最新消息。

作者:
繼續閱讀