音訊和顯示型眼鏡可提供第一人稱和多模態視角，呈現使用者與周遭環境互動的情形。結合語音輸入和硬體感應器，可為應用程式提供前所未有的情境資訊。如要在應用程式中使用這類情境資訊，您可以使用應用程式內代理，將這些多模態輸入內容轉送至 LLM。應用程式可以運用 Gemini Live API，或整合自訂 AI 代理。
以負責任的方式使用 AI
設計時應考量使用者舒適度的所有層面，包括感官、認知、社交和 AI 舒適度。
設計應用程式時，請以「同意聲明優先」為原則：
- 請勿假設應用程式開啟時就能錄製。
- 啟用感應器前，請先使用明確的觸發條件，例如肢體動作。
- 如果代理認為有必要，請要求代理開啟攝影機。
- 收集提供價值所需的最低資料量，處理後再捨棄。
代理的設計考量
在音訊和顯示型眼鏡上，AI 功能可有效完成文字轉語音和圖片辨識等工作。AI 可透過自然語言互動，而非靜態樹狀結構。
AI 可提供自然的音訊提示和細緻的視覺效果，讓你在手機和眼鏡之間更自然地完成工作。
在應用程式中整合代理時，請考量以下事項：
- 語音和語氣
- 使用者在日常生活中的情境
- 使用者安全性
- 不要讓使用者感到不知所措
- 設計時考量社交舒適度
AI 代理應簡潔且不干擾使用者，並遵循對話式使用者體驗最佳做法和 AI 模式