オーディオ グラスとディスプレイ グラスは、ユーザーが環境とやり取りする一人称視点とマルチモーダルな視点を提供します。音声入力やハードウェア センサーと組み合わせることで、これまでにないレベルのコンテキスト情報をアプリに提供できる可能性があります。このコンテキストをアプリで利用するには、アプリ内エージェントを使用して、これらのマルチモーダル入力を LLM にルーティングします。アプリで Gemini Live API を利用したり、カスタム AI エージェントを統合したりできます。
責任を持って AI を使う
感覚、認知、社会、AI の快適性など、ユーザーの快適性のあらゆる側面を考慮して設計します。
「同意を優先」するアプリを設計する:
- アプリが開いているからといって、録画できるとは限りません。
- センサーを有効にする前に、物理的なジェスチャーなどの明示的なトリガーを使用する。
- アクティビティに必要であると判断した場合は、エージェントにカメラをオンにするよう依頼します。
- 価値を提供するために必要な最小限のデータを収集し、処理してから破棄します。
エージェントの設計に関する考慮事項
オーディオ グラスとディスプレイ グラスの場合、AI 機能は、テキスト読み上げや画像認識などのタスクを効率的に実行する方法を提供します。AI を使用すると、静的なツリーではなく、自然言語を介したやり取りが可能になります。
AI は、自然な音声キューと控えめなビジュアルにより、スマートフォンとメガネの間でタスクをより自然に完了できるようにします。
アプリ内にエージェントを統合する際は、次の点を考慮してください。
- 語調とトーン
- 日常生活におけるユーザーのコンテキスト
- ユーザーの安全
- ユーザーに負担を与えない
- 社会的な快適さを考慮した設計
AI エージェントは、会話型 UX のベスト プラクティスと AI パターンに沿って、簡潔で目立たないようにする必要があります。