Аудио- и видеоочки обеспечивают вид от первого лица и мультимодальный обзор пользователя, взаимодействующего с окружающей средой. В сочетании с голосовым вводом и аппаратными датчиками это может обеспечить беспрецедентный уровень контекстной информации для вашего приложения. Чтобы использовать этот контекст в своем приложении, вы можете использовать агента в приложении и направлять эти мультимодальные входные данные в свою LLM. Ваше приложение может использовать Gemini Live API или интегрировать пользовательского ИИ-агента.
Используйте ИИ ответственно
Учитывайте все аспекты комфорта пользователя, включая сенсорный, когнитивный, социальный и комфорт при взаимодействии с ИИ.
Разрабатывайте приложения с учетом принципа "Согласие прежде всего":
- Не думайте, что запись идет, только потому, что приложение открыто.
- Используйте явные триггеры, например физический жест, перед активацией датчиков.
- Попросите агента включить камеру, если это необходимо для выполнения задачи.
- Собирайте минимальный объем данных, необходимый для предоставления ценности, обрабатывайте их, а затем удаляйте.
Рекомендации по проектированию агента
Функции ИИ в аудио- и видеоочках позволяют эффективно выполнять такие задачи, как преобразование текста в речь и распознавание изображений. ИИ позволяет взаимодействовать с помощью естественного языка, а не статических деревьев.
ИИ может помочь сделать выполнение задач между телефоном и очками более естественным с помощью естественных звуковых подсказок и тонких визуальных эффектов.
При интеграции агента в приложение учитывайте следующее:
- Голос и тон
- Контексты пользователя в повседневной жизни
- Безопасность пользователей
- Не перегружайте пользователя
- Проектирование для социального комфорта
ИИ-агент должен быть лаконичным и ненавязчивым, следуя лучшим практикам разговорного UX и шаблонам ИИ.