Os óculos de áudio e tela oferecem uma visão em primeira pessoa e multimodal do usuário interagindo com o ambiente. Combinado com a entrada de voz e os sensores de hardware, isso tem o potencial de fornecer um nível sem precedentes de informações contextuais ao seu app. Para usar esse contexto no app, use um agente no app e encaminhe essas entradas multimodais para o LLM. Seu app pode aproveitar a API Gemini Live ou integrar um agente de IA personalizado.
Use a IA com responsabilidade
Projete para todos os aspectos do conforto do usuário, incluindo sensorial, cognitivo, social e conforto com a IA.
Projete seus apps para priorizar o consentimento:
- Não presuma que você pode gravar porque um app está aberto.
- Use acionadores explícitos, como um gesto físico, antes de ativar os sensores.
- Peça para o agente solicitar que a câmera seja ligada se achar necessário para a atividade.
- Colete a quantidade mínima de dados necessária para agregar valor, processe-os e descarte-os.
Considerações de design para seu agente
Para óculos de áudio e tela, os recursos de IA oferecem uma maneira eficiente de realizar tarefas como conversão de texto em voz e reconhecimento de imagens. A IA permite a interação por linguagem natural, em vez de árvores estáticas.
A IA pode ajudar a concluir tarefas entre o smartphone e os óculos de forma mais natural, com pistas de áudio naturais e recursos visuais sutis.
Ao integrar um agente ao seu app, considere o seguinte:
- Voz e tom
- Contextos do usuário no dia a dia
- Segurança do usuário
- Não sobrecarregue o usuário
- Design para conforto social
O agente de IA precisa ser conciso e discreto, seguindo as práticas recomendadas de UX de conversação e os padrões de IA.