משקפיים עם אודיו ותצוגה פנימית מספקים נקודת מבט מגוף ראשון ומולטי-מודאלית על המשתמש שיוצר אינטראקציה עם הסביבה שלו. בשילוב עם קלט קולי וחיישני חומרה, זה יכול לספק לאפליקציה מידע חסר תקדים על ההקשר. כדי להשתמש בהקשר הזה באפליקציה, אתם יכולים להשתמש בסוכן בתוך האפליקציה ולנתב את הקלט המולטי-מודאלי הזה ל-LLM. האפליקציה שלכם יכולה להשתמש ב-Gemini Live API או לשלב סוכן AI בהתאמה אישית.
שימוש אחראי ב-AI
חשוב לתכנן את כל ההיבטים של נוחות המשתמש, כולל נוחות חושית, קוגניטיבית, חברתית ונוחות עם AI.
תכנון האפליקציות לפי העיקרון "הסכמה תחילה":
- אל תניחו שאתם יכולים להקליט רק כי האפליקציה פתוחה.
- השתמשו בטריגרים מפורשים, כמו תנועה פיזית, לפני הפעלת החיישנים.
- לבקש מהנציג להפעיל את המצלמה אם הוא חושב שזה נחוץ לפעילות.
- אוספים את כמות הנתונים המינימלית שנדרשת כדי לספק ערך, מעבדים אותם ואז נפטרים מהם.
שיקולים בתכנון הסוכן
במשקפיים עם אודיו ותצוגה פנימית, תכונות ה-AI מאפשרות לבצע ביעילות משימות כמו המרת טקסט לדיבור (TTS) וזיהוי תמונות. ה-AI מאפשר אינטראקציה באמצעות שפה טבעית, במקום עצי החלטות סטטיים.
ה-AI יכול לעזור לכם לבצע משימות בין הטלפון למשקפיים בצורה טבעית יותר, באמצעות רמזים קוליים טבעיים ורמזים חזותיים עדינים.
כשמשלבים נציג באפליקציה, כדאי להביא בחשבון את הנקודות הבאות:
- סגנון וטון
- ההקשרים של המשתמש בחיי היומיום
- בטיחות משתמשים
- לא להציף את המשתמשים
- עיצוב שמאפשר נוחות חברתית
סוכן ה-AI צריך להיות תמציתי ולא פולשני, ולפעול לפי השיטות המומלצות של חוויית משתמש בשיחה ודפוסי AI.