אופטימיזציה אוטומטית של הנחיות (APO)

כדי לעזור לכם להשתמש בתרחישי השימוש של ML Kit Prompt API בסביבת ייצור, אנחנו שמחים להודיע על אופטימיזציה אוטומטית של הנחיות (APO) שמיועדת למודלים במכשיר ב-Vertex AI. התכונה 'אופטימיזציה אוטומטית של הנחיות' עוזרת לכם למצוא באופן אוטומטי את ההנחיה האופטימלית לתרחישי השימוש שלכם.

העידן של AI במכשיר הוא כבר לא הבטחה – הוא מציאות שמתרחשת בפועל. עם ההשקה של Gemini Nano v3, אנחנו מעניקים למשתמשים יכולות חסרות תקדים של הבנת שפה ומולטי-מודאליות ישירות בכף היד. באמצעות משפחת המודלים Gemini Nano, אנחנו מספקים כיסוי רחב של מכשירים נתמכים בסביבה העסקית של Android. אבל למפתחים שיוצרים את הדור הבא של אפליקציות חכמות, גישה למודל עוצמתי היא רק השלב הראשון. האתגר האמיתי הוא התאמה אישית: איך מתאימים מודל בסיסי לביצועים ברמת מומחה לתרחיש השימוש הספציפי שלכם בלי לחרוג מהמגבלות של חומרת הנייד?

בעולם של מעקב בצד השרת, מודלים גדולים של שפה הם בדרך כלל בעלי יכולות גבוהות ודורשים פחות התאמה לדומיין. גם כשצריך, אפשר להשתמש באפשרויות מתקדמות יותר כמו כוונון עדין של LoRA (התאמה בדרגה נמוכה). עם זאת, הארכיטקטורה הייחודית של Android AICore נותנת עדיפות למודל מערכת משותף ויעיל בזיכרון. המשמעות היא שפריסת מתאמי LoRA מותאמים אישית לכל אפליקציה בנפרד מציבה אתגרים בשירותי המערכת המשותפים האלה.

אבל יש דרך חלופית שיכולה להיות משפיעה באותה מידה. בעזרת אופטימיזציה אוטומטית של הנחיות (APO) ב-Vertex AI, מפתחים יכולים להשיג איכות שמתקרבת לזו של כוונון עדין, וכל זאת תוך עבודה חלקה בסביבת הביצוע המקורית של Android. ה-APO מתמקד בהוראות מערכת מעולות, ומאפשר למפתחים להתאים את התנהגות המודל בצורה חזקה וניתנת להרחבה יותר מאשר פתרונות מסורתיים של כוונון עדין.

הערה: ‫Gemini Nano V3 הוא גרסה שעברה אופטימיזציה לאיכות של מודל Gemma 3N המהולל. כל האופטימיזציות להנחיות שמתבצעות במודל Gemma 3N בקוד פתוח יחולו גם על Gemini Nano V3. במכשירים נתמכים, ממשקי ה-API של ML Kit GenAI משתמשים במודל nano-v3 כדי למקסם את האיכות למפתחי Android

ה-APO מתייחס להנחיה לא כאל טקסט סטטי, אלא כאל משטח ניתן לתכנות שאפשר לבצע בו אופטימיזציה. הוא משתמש במודלים בצד השרת (כמו Gemini Pro ו-Flash) כדי להציע הנחיות, להעריך וריאציות ולמצוא את ההנחיה האופטימלית למשימה הספציפית שלכם. התהליך הזה משתמש בשלושה מנגנונים טכניים ספציפיים כדי למקסם את הביצועים:

1. ניתוח שגיאות אוטומטי: APO מנתח דפוסי שגיאות מנתוני האימון כדי לזהות באופן אוטומטי נקודות חולשה ספציפיות בהנחיה הראשונית.
2. זיקוק הוראות סמנטיות: הטכנולוגיה הזו מנתחת דוגמאות אימון רבות כדי לזקק את 'הכוונה האמיתית' של משימה, ויוצרת הוראות שמשקפות בצורה מדויקת יותר את התפלגות הנתונים האמיתית.
3. בדיקת מועמדים במקביל: במקום לבדוק רעיון אחד בכל פעם, APO יוצרת ובודקת במקביל מספר מועמדים להנחיות כדי לזהות את המקסימום הגלובלי של האיכות.

למה APO יכול לשפר את איכות הכוונון

יש תפיסה מוטעית נפוצה שלפיה כוונון עדין תמיד מניב איכות טובה יותר מאשר הנחיות. במודלים מודרניים כמו Gemini Nano v3, הנדסת הנחיות יכולה להניב תוצאות משמעותיות גם בלי שימוש בטכניקות אחרות:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) גורם למשקלים של מודל להתמקד יתר על המידה בהתפלגות נתונים ספציפית. זה מוביל לעיתים קרובות ל'שכחה קטסטרופלית', שבה המודל משתפר בתחביר הספציפי שלכם אבל נחלש בלוגיקה ובבטיחות הכלליות. השיטה APO לא משנה את המשקלים, וכך משמרת את היכולות של מודל הבסיס.
• מילוי הוראות וגילוי אסטרטגיות: Gemini Nano v3 עבר אימון קפדני כדי למלא הוראות מערכת מורכבות. ה-APO מנצל את זה כדי למצוא את מבנה ההוראות המדויק שפותח את היכולות הסמויות של המודל, ולעתים קרובות מגלה אסטרטגיות שמהנדסים אנושיים עשויים להתקשות למצוא. 

כדי לאמת את הגישה הזו, ביצענו הערכה של APO בעומסי עבודה מגוונים בסביבת ייצור. האימות שלנו הראה שיפורים עקביים בדיוק של 5-8% במגוון תרחישי שימוש.בקרב תכונות רבות שמוטמעות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

תהליך עבודה חלק מקצה לקצה למפתחים

יש תפיסה מוטעית נפוצה שלפיה כוונון עדין תמיד מניב איכות טובה יותר מאשר הנחיות. במודלים מודרניים כמו Gemini Nano v3, הנדסת הנחיות יכולה להניב תוצאות משמעותיות גם בלי שימוש בטכניקות אחרות:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) גורם למשקלים של מודל להתמקד יתר על המידה בהתפלגות נתונים ספציפית. זה מוביל לעיתים קרובות ל'שכחה קטסטרופלית', שבה המודל משתפר בתחביר הספציפי שלכם אבל נחלש בלוגיקה ובבטיחות הכלליות. השיטה APO לא משנה את המשקלים, וכך משמרת את היכולות של מודל הבסיס.
• מילוי הוראות וגילוי אסטרטגיות: Gemini Nano v3 עבר אימון קפדני כדי למלא הוראות מערכת מורכבות. ה-APO מנצל את זה כדי למצוא את מבנה ההוראות המדויק שפותח את היכולות הסמויות של המודל, ולעתים קרובות מגלה אסטרטגיות שמהנדסים אנושיים עשויים להתקשות למצוא. 

כדי לאמת את הגישה הזו, ביצענו הערכה של APO בעומסי עבודה מגוונים בסביבת ייצור. האימות שלנו הראה שיפורים עקביים בדיוק של 5-8% במגוון תרחישי שימוש.בקרב תכונות רבות שמוטמעות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

סיכום

ההשקה של אופטימיזציה אוטומטית של הנחיות (APO) מסמנת נקודת מפנה בשימוש ב-AI גנרטיבי במכשיר. אנחנו מצמצמים את הפער בין מודלים בסיסיים לבין ביצועים ברמת מומחה, וכך מספקים למפתחים את הכלים לבניית אפליקציות לנייד שהן חזקות יותר. גם אם אתם רק מתחילים עם אופטימיזציה ללא נתונים או עוברים להגדרה של שיפורים מבוססי נתונים, עכשיו קל יותר להבין איך להגיע לאיכות גבוהה של אינטליגנציה במכשיר. אפשר להשיק היום את תרחישי השימוש במכשיר לייצור באמצעות Prompt API של ML Kit ואופטימיזציה אוטומטית של הנחיות ב-Vertex AI. 

קישורים רלוונטיים: 

• ‫ML Kit Prompt API,
• מסמכי Vertex AI Prompt Optimizer
• הודעה בבלוג על Gemma 3N