การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ (APO)

เรายินดีที่จะประกาศการกำหนดเป้าหมายการเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ (APO) ในโมเดลในอุปกรณ์บน Vertex AI เพื่อช่วยให้คุณนำ Use Case ของ ML Kit Prompt API ไปใช้ในการผลิตได้ การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติเป็นเครื่องมือที่จะช่วยคุณค้นหาพรอมต์ที่เหมาะสมที่สุดสำหรับกรณีการใช้งานของคุณโดยอัตโนมัติ

ยุคของ AI ในอุปกรณ์ไม่ใช่เรื่องของอนาคตอีกต่อไป แต่เป็นสิ่งที่เกิดขึ้นจริงในปัจจุบัน การเปิดตัว Gemini Nano v3 ทำให้เราสามารถมอบความสามารถด้านความเข้าใจภาษาและมัลติโมดัลที่ไม่เคยมีมาก่อนให้แก่ผู้ใช้ได้โดยตรง โมเดลในตระกูล Gemini Nano ช่วยให้เราครอบคลุมอุปกรณ์ที่รองรับในระบบนิเวศของ Android ได้อย่างกว้างขวาง แต่สำหรับนักพัฒนาแอปอัจฉริยะรุ่นถัดไป การเข้าถึงโมเดลที่มีประสิทธิภาพเป็นเพียงขั้นตอนแรกเท่านั้น ความท้าทายที่แท้จริงอยู่ที่การปรับแต่ง นั่นคือ คุณจะปรับแต่งโมเดลพื้นฐานให้มีประสิทธิภาพระดับผู้เชี่ยวชาญสำหรับกรณีการใช้งานเฉพาะของคุณได้อย่างไรโดยไม่ละเมิดข้อจำกัดของฮาร์ดแวร์มือถือ

ในโลกฝั่งเซิร์ฟเวอร์ LLM ขนาดใหญ่มีแนวโน้มที่จะมีความสามารถสูงและต้องมีการดัดแปลงโดเมนน้อยกว่า แม้ว่าจำเป็นต้องใช้ แต่ตัวเลือกขั้นสูงเพิ่มเติม เช่น การปรับแต่ง LoRA (Low-Rank Adaptation) ก็อาจเป็นตัวเลือกที่เหมาะสม อย่างไรก็ตาม สถาปัตยกรรมที่เป็นเอกลักษณ์ของ Android AICore จะให้ความสำคัญกับโมเดลระบบที่แชร์และประหยัดหน่วยความจำ ซึ่งหมายความว่าการปรับใช้ LoRA Adapter ที่กำหนดเองสำหรับแอปแต่ละแอปจะมาพร้อมกับความท้าทายในบริการของระบบที่ใช้ร่วมกันเหล่านี้

แต่ก็มีเส้นทางอื่นที่อาจส่งผลลัพธ์ได้ไม่ต่างกัน การใช้ประโยชน์จากการเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ (APO) ใน Vertex AI ช่วยให้นักพัฒนาแอปสร้างโมเดลคุณภาพสูงได้ใกล้เคียงกับการปรับแต่งแบบละเอียด ขณะเดียวกันก็ทำงานได้อย่างราบรื่นภายในสภาพแวดล้อมการดำเนินการของ Android ดั้งเดิม การมุ่งเน้นที่คำสั่งของระบบที่เหนือกว่าทำให้ APO ช่วยให้นักพัฒนาซอฟต์แวร์ปรับแต่งลักษณะการทำงานของโมเดลได้ด้วยความแข็งแกร่งและความสามารถในการปรับขนาดที่มากกว่าโซลูชันการปรับแต่งแบบละเอียดแบบเดิม

หมายเหตุ: Gemini Nano V3 เป็นโมเดล Gemma 3N เวอร์ชันที่ได้รับการปรับให้มีคุณภาพดีที่สุด ซึ่งเป็นโมเดลที่ได้รับคำชื่นชมอย่างมาก การเพิ่มประสิทธิภาพพรอมต์ที่ทำในโมเดล Gemma 3N แบบโอเพนซอร์สจะมีผลกับ Gemini Nano V3 ด้วย ในอุปกรณ์ที่รองรับ API ของ ML Kit GenAI จะใช้ประโยชน์จากโมเดล nano-v3 เพื่อเพิ่มคุณภาพสูงสุดสำหรับนักพัฒนาแอป Android

APO จะถือว่าพรอมต์ไม่ใช่ข้อความแบบคงที่ แต่เป็นแพลตฟอร์มที่ตั้งโปรแกรมได้ซึ่งสามารถเพิ่มประสิทธิภาพได้ โดยจะใช้ประโยชน์จากโมเดลฝั่งเซิร์ฟเวอร์ (เช่น Gemini Pro และ Flash) เพื่อเสนอพรอมต์ ประเมินรูปแบบต่างๆ และค้นหารูปแบบที่เหมาะสมที่สุดสำหรับงานเฉพาะของคุณ กระบวนการนี้ใช้กลไกทางเทคนิค 3 อย่างที่เฉพาะเจาะจงเพื่อเพิ่มประสิทธิภาพสูงสุด ดังนี้

1. การวิเคราะห์ข้อผิดพลาดอัตโนมัติ: APO จะวิเคราะห์รูปแบบข้อผิดพลาดจากข้อมูลฝึกฝนเพื่อระบุจุดอ่อนที่เฉพาะเจาะจงในพรอมต์เริ่มต้นโดยอัตโนมัติ
2. การกลั่นคำสั่งเชิงความหมาย: วิเคราะห์ตัวอย่างการฝึกขนาดใหญ่เพื่อกลั่น "ความตั้งใจที่แท้จริง" ของงาน สร้างคำสั่งที่แสดงถึงการกระจายข้อมูลจริงได้อย่างแม่นยำยิ่งขึ้น
3. การทดสอบพรอมต์คู่ขนาน: APO จะสร้างและทดสอบพรอมต์คู่ขนานจำนวนมากแทนการทดสอบไอเดียทีละรายการ เพื่อระบุค่าสูงสุดทั่วโลกสำหรับคุณภาพ

เหตุผลที่ APO สามารถเข้าถึงการปรับแต่งคุณภาพได้

ความเข้าใจผิดที่พบบ่อยคือการปรับแต่งมักจะให้คุณภาพดีกว่าการพรอมต์ สำหรับโมเดลพื้นฐานที่ทันสมัย เช่น Gemini Nano v3 วิศวกรรมพรอมต์ (Prompt Engineering) อาจมีผลลัพธ์ด้วยตัวของมันเอง

• การรักษาความสามารถทั่วไป: การปรับแต่ง ( PEFT/LoRA) บังคับให้น้ำหนักของโมเดลมีดัชนีสูงเกินไปในการกระจายข้อมูลที่เฉพาะเจาะจง ซึ่งมักจะนำไปสู่ "การลืมแบบหายนะ" ซึ่งโมเดลจะเก่งขึ้นในไวยากรณ์เฉพาะของคุณ แต่แย่ลงในตรรกะและความปลอดภัยทั่วไป APO จะไม่แตะต้องน้ำหนัก ทำให้ความสามารถของโมเดลพื้นฐานยังคงอยู่
• การทำตามคำสั่งและการค้นพบกลยุทธ์: Gemini Nano v3 ได้รับการฝึกฝนอย่างเข้มงวดเพื่อให้ทำตามคำสั่งระบบที่ซับซ้อนได้ APO ใช้ประโยชน์จากสิ่งนี้ด้วยการค้นหาโครงสร้างคำสั่งที่ตรงกันซึ่งปลดล็อกความสามารถที่ซ่อนอยู่ของโมเดล และมักจะค้นพบกลยุทธ์ที่วิศวกรที่เป็นมนุษย์อาจค้นหาได้ยาก 

เราได้ประเมิน APO ในภาระงานเวอร์ชันที่ใช้งานจริงที่หลากหลายเพื่อตรวจสอบความถูกต้องของแนวทางนี้ การตรวจสอบของเราแสดงให้เห็นว่าความแม่นยำเพิ่มขึ้น 5-8% อย่างสม่ำเสมอใน Use Case ต่างๆ และ APO ช่วยเพิ่มคุณภาพได้อย่างมากในฟีเจอร์ต่างๆ ในอุปกรณ์ที่ใช้งาน

เวิร์กโฟลว์ของนักพัฒนาแอปตั้งแต่ต้นจนจบที่ราบรื่น

ความเข้าใจผิดที่พบบ่อยคือการปรับแต่งมักจะให้คุณภาพดีกว่าการพรอมต์ สำหรับโมเดลพื้นฐานที่ทันสมัย เช่น Gemini Nano v3 วิศวกรรมพรอมต์ (Prompt Engineering) อาจมีผลลัพธ์ด้วยตัวของมันเอง

• การรักษาความสามารถทั่วไป: การปรับแต่ง ( PEFT/LoRA) บังคับให้น้ำหนักของโมเดลมีดัชนีสูงเกินไปในการกระจายข้อมูลที่เฉพาะเจาะจง ซึ่งมักจะนำไปสู่ "การลืมแบบหายนะ" ซึ่งโมเดลจะเก่งขึ้นในไวยากรณ์เฉพาะของคุณ แต่แย่ลงในตรรกะและความปลอดภัยทั่วไป APO จะไม่แตะต้องน้ำหนัก ทำให้ความสามารถของโมเดลพื้นฐานยังคงอยู่
• การทำตามคำสั่งและการค้นพบกลยุทธ์: Gemini Nano v3 ได้รับการฝึกฝนอย่างเข้มงวดเพื่อให้ทำตามคำสั่งระบบที่ซับซ้อนได้ APO ใช้ประโยชน์จากสิ่งนี้ด้วยการค้นหาโครงสร้างคำสั่งที่ตรงกันซึ่งปลดล็อกความสามารถที่ซ่อนอยู่ของโมเดล และมักจะค้นพบกลยุทธ์ที่วิศวกรที่เป็นมนุษย์อาจค้นหาได้ยาก 

เราได้ประเมิน APO ในภาระงานเวอร์ชันที่ใช้งานจริงที่หลากหลายเพื่อตรวจสอบความถูกต้องของแนวทางนี้ การตรวจสอบของเราแสดงให้เห็นว่าความแม่นยำเพิ่มขึ้น 5-8% อย่างสม่ำเสมอใน Use Case ต่างๆ และ APO ช่วยเพิ่มคุณภาพได้อย่างมากในฟีเจอร์ต่างๆ ในอุปกรณ์ที่ใช้งาน

บทสรุป

การเปิดตัวการเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ (APO) ถือเป็นจุดเปลี่ยนของ Generative AI ในอุปกรณ์ การเชื่อมช่องว่างระหว่างโมเดลพื้นฐานและประสิทธิภาพระดับผู้เชี่ยวชาญช่วยให้เรามอบเครื่องมือให้นักพัฒนาแอปสร้างแอปพลิเคชันบนอุปกรณ์เคลื่อนที่ที่แข็งแกร่งยิ่งขึ้น ไม่ว่าคุณจะเพิ่งเริ่มต้นด้วยการเพิ่มประสิทธิภาพแบบ Zero-Shot หรือขยายขนาดเพื่อการใช้งานจริงด้วยการปรับแต่งที่อิงตามข้อมูล ตอนนี้เส้นทางสู่ระบบอัจฉริยะคุณภาพสูงในอุปกรณ์ก็ชัดเจนยิ่งขึ้นแล้ว เปิดตัวกรณีการใช้งานในอุปกรณ์สู่การใช้งานจริงได้แล้ววันนี้ด้วย Prompt API ของ ML Kit และการเพิ่มประสิทธิภาพพรอมต์อัตโนมัติของ Vertex AI 

ลิงก์ที่เกี่ยวข้อง 

• ML Kit Prompt API
• เอกสารประกอบเกี่ยวกับเครื่องมือเพิ่มประสิทธิภาพพรอมต์ของ Vertex AI
• บล็อกประกาศ Gemma 3N