Pengoptimalan Perintah Otomatis (APO)

Untuk membantu Anda menerapkan kasus penggunaan Prompt API ML Kit ke produksi, kami dengan senang hati mengumumkan Pengoptimalan Perintah Otomatis (APO) yang menargetkan model Di Perangkat di Vertex AI. Pengoptimalan Perintah Otomatis adalah alat yang membantu Anda menemukan perintah optimal untuk kasus penggunaan Anda secara otomatis.

Era AI Di Perangkat bukan lagi janji—tetapi sudah menjadi kenyataan produksi. Dengan rilis Gemini Nano v3, kami menghadirkan kemampuan multimodal dan pemahaman bahasa yang belum pernah ada sebelumnya langsung ke tangan pengguna. Melalui model Gemini Nano, kami memiliki cakupan luas perangkat yang didukung di seluruh Ekosistem Android. Namun, bagi developer yang membangun aplikasi cerdas generasi berikutnya, akses ke model yang canggih hanyalah langkah pertama. Tantangan sebenarnya terletak pada penyesuaian: Bagaimana Anda menyesuaikan model dasar ke performa tingkat ahli untuk kasus penggunaan spesifik Anda tanpa melanggar batasan hardware seluler?

Di dunia sisi server, LLM yang lebih besar cenderung sangat mumpuni dan memerlukan lebih sedikit adaptasi domain. Bahkan jika diperlukan, opsi yang lebih canggih seperti penyesuaian LoRA (Low-Rank Adaptation) dapat menjadi opsi yang layak. Namun, arsitektur unik Android AICore memprioritaskan model sistem bersama yang hemat memori. Artinya, men-deploy adapter LoRA kustom untuk setiap aplikasi individual akan menimbulkan tantangan pada layanan sistem bersama ini.

Namun, ada jalur alternatif yang dapat memberikan dampak yang sama. Dengan memanfaatkan Pengoptimalan Perintah Otomatis (APO) di Vertex AI, developer dapat mencapai kualitas yang mendekati penyesuaian, sekaligus bekerja dengan lancar dalam lingkungan eksekusi Android native. Dengan berfokus pada petunjuk sistem yang unggul, APO memungkinkan developer menyesuaikan perilaku model dengan ketahanan dan skalabilitas yang lebih besar daripada solusi penyesuaian tradisional.

Catatan:  Gemini Nano V3 adalah versi yang dioptimalkan kualitasnya dari model Gemma 3N yang sangat terkenal. Pengoptimalan perintah yang dilakukan pada model Gemma 3N open source juga akan berlaku untuk Gemini Nano V3. Di perangkat yang didukung, API GenAI ML Kit memanfaatkan model nano-v3 untuk memaksimalkan kualitas bagi Developer Android

APO memperlakukan perintah bukan sebagai teks statis, tetapi sebagai platform yang dapat diprogram dan dioptimalkan. APO memanfaatkan model sisi server (seperti Gemini Pro dan Flash) untuk menyarankan perintah, mengevaluasi variasi, dan menemukan perintah yang optimal untuk tugas spesifik Anda. Proses ini menggunakan tiga mekanisme teknis khusus untuk memaksimalkan performa:

1. Analisis Error Otomatis: APO menganalisis pola error dari data pelatihan untuk mengidentifikasi kelemahan tertentu dalam perintah awal secara Otomatis.
2. Distilasi Petunjuk Semantik: APO menganalisis contoh pelatihan yang sangat besar untuk menyaring "tujuan sebenarnya" dari suatu tugas, sehingga membuat petunjuk yang lebih akurat mencerminkan distribusi data yang sebenarnya.
3. Pengujian Kandidat Paralel: Daripada menguji satu ide dalam satu waktu, APO membuat dan menguji banyak kandidat perintah secara paralel untuk mengidentifikasi maksimum global untuk kualitas.

Alasan APO Dapat Mendekati Kualitas Penyesuaian

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, rekayasa perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan Umum: Penyesuaian ( PEFT/LoRA) memaksa bobot model untuk mengindeks berlebihan pada distribusi data tertentu. Hal ini sering kali menyebabkan "lupa yang parah", yaitu kondisi saat model menjadi lebih baik dalam sintaksis spesifik Anda, tetapi lebih buruk dalam logika dan keamanan umum. APO tidak mengubah bobot, sehingga mempertahankan kemampuan model dasar.
• Mengikuti Petunjuk &Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti petunjuk sistem yang kompleks. APO memanfaatkan hal ini dengan menemukan struktur petunjuk yang tepat yang membuka kemampuan laten model, sehingga sering kali menemukan strategi yang mungkin sulit ditemukan oleh engineer manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami menunjukkan peningkatan akurasi 5-8% yang konsisten di berbagai kasus penggunaan.Di beberapa fitur di perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Alur Kerja Developer End-to-End yang Lancar

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, rekayasa perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan Umum: Penyesuaian ( PEFT/LoRA) memaksa bobot model untuk mengindeks berlebihan pada distribusi data tertentu. Hal ini sering kali menyebabkan "lupa yang parah", yaitu kondisi saat model menjadi lebih baik dalam sintaksis spesifik Anda, tetapi lebih buruk dalam logika dan keamanan umum. APO tidak mengubah bobot, sehingga mempertahankan kemampuan model dasar.
• Mengikuti Petunjuk &Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti petunjuk sistem yang kompleks. APO memanfaatkan hal ini dengan menemukan struktur petunjuk yang tepat yang membuka kemampuan laten model, sehingga sering kali menemukan strategi yang mungkin sulit ditemukan oleh engineer manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami menunjukkan peningkatan akurasi 5-8% yang konsisten di berbagai kasus penggunaan.Di beberapa fitur di perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Kesimpulan

Rilis Pengoptimalan Perintah Otomatis (APO) menandai titik balik untuk AI generatif di perangkat. Dengan menjembatani kesenjangan antara model dasar dan performa tingkat ahli, kami memberi developer alat untuk membangun aplikasi seluler yang lebih andal. Baik Anda baru memulai dengan Pengoptimalan Zero-Shot atau melakukan penskalaan ke produksi dengan penyempurnaan Berbasis Data, jalur menuju kecerdasan di perangkat berkualitas tinggi kini lebih jelas. Luncurkan kasus penggunaan di perangkat Anda ke produksi hari ini dengan Prompt API ML Kit dan Pengoptimalan Perintah Otomatis Vertex AI. 

Link yang relevan: 

• Prompt API ML Kit,
• Dokumentasi Pengoptimal Perintah Vertex AI
• Blog Pengumuman Gemma 3N