Otomatik istem optimizasyonu (APO)

ML Kit Prompt API kullanım alanlarınızı üretime taşımanıza daha fazla yardımcı olmak için Vertex AI'daki cihaz üzerinde modelleri hedefleyen Otomatik İstem Optimizasyonu (APO)'nu duyurmaktan heyecan duyuyoruz. Otomatik İstem Optimizasyonu, kullanım alanlarınız için en uygun istemi otomatik olarak bulmanıza yardımcı olan bir araçtır.

Cihaz üzerinde yapay zeka dönemi artık bir vaat değil, üretimde kullanılan bir gerçeklik. Gemini Nano v3'ün kullanıma sunulmasıyla birlikte, benzersiz dil anlama ve çok formatlı özellikler doğrudan kullanıcıların avuçlarına geliyor. Gemini Nano model ailesi sayesinde Android ekosistemindeki desteklenen cihazların büyük bir kısmını kapsıyoruz. Ancak yeni nesil akıllı uygulamalar geliştiren geliştiriciler için güçlü bir modele erişim, yalnızca ilk adımdır. Asıl zorluk özelleştirmede yatıyor: Mobil donanımın kısıtlamalarını ihlal etmeden temel bir modeli, belirli kullanım alanınız için uzman düzeyinde performansa nasıl uyarlarsınız?

Sunucu tarafı dünyasında, daha büyük LLM'ler genellikle oldukça yeteneklidir ve daha az alan uyarlaması gerektirir. Gerekli olsa bile LoRA (Low-Rank Adaptation) ince ayarı gibi daha gelişmiş seçenekler uygulanabilir. Ancak Android AICore'un benzersiz mimarisi, paylaşılan ve bellek açısından verimli bir sistem modeline öncelik verir. Bu nedenle, her bir uygulama için özel LoRA bağdaştırıcıları dağıtmak bu paylaşılan sistem hizmetlerinde zorluklar yaratır.

Ancak aynı derecede etkili olabilecek alternatif bir yol vardır. Geliştiriciler, Vertex AI'da Otomatik İstem Optimizasyonu (APO)'ndan yararlanarak ince ayara yakın bir kalite elde edebilir ve tüm bunları yerel Android yürütme ortamında sorunsuz bir şekilde çalışarak yapabilir. APO, üstün sistem talimatına odaklanarak geliştiricilerin model davranışını geleneksel ince ayar çözümlerine kıyasla daha sağlam ve ölçeklenebilir bir şekilde özelleştirmesini sağlar.

Not: Gemini Nano V3, çok beğenilen Gemma 3N modelinin kalite için optimize edilmiş bir sürümüdür. Açık kaynaklı Gemma 3N modelinde yapılan tüm istem optimizasyonları Gemini Nano V3'e de uygulanır. ML Kit GenAI API'leri, desteklenen cihazlarda Android geliştiriciler için kaliteyi en üst düzeye çıkarmak amacıyla nano-v3 modelinden yararlanır.

APO, istemi statik bir metin olarak değil, optimize edilebilen programlanabilir bir yüzey olarak ele alır. İstem önerisinde bulunmak, varyasyonları değerlendirmek ve belirli göreviniz için en uygun olanı bulmak amacıyla sunucu tarafı modellerinden (ör. Gemini Pro ve Flash) yararlanır. Bu süreçte performansı en üst düzeye çıkarmak için üç özel teknik mekanizma kullanılır:

1. Otomatik Hata Analizi: APO, ilk istemdeki belirli zayıflıkları otomatik olarak belirlemek için eğitim verilerindeki hata kalıplarını analiz eder.
2. Anlamsal Talimat Damıtma: Bir görevin "gerçek amacını" damıtmak için büyük eğitim örneklerini analiz ederek gerçek veri dağıtımını daha doğru yansıtan talimatlar oluşturur.
3. Paralel Aday Testi: APO, her seferinde tek bir fikir test etmek yerine kalite için küresel maksimumu belirlemek üzere çok sayıda istem adayını paralel olarak oluşturur ve test eder.

APO, kaliteye neden ince ayar yapabilir?

İnce ayar yapmanın her zaman istem oluşturmaktan daha iyi sonuç verdiği yaygın bir yanılgıdır. Gemini Nano v3 gibi modern temel modellerde istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımında aşırı indekslemeye zorlar. Bu durum genellikle "felaket derecesinde unutmaya" yol açar. Bu durumda model, belirli söz diziminizde daha iyi hale gelir ancak genel mantık ve güvenlik konusunda kötüleşir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimatları Uygulama ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını uygulamak için titizlikle eğitildi. APO, modelin gizli yeteneklerini ortaya çıkaran tam talimat yapısını bularak bu özellikten yararlanır. Genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder.

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimizde, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı elde edildi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sorunsuz, Uçtan Uca Geliştirici İş Akışı

İnce ayar yapmanın her zaman istem oluşturmaktan daha iyi sonuç verdiği yaygın bir yanılgıdır. Gemini Nano v3 gibi modern temel modellerde istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımında aşırı indekslemeye zorlar. Bu durum genellikle "felaket derecesinde unutmaya" yol açar. Bu durumda model, belirli söz diziminizde daha iyi hale gelir ancak genel mantık ve güvenlik konusunda kötüleşir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimatları Uygulama ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını uygulamak için titizlikle eğitildi. APO, modelin gizli yeteneklerini ortaya çıkaran tam talimat yapısını bularak bu özellikten yararlanır. Genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder.

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimizde, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı elde edildi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sonuç

Otomatik İstem Optimizasyonu (APO)'nun kullanıma sunulması, cihaz üzerinde üretken yapay zeka için bir dönüm noktasıdır. Temel modeller ile uzman düzeyinde performans arasındaki boşluğu kapatarak geliştiricilere daha sağlam mobil uygulamalar oluşturma araçları sunuyoruz. Zero-Shot Optimization'ı kullanmaya yeni başlıyor veya Data-Driven ile üretime geçiş yapıyorsanız cihaz üzerinde yüksek kaliteli yapay zekaya ulaşma yolu artık daha net. ML Kit'in Prompt API'si ve Vertex AI'ın Otomatik İstem Optimizasyonu ile cihaz üzerinde kullanım alanlarınızı bugün üretime taşıyın. 

İlgili bağlantılar: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer belgeleri
• Gemma 3N Duyurusu Blogu