Otomatik İstem Optimizasyonu, ML Kit'in GenAI Prompt API'sinde Kalite Artışı Sağlıyor

Otomatik İstem Optimizasyonu (APO)

ML Kit Prompt API kullanım alanlarınızı üretime geçirmenize daha fazla yardımcı olmak için Vertex AI'da cihaz üzerinde modelleri hedefleyen Otomatik İstem Optimizasyonu'nu (APO) duyurmaktan heyecan duyuyoruz. Otomatik İstem Optimizasyonu, kullanım alanlarınız için en uygun istemi otomatik olarak bulmanıza yardımcı olan bir araçtır.

Cihaz üzerinde yapay zeka çağı artık bir vaat değil, üretim gerçeği. Gemini Nano v3'ün kullanıma sunulmasıyla birlikte, benzersiz dil anlama ve çok formatlı özellikleri doğrudan kullanıcıların avuçlarının içine getiriyoruz. Gemini Nano model ailesi sayesinde Android ekosisteminde desteklenen cihazları geniş bir kapsamda ele alıyoruz. Ancak yeni nesil akıllı uygulamalar geliştiren geliştiriciler için güçlü bir modele erişim yalnızca ilk adımdır. Asıl zorluk özelleştirmede: Bir temel modeli, mobil donanımın kısıtlamalarını aşmadan özel kullanım alanınız için uzman düzeyinde performans gösterecek şekilde nasıl uyarlayabilirsiniz?

Sunucu tarafında, daha büyük LLM'ler genellikle son derece yeteneklidir ve daha az alan uyarlaması gerektirir. Gerekli olduğunda bile LoRA (Düşük Dereceli Adaptasyon) ince ayarı gibi daha gelişmiş seçenekler uygun olabilir. Ancak Android AICore'un benzersiz mimarisi, paylaşılan ve bellek açısından verimli bir sistem modeline öncelik verir. Bu nedenle, her uygulama için özel LoRA bağdaştırıcıları dağıtmak, bu paylaşılan sistem hizmetlerinde zorluklara neden olur.

Ancak aynı derecede etkili olabilecek alternatif bir yol daha var. Geliştiriciler, Vertex AI'da Otomatik İstem Optimizasyonu (APO) özelliğini kullanarak yerel Android yürütme ortamında sorunsuz bir şekilde çalışırken ince ayara yakın bir kalite elde edebilir. Üstün sistem talimatlarına odaklanan APO, geliştiricilerin model davranışını geleneksel ince ayar çözümlerine kıyasla daha fazla sağlamlık ve ölçeklenebilirlikle özelleştirmesine olanak tanır.

Not: Gemini Nano V3, büyük beğeni toplayan Gemma 3N modelinin kalite açısından optimize edilmiş bir sürümüdür. Açık kaynak Gemma 3N modelinde yapılan tüm istem optimizasyonları Gemini Nano V3 için de geçerli olur. ML Kit GenAI API'leri, desteklenen cihazlarda Android geliştiricileri için kaliteyi en üst düzeye çıkarmak amacıyla nano-v3 modelini kullanır.

APO, istemi statik bir metin olarak değil, optimize edilebilen programlanabilir bir yüzey olarak ele alır. Sunucu tarafı modellerden (ör. Gemini Pro ve Flash) yararlanarak istemler önerir, varyasyonları değerlendirir ve göreviniz için en uygun olanı bulur. Bu süreçte, performansı en üst düzeye çıkarmak için üç teknik mekanizma kullanılır:

1. Otomatik hata analizi: APO, ilk istemdeki belirli zayıf noktaları otomatik olarak belirlemek için eğitim verilerindeki hata kalıplarını analiz eder.
2. Anlamsal talimat damıtma: Bir görevin "gerçek amacını" damıtmak için devasa eğitim örneklerini analiz ederek gerçek veri dağılımını daha doğru yansıtan talimatlar oluşturur.
3. Paralel aday testi: APO, her seferinde bir fikri test etmek yerine, kalite açısından genel maksimumu belirlemek için çok sayıda istem adayını paralel olarak oluşturur ve test eder.

APO, ince ayar kalitesine neden yaklaşabilir?

İnce ayarın her zaman istemden daha iyi kalite sağladığına dair yaygın bir yanlış kanı vardır. Gemini Nano v3 gibi modern temel modellerde, istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), bir modelin ağırlıklarını belirli bir veri dağılımında aşırı dizine eklemeye zorlar. Bu durum genellikle "felaket düzeyinde unutmaya" yol açar. Model, özel söz diziminizde daha iyi hale gelirken genel mantık ve güvenlik konusunda daha kötü hale gelir. APO, ağırlıklara dokunmadan temel modelin özelliklerini korur.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli yeteneklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle mühendislerin bulmakta zorlanabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağlandığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sorunsuz, uçtan uca geliştirici iş akışı

İnce ayarın her zaman istemden daha iyi kalite sağladığına dair yaygın bir yanlış kanı vardır. Gemini Nano v3 gibi modern temel modellerde, istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), bir modelin ağırlıklarını belirli bir veri dağılımında aşırı dizine eklemeye zorlar. Bu durum genellikle "felaket düzeyinde unutmaya" yol açar. Model, özel söz diziminizde daha iyi hale gelirken genel mantık ve güvenlik konusunda daha kötü hale gelir. APO, ağırlıklara dokunmadan temel modelin özelliklerini korur.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli yeteneklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle mühendislerin bulmakta zorlanabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağlandığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sonuç

Otomatik İstem Optimizasyonu (APO), cihaz üzerinde üretken yapay zeka için bir dönüm noktasıdır. Temel modeller ile uzman düzeyindeki performans arasındaki boşluğu doldurarak geliştiricilere daha sağlam mobil uygulamalar oluşturmaları için gereken araçları sunuyoruz. İster Zero-Shot Optimization ile yeni başlıyor ister veriye dayalı hassaslaştırma ile üretime ölçeklendiriyor olun, cihaz üzerinde yüksek kaliteli zekaya giden yol artık daha net. ML Kit'in Prompt API'si ve Vertex AI'ın Otomatik İstem Optimizasyonu ile cihaz üzerinde kullanım alanlarınızı hemen kullanıma sunun. 

İlgili bağlantılar: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer belgeleri
• Gemma 3N Duyuru Blogu