ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम ML Kit Prompt API के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में आपकी मदद करने के लिए, Vertex AI पर ऑन-डिवाइस मॉडल को टारगेट करने वाले, अपने-आप प्रॉम्प्ट ऑप्टिमाइज़ होने की सुविधा (एपीओ) लॉन्च करने के लिए उत्साहित हैं. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो आपके इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट अपने-आप ढूंढने में आपकी मदद करता है.

डिवाइस पर एआई की सुविधा अब कोई सपना नहीं रहा, बल्कि यह हकीकत में बदल गई है. Gemini Nano v3 को लॉन्च करके, हम उपयोगकर्ताओं को भाषा समझने और मल्टीमॉडल की ऐसी सुविधाएं दे रहे हैं जो पहले कभी नहीं मिलीं. Gemini Nano मॉडल की मदद से, हम Android ईकोसिस्टम के ज़्यादा से ज़्यादा डिवाइसों को कवर कर पाते हैं. हालांकि, आने वाली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, एक बेहतरीन मॉडल का ऐक्सेस पाना सिर्फ़ पहला चरण है. असल चुनौती कस्टमाइज़ेशन में है: मोबाइल हार्डवेयर की सीमाओं का उल्लंघन किए बिना, अपने खास इस्तेमाल के उदाहरण के लिए फ़ाउंडेशन मॉडल को विशेषज्ञ-स्तर की परफ़ॉर्मेंस के हिसाब से कैसे तैयार किया जाए?

सर्वर-साइड पर काम करने वाले बड़े एलएलएम, ज़्यादा बेहतर होते हैं. साथ ही, इन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर भी, LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, कम मेमोरी इस्तेमाल करने वाले सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए कस्टम LoRA अडैप्टर डिप्लॉय करने में समस्याएं आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर अपने-आप प्रॉम्प्ट ऑप्टिमाइज़ होने की सुविधा (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम इंस्ट्रक्शन पर फ़ोकस करके, एपीओ की मदद से डेवलपर, मॉडल के व्यवहार को ज़्यादा मज़बूत और स्केलेबल बना सकते हैं. ऐसा फ़ाइन-ट्यूनिंग के पारंपरिक तरीकों की तुलना में ज़्यादा आसानी से किया जा सकता है.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी ऑप्टिमाइज़ किया गया वर्शन है. ओपन सोर्स Gemma 3N मॉडल पर किए गए सभी प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. ज़रूरी शर्तें पूरी करने वाले डिवाइसों पर, ML Kit GenAI API, nano-v3 मॉडल का इस्तेमाल करते हैं. इससे Android डेवलपर को बेहतर क्वालिटी मिलती है

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी सुविधा के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करके, प्रॉम्प्ट के सुझाव देता है. साथ ही, अलग-अलग वर्शन का आकलन करता है और आपके काम के हिसाब से सबसे सही वर्शन ढूँढता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए तीन खास तकनीकी तरीकों का इस्तेमाल किया जाता है:

1. अपने-आप होने वाला गड़बड़ी का विश्लेषण: APO, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है. इससे, शुरुआती प्रॉम्प्ट में मौजूद खास कमियों का अपने-आप पता चलता है.
2. सिमेंटिक इंस्ट्रक्शन डिस्टिलेशन: यह ट्रेनिंग के लिए उपलब्ध कई उदाहरणों का विश्लेषण करता है, ताकि किसी टास्क के "असल मकसद" को समझा जा सके. इससे ऐसे निर्देश तैयार किए जाते हैं जो असल डेटा डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की टेस्टिंग करने के बजाय, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी टेस्टिंग करता है. इससे, क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान की जा सकती है.

एपीओ, फ़ाइन ट्यूनिंग क्वालिटी को क्यों बेहतर बना सकता है

आम तौर पर, यह गलतफ़हमी होती है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सटीक स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंसानों के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक सटीक नतीजे मिले हैं.डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

डेवलपर के लिए, एंड-टू-एंड वर्कफ़्लो को आसान बनाना

आम तौर पर, यह गलतफ़हमी होती है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सटीक स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंसानों के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक सटीक नतीजे मिले हैं.डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की रिलीज़, डिवाइस पर जनरेटिव एआई के लिए एक अहम पड़ाव है. हम फ़ाउंडेशन मॉडल और एक्सपर्ट-लेवल परफ़ॉर्मेंस के बीच के अंतर को कम कर रहे हैं. साथ ही, डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन का इस्तेमाल अभी शुरू किया हो या डेटा पर आधारित रिफ़ाइनमेंट की मदद से प्रोडक्शन को बढ़ाया हो, डिवाइस पर मौजूद अच्छी क्वालिटी की इंटेलिजेंस का इस्तेमाल करने का तरीका अब ज़्यादा आसान हो गया है. ML Kit के Prompt API और Vertex AI के Automated Prompt Optimization की मदद से, डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

इसी विषय से जुड़े लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer का दस्तावेज़
• Gemma 3N की सूचना देने वाला ब्लॉग