ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की सुविधा, ML Kit के GenAI Prompt API के लिए क्वालिटी में कैसे सुधार करती है

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम आपको यह बताते हुए बेहद खुशी हो रही है कि अब Vertex AI पर मौजूद ऑन-डिवाइस मॉडल को टारगेट करने वाले, ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की सुविधा उपलब्ध है. इससे, ML Kit Prompt API के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में मदद मिलेगी. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो आपके इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट अपने-आप ढूंढने में आपकी मदद करता है.

डिवाइस पर मौजूद एआई का दौर अब कोई सपना नहीं रहा, बल्कि यह हकीकत में बदल चुका है. Gemini Nano v3 को रिलीज़ करने के साथ ही, हम उपयोगकर्ताओं को भाषा समझने और मल्टीमॉडल की बेहतरीन सुविधाएं उपलब्ध करा रहे हैं. Gemini Nano मॉडल की मदद से, हम Android ईकोसिस्टम के ज़्यादा से ज़्यादा डिवाइसों को कवर कर पाते हैं. हालांकि, आने वाली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, एक बेहतरीन मॉडल का ऐक्सेस पाना सिर्फ़ पहला चरण है. असल चुनौती कस्टम बनाने में है: मोबाइल हार्डवेयर की सीमाओं का उल्लंघन किए बिना, अपने खास इस्तेमाल के उदाहरण के लिए फ़ाउंडेशन मॉडल को विशेषज्ञ-स्तर की परफ़ॉर्मेंस के हिसाब से कैसे बनाया जाए?

सर्वर-साइड पर काम करने वाले बड़े एलएलएम, ज़्यादा बेहतर होते हैं. साथ ही, इन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर भी, LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी का कम इस्तेमाल करने वाले सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए कस्टम LoRA अडैप्टर डिप्लॉय करने में समस्याएं आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर अपने-आप प्रॉम्प्ट ऑप्टिमाइज़ होने की सुविधा (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम इंस्ट्रक्शन पर फ़ोकस करके, एपीओ की मदद से डेवलपर, मॉडल के व्यवहार को ज़्यादा मज़बूती और स्केलेबिलिटी के साथ अपनी ज़रूरत के मुताबिक बना सकते हैं. ऐसा फ़ाइन-ट्यूनिंग के पारंपरिक तरीकों से नहीं किया जा सकता.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी ऑप्टिमाइज़ किया गया वर्शन है. ओपन सोर्स Gemma 3N मॉडल पर किए गए किसी भी प्रॉम्प्ट ऑप्टिमाइज़ेशन को Gemini Nano V3 पर भी लागू किया जाएगा. ज़रूरी शर्तें पूरी करने वाले डिवाइसों पर, ML Kit GenAI API, Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी सुविधा के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करके, प्रॉम्प्ट के सुझाव देता है. साथ ही, अलग-अलग वर्शन का आकलन करता है और आपके टास्क के लिए सबसे सही वर्शन ढूँढता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए तीन खास तकनीकी सिस्टम का इस्तेमाल किया जाता है:

1. अपने-आप होने वाला गड़बड़ी का विश्लेषण: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है. इससे, शुरुआती प्रॉम्प्ट में मौजूद खास कमियों का अपने-आप पता चलता है.
2. सिमेंटिक इंस्ट्रक्शन डिस्टिलेशन: यह ट्रेनिंग के लिए दिए गए कई उदाहरणों का विश्लेषण करता है, ताकि किसी टास्क के "असल मकसद" का पता लगाया जा सके. इससे ऐसे निर्देश तैयार किए जाते हैं जो डेटा के असल डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की टेस्टिंग करने के बजाय, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी टेस्टिंग करता है. इससे क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान की जा सकती है.

एपीओ, फ़ाइन ट्यूनिंग की क्वालिटी को बेहतर कैसे बना सकता है

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, यह एक गलत धारणा है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सटीक स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक सटीक नतीजे मिले हैं.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

डेवलपर के लिए, बिना किसी रुकावट के एंड-टू-एंड वर्कफ़्लो

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, यह एक गलत धारणा है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सटीक स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर, हमें अलग-अलग इस्तेमाल के मामलों में 5 से 8% तक की लगातार बेहतर परफ़ॉर्मेंस मिली.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी को बेहतर बनाने में अहम भूमिका निभाई.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) के लॉन्च होने से, उपयोगकर्ता के डिवाइस पर जनरेटिव एआई के इस्तेमाल में एक बड़ा बदलाव आया है. हम फ़ाउंडेशन मॉडल और विशेषज्ञता के स्तर पर परफ़ॉर्मेंस के बीच के अंतर को कम कर रहे हैं. इससे हम डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपको ज़ीरो-शॉट ऑप्टिमाइज़ेशन का इस्तेमाल शुरू करना हो या डेटा पर आधारित रिफ़ाइनमेंट की मदद से प्रोडक्शन को स्केल करना हो, अब उपयोगकर्ता के डिवाइस पर मौजूद इंटेलिजेंस की मदद से बेहतर परफ़ॉर्मेंस पाने का तरीका ज़्यादा आसान हो गया है.ML Kit के Prompt API और Vertex AI के Automated Prompt Optimization की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

इसी विषय से जुड़े लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer का दस्तावेज़
• Gemma 3N की सूचना देने वाला ब्लॉग