Android Bench की मदद से, एआई की मदद से Android ऐप्लिकेशन बनाने की प्रोसेस को बेहतर बनाना और एलएलएम को बेहतर बनाना

हम चाहते हैं कि आप अच्छी क्वालिटी वाले Android ऐप्लिकेशन को तेज़ी से और आसानी से बना सकें. हम एआई को आपके लिए उपलब्ध करा रहे हैं, ताकि आप ज़्यादा से ज़्यादा काम कर सकें. हम जानते हैं कि आपको ऐसा एआई चाहिए जो Android प्लैटफ़ॉर्म की बारीकियों को समझता हो. इसलिए, हम यह मेज़र कर रहे हैं कि एलएलएम, Android डेवलपमेंट के टास्क कैसे पूरे करते हैं. आज हमने Android Bench का पहला वर्शन रिलीज़ किया है. यह Android डेवलपमेंट के लिए, एलएलएम का आधिकारिक लीडरबोर्ड है.

हमारा लक्ष्य, मॉडल क्रिएटर्स को एक ऐसा बेंचमार्क उपलब्ध कराना है जिससे वे Android ऐप्लिकेशन बनाने के लिए, एलएलएम की क्षमताओं का आकलन कर सकें. Android ऐप्लिकेशन बनाने के लिए, अच्छी क्वालिटी के स्टैंडर्ड तय करके हम मॉडल बनाने वालों की मदद कर रहे हैं. इससे वे कमियों का पता लगा सकते हैं और उन्हें तेज़ी से ठीक कर सकते हैं. इससे डेवलपर को एआई की मदद के लिए, ज़्यादा मददगार मॉडल के साथ ज़्यादा कुशलता से काम करने में मदद मिलती है. इससे Android के पूरे नेटवर्क में, अच्छी क्वालिटी वाले ऐप्लिकेशन बनाने में मदद मिलेगी.

इसे Android डेवलपमेंट के असल टास्क के हिसाब से डिज़ाइन किया गया है

हमने बेंचमार्क को, Android डेवलपमेंट के अलग-अलग सामान्य पहलुओं के हिसाब से टास्क सेट करके बनाया है. इसमें अलग-अलग मुश्किल लेवल की असली चुनौतियां शामिल हैं. इन्हें सार्वजनिक तौर पर उपलब्ध GitHub Android रिपॉज़िटरी से लिया गया है. इनमें Android के अलग-अलग वर्शन में होने वाले बड़े बदलावों को ठीक करना, डोमेन से जुड़े टास्क (जैसे, पहनने लायक डिवाइसों पर नेटवर्किंग) करना, और Jetpack Compose के नए वर्शन पर माइग्रेट करना शामिल है.

हर आकलन में, एलएलएम से टास्क में बताई गई समस्या को ठीक करने के लिए कहा जाता है. इसके बाद, हम यूनिट या इंस्ट्रूमेंटेशन टेस्ट का इस्तेमाल करके इसकी पुष्टि करते हैं. इस तरीके से, हम किसी भी मॉडल की इन क्षमताओं का आकलन कर सकते हैं: मुश्किल कोडबेस को समझना, डिपेंडेंसी को समझना, और रोज़मर्रा की समस्याओं को हल करना. 

हमने इस तरीके की पुष्टि, एलएलएम बनाने वाली कई कंपनियों के साथ की है. इनमें JetBrains भी शामिल है. 

“Android पर एआई के असर को मेज़र करना एक बड़ी चुनौती है. इसलिए, इस तरह के फ़्रेमवर्क को देखना बहुत अच्छा है, जो भरोसेमंद और व्यावहारिक है. हम खुद को बेंचमार्क करने के लिए लगातार काम कर रहे हैं. ऐसे में, Android Bench एक यूनीक और बेहतरीन प्लैटफ़ॉर्म है. यह तरीका, Android डेवलपर के लिए काफ़ी मददगार है.” 
- किरिल स्मेलोव, हेड ऑफ़ एआई इंटिग्रेशन, JetBrains.

Android Bench के पहले नतीजे

इस शुरुआती रिलीज़ के लिए, हम सिर्फ़ मॉडल की परफ़ॉर्मेंस को मेज़र करना चाहते थे. हमारा फ़ोकस, एजेंटिक या टूल के इस्तेमाल पर नहीं था. मॉडल, 16 से 72% टास्क को सही तरीके से पूरा कर पाए. यह एक बड़ी रेंज है. इससे पता चलता है कि कुछ एलएलएम के पास Android के बारे में पहले से ही अच्छी जानकारी है, जबकि अन्य एलएलएम को इस बारे में और जानकारी देने की ज़रूरत है. फ़िलहाल, मॉडल की परफ़ॉर्मेंस कैसी भी हो, हमें उम्मीद है कि इसमें लगातार सुधार होता रहेगा. ऐसा इसलिए, क्योंकि हम एलएलएम बनाने वाली कंपनियों को Android डेवलपमेंट के लिए अपने मॉडल को बेहतर बनाने के लिए बढ़ावा दे रहे हैं. 

पहली रिलीज़ के लिए, सबसे ज़्यादा औसत स्कोर वाला एलएलएम Gemini 3.1 Pro है. इसके बाद, Claude Opus 4.6 का स्कोर सबसे ज़्यादा है. हमने Android प्रोजेक्ट के लिए, एआई की मदद से काम करने वाले जिन मॉडल का आकलन किया है उन्हें आज़माया जा सकता है. इसके लिए, Android Studio के नए स्टेबल वर्शन में एपीआई पासकोड का इस्तेमाल करें.

डेवलपर और एलएलएम बनाने वालों को पारदर्शिता के साथ जानकारी देना

हम खुले और पारदर्शी तरीके को अहमियत देते हैं. इसलिए, हमने अपनी कार्यप्रणाली, डेटासेट, और टेस्ट हार्नेस को GitHub पर सार्वजनिक तौर पर उपलब्ध कराया है.

किसी भी सार्वजनिक बेंचमार्क के लिए, डेटा में गड़बड़ी होने का खतरा एक चुनौती है. ऐसा इसलिए, क्योंकि ट्रेनिंग के दौरान मॉडल ने आकलन के टास्क देखे हो सकते हैं. हमने यह पक्का करने के लिए कई कदम उठाए हैं कि हमारे जवाब, रटकर या अंदाज़ा लगाकर न दिए गए हों, बल्कि सही वजहों के साथ दिए गए हों. इनमें एजेंट के जवाबों की मैन्युअल तरीके से पूरी समीक्षा करना या ट्रेनिंग को हतोत्साहित करने के लिए कैनरी स्ट्रिंग को इंटिग्रेट करना शामिल है. 

हम आने वाले समय में, डेटासेट की अखंडता को बनाए रखने के लिए, अपनी कार्यप्रणाली को बेहतर बनाते रहेंगे. साथ ही, बेंचमार्क के आने वाले वर्शन में सुधार करते रहेंगे. उदाहरण के लिए, टास्क की संख्या और मुश्किलों को बढ़ाना.

हम यह देखने के लिए उत्सुक हैं कि Android Bench, एआई की मदद से काम करने वाली सुविधाओं को लंबे समय तक कैसे बेहतर बना सकता है. हमारा लक्ष्य, कॉन्सेप्ट और क्वालिटी कोड के बीच के अंतर को कम करना है. हम आने वाले समय के लिए, Android को इस तरह से तैयार कर रहे हैं कि आप जो भी चाहें उसे Android पर बना सकें.