Android Bench 2.0: চ্যালেঞ্জিং দীর্ঘ-মেয়াদী টাস্কের মাধ্যমে নতুন দিগন্ত উন্মোচন করা

আমরা যখন প্রথম Android Bench লঞ্চ করি, তখন আমরা এমন একটি কঠোর ভিত্তি তৈরি করি যার মাধ্যমে লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) কীভাবে ডেভেলপারদের বাস্তব-জগতের Android টাস্কের ব্যাপারে সাহায্য করে তা মূল্যায়ন করা যায়। AI মডেল ও এজেন্ট দ্রুত উন্নত হওয়ার সাথে সাথে, আমরা আমাদের পদ্ধতি আপডেট করে চলেছি, যেমন, হারবার ফ্রেমওয়ার্কের সাথে আমাদের বেঞ্চমার্ক ফ্রেমওয়ার্ককে অ্যালাইন করা। আজ আমরা দীর্ঘমেয়াদী টাস্কের (LHT) প্রথম সেট রিলিজ করছি, এগুলি হল অত্যন্ত জটিল টাস্ক যা একজন ইঞ্জিনিয়ারের সম্পূর্ণ করতে একাধিক দিন বা এমনকি এক সপ্তাহও লেগে যায়। এছাড়াও, আমরা এজেন্টিক মূল্যায়ন চালু করছি, যা সংশ্লিষ্ট মডেল প্রদানকারীর এজেন্টদের মাধ্যমে শুরু হবে। এই সংযোজন আমাদের Android Bench 2.0-এর কাছে নিয়ে আসে—এটি একটি বড় ধরনের আপগ্রেড যা আপনার প্রতিদিন সমাধান করা সমস্যাগুলির স্কেল, অস্পষ্টতা এবং জটিল মাল্টি-স্টেপ সমস্যা সমাধানের ক্ষেত্রে AI মডেল এবং এজেন্টদের মূল্যায়ন করার জন্য ডিজাইন করা হয়েছে।

ছোটখাটো সমস্যা সমাধান থেকে শুরু করে দীর্ঘমেয়াদী টাস্ক

Android Bench-এর প্রথম ইটারেশন, একই ধরনের প্রাথমিক AI কোডিং বেঞ্চমার্কের সাথে, আগে থেকে থাকা রিপোজিটরিতে ইনক্রিমেন্টাল পরিবর্তনের উপর ফোকাস করে, অনেক ক্ষেত্রে বাগ ফিক্স বা ছোট ফিচার অনুরোধের মধ্যে সীমাবদ্ধ থাকে। এটি সেই সময়ের AI অ্যাসিস্ট্যান্টের ক্ষমতা এবং আপনি কীভাবে এটি ব্যবহার করছিলেন তার প্রতিফলন।

আপনার ডেভেলপমেন্ট ওয়ার্কফ্লোর জন্য সবচেয়ে উপযুক্ত মডেল ও কোডিং এজেন্ট খুঁজে পেতে আপনাকে সাহায্য করা চালিয়ে যেতে, AI-কে আপনি যে কাজ অ্যাসাইন করেন তার সাথে ম্যাচ করাতে আমরা মূল্যায়নের মান আরও উন্নত করেছি। Android Bench 2.0-তে LHT-এর মাধ্যমে এই ধরনের কঠিন চ্যালেঞ্জের প্রতিফলন দেখা যায়, যার মধ্যে রয়েছে ডিপেন্ডেন্সি আপগ্রেড করা, নতুন ফিচার যোগ করা, স্ক্র্যাচ থেকে অ্যাপ তৈরি করা অথবা ক্রস-প্ল্যাটফর্ম অ্যাপকে Android-এ কনভার্ট করা।

জটিল টাস্কের জন্য আরও সূক্ষ্ম মূল্যায়ন ও স্কোরিং প্রয়োজন

একাধিক দিনের ইঞ্জিনিয়ারিং টাস্কের ক্ষেত্রে, বাইনারি পাস বা ফেল গ্রেডিং সম্পূর্ণ চিত্রটি ক্যাপচার করে না।

যেমন, কোনও এজেন্ট ৪০টি স্ক্রিনকে Jetpack Compose-এ রিফ্যাক্টর করতে পারে, ডেটাবেস টেবিল সেট-আপ করতে পারে এবং ৯০% প্রয়োজনীয়তা পূরণ করতে পারে, কিন্তু একটি এজ-কেস অ্যাসারশনে ব্যর্থ হতে পারে। বাইনারি স্কোরিং এই রানকে ০% হিসেবে রেট করেছে, যা মডেলের স্থাপত্য সংক্রান্ত ক্ষমতাকে অস্পষ্ট করে দেয়। মডেল ডেভেলপমেন্ট এবং AI কীভাবে আপনাকে সাহায্য করতে পারে সেই বিষয়ে আপনার বোঝার জন্য আরও অর্থপূর্ণ সিগন্যাল প্রদান করতে আমরা ক্রমাগত স্কোরিংয়ের দিকে এগোচ্ছি।

আমরা কার্যকারিতা, ভিজ্যুয়াল ফিডেলিটি এবং রিগ্রেশন এড়ানোর মতো বিষয়গুলির সমন্বয়ের মাধ্যমে এই সম্পূর্ণ হওয়ার হার গণনা করি। এছাড়াও, মূল্যায়ন সংক্রান্ত নির্দেশাবলী বা গঠনগত সীমাবদ্ধতা থেকে বিচ্যুতি ঘটলে আমরা অবজেক্টিভ স্কোরিং পেনাল্টি প্রয়োগ করি। আপডেট করা লিডারবোর্ড চেক করে দেখুন এবং প্রতিটি মডেলের কার্ড ভিউতে ক্লিক করে পাস রেট, সম্পূর্ণ করার রেট এবং মডেল ও টাস্ক পিছু গড় খরচের মতো অতিরিক্ত এলিমেন্ট দেখুন।
 

LHT-এর জন্য সবচেয়ে বেশি পাসের হার হল প্রায় ২৮%, যা বেঞ্চমার্কে আসল টাস্কের ~৯১% পাসের হারের থেকে অনেক কম।

দীর্ঘমেয়াদী টাস্ক AI অ্যাসিস্ট্যান্টের জন্য সহায়ক ইনসাইট খুঁজে পায়

LHT ডেটাসেট, AI কীভাবে দীর্ঘমেয়াদী টাস্ক ম্যানেজ করে তা পরিমাপ করার পাশাপাশি, আমাদের পরীক্ষা করা মডেলের শক্তি ও দুর্বলতা সম্পর্কে আরও জানতে সাহায্য করে এবং আমরা আপনাকে আরও ব্যবহারিক নির্দেশিকা প্রদান করি।

মডেলের সবকটি টিয়ার জুড়ে, AI আগে থেকে থাকা কোড রিফ্যাক্টর করার চেয়ে নতুন কোড লেখার ক্ষেত্রে আরও ভালো কাজ করে। রিফ্যাক্টর ও মাইগ্রেশন আরও কঠিন হয়ে যায় কারণ সাফল্যের বিষয়টি কোডের পরিমাণের পরিবর্তে আর্কিটেকচারাল জটিলতার উপর নির্ভর করে।

মডেলগুলি সুপ্রতিষ্ঠিত, ডিটারমিনিস্টিক ট্রান্সফর্মেশনের ক্ষেত্রে শক্তিশালী ক্ষমতা দেখায়, যেমন Java থেকে Kotlin-এ কনভার্ট করা, Ktor-এর জন্য Retrofit অদল-বদল করা বা ViewModel লেয়ার যোগ করা। ১২৫টিরও বেশি ফাইল এবং ৮,০০০টিরও বেশি কোড লাইন জুড়ে তারা এই প্যাটার্নগুলি ধারাবাহিকভাবে প্রয়োগ করে।

তবে, রানটাইম ভ্যালিডেশন (যেমন, ডিপেন্ডেন্সি ইনজেকশন গ্রাফ অনুপস্থিত) প্রয়োজন হয় এমন টাস্ক, ফ্রেমওয়ার্কে পরিবর্তন করা বা রিলিজ করা হয়নি এমন লাইব্রেরির ক্ষেত্রে জ্ঞানের অভাবের মতো সমস্যা হলে মডেলগুলি ঠিকমতো কাজ করতে পারে না। ক্রস-প্ল্যাটফর্ম অ্যাপকে Android-এ পোর্ট করা এখনও একটি চ্যালেঞ্জ—কোনও মডেলই ১০০% পাস রেট অর্জন করতে পারেনি এবং ফ্রন্টিয়ার মডেলগুলি সর্বাধিক ৮০% কমপ্লিশন রেট অর্জন করেছে।

এজেন্ট মূল্যায়ন চালু করা হচ্ছে

আপনার এজেন্টিক ওয়ার্কফ্লোতে ইন্টিগ্রেট করা হলে মডেল কীভাবে পারফর্ম করে সেই সম্পর্কে আরও ভাল ধারণা পেতে, আমরা মূল্যায়নে সাধারণত ব্যবহৃত এজেন্ট যোগ করছি। আমরা সংশ্লিষ্ট মডেল প্রদানকারীর এজেন্টদের সাথে LHT-এর বিরুদ্ধে নতুন মডেল চালিয়ে শুরু করছি। যেমন, আমরা Codex-এ GPT 5.6 Sol এবং Google Antigravity-তে Gemini 3.8 Flash রান করিয়েছি। এই পেয়ারিং থেকে বোঝা যায় যে কীভাবে হার্নেস ডিজাইন ডেভেলপারদের ফলাফলকে ইতিবাচকভাবে প্রভাবিত করে, যেমন আমরা দেখেছি যে প্রম্পট ক্যাশিং এবং কম্প্যাক্ট টুল উইন্ডো টোকেন কমানোর ক্ষেত্রে সহায়ক হতে পারে।

ভবিষ্যতে আমরা এটি আরও প্রসারিত করব। এর মধ্যে বিভিন্ন মডেল ও এজেন্টের কম্বিনেশন জুড়ে ফলাফল হাইলাইট করাও অন্তর্ভুক্ত থাকবে। এর ফলে, আপনার ও আপনার টিমের জন্য কোন কম্বিনেশন সবচেয়ে ভালো কাজ করে তা আপনি জানতে পারবেন।

আমরা এই পরিমাপের জন্য বিনিয়োগ করি কারণ Android ডেভেলপমেন্টের জন্য আপনার পছন্দের এজেন্ট ও মডেল ব্যবহার করতে পারাটা আপনার পক্ষে গুরুত্বপূর্ণ এবং আগামী কয়েক সপ্তাহে আমরা আপনার সাথে আরও তথ্য শেয়ার করব।

নতুন মডেল যোগ করা হয়েছে

এছাড়াও, আপনার ডেভেলপমেন্ট সংক্রান্ত সিদ্ধান্ত নেওয়ার জন্য সবচেয়ে আপ-টু-ডেট ডেটা যাতে থাকে তা নিশ্চিত করতে আমরা লিডারবোর্ড আরও বড় করছি। আমরা Gemini 3.8 Flash, Gemini 3.7 Flash, OpenAI-এর GPT-6, Anthropic-এর Fable 5.1, Kimi K3 এবং Qwen 3.8 Max যোগ করেছি, যার মধ্যে OpenAI-এর GPT-6 Astra সবচেয়ে উপরে আছে এবং এর পাস রেট ২৮%।

ভবিষ্যতের কথা ভেবে প্ল্যান করা

Android ডেভেলপমেন্টের জন্য AI পরিমাপ করার জন্য Android Bench 2.0 একটি শক্তিশালী এনভায়রনমেন্ট প্রদান করে। দীর্ঘমেয়াদী টাস্ক, মাল্টিমোডাল মূল্যায়ন, এজেন্ট ও ক্রমাগত স্কোরিংয়ের মাধ্যমে আমরা আশা করি AI রিসার্চ টিমকে আরও উপযুক্ত, নির্ভরযোগ্য AI কোডিং পার্টনার তৈরি করতে সাহায্য করতে পারব এবং AI ডেভেলপমেন্টের বিকল্প সম্পর্কে আপনাকে আরও স্বচ্ছ ধারণা দিতে পারব।

আপডেট করা পদ্ধতি সহ আপডেট করা লিডারবোর্ড চেক করে দেখুন। Android Bench-এর উন্নতিতে আপনার মতামত সরাসরি প্রভাব ফেলে, তাই GitHub-এ এবং X ও LinkedIn-এর মতো আমাদের সোশ্যাল চ্যানেলে আপনার মতামত শেয়ার করা চালিয়ে যান।