ML Kit-এর GenAI প্রম্পট API-এর জন্য অটোমেটেড প্রম্পট অপ্টিমাইজেশন কীভাবে কোয়ালিটি সংক্রান্ত সুবিধা আনলক করে

অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO)

আপনার ML Kit Prompt API ব্যবহারের কেস প্রোডাকশনে নিয়ে আসার ব্যাপারে আরও সাহায্য করতে, আমরা Vertex AI-তে অন-ডিভাইস মডেল টার্গেট করে অটোমেটিক প্রম্পট অপ্টিমাইজেশন (APO) ঘোষণা করতে পেরে অত্যন্ত আনন্দিত। অটোমেটেড প্রম্পট অপ্টিমাইজেশন হল এমন একটি টুল যা আপনাকে নিজের ব্যবহারের ক্ষেত্রে অটোমেটিক অপ্টিমাল প্রম্পট খুঁজে পেতে সাহায্য করে।

অন-ডিভাইস AI-এর যুগ আর কোনও প্রতিশ্রুতি নয়—এটি এখন প্রোডাকশন রিয়ালিটি। Gemini Nano v3 রিলিজ করার মাধ্যমে, আমরা ব্যবহারকারীদের হাতে সরাসরি অভূতপূর্ব ভাষা বোঝা ও মাল্টিমোডাল ক্ষমতা তুলে দিচ্ছি। Gemini Nano মডেল পরিবারের মাধ্যমে, Android ইকোসিস্টেম জুড়ে কাজ করে এমন ডিভাইসের জন্য আমাদের কাছে বিস্তৃত কভারেজ রয়েছে। কিন্তু, ডেভেলপাররা যখন নেক্সট জেনারেশনের ইন্টেলিজেন্ট অ্যাপ তৈরি করেন, তখন শক্তিশালী মডেলের অ্যাক্সেস পাওয়া হল প্রথম ধাপ। আসল চ্যালেঞ্জ হল কাস্টমাইজেশন: মোবাইল হার্ডওয়্যারের সীমাবদ্ধতা না ভেঙে আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ-স্তরের পারফর্ম্যান্সের জন্য আপনি কীভাবে একটি ফাউন্ডেশন মডেল তৈরি করবেন?

সার্ভার-সাইড জগতে, বড় LLM-এর ক্ষমতা অনেক বেশি হয় এবং ডোমেন অ্যাডাপ্টেশনের প্রয়োজন কম হয়। প্রয়োজন হলেও, LoRA (লো-র‍্যাঙ্ক অ্যাডাপ্টেশন) ফাইন-টিউনিংয়ের মতো আরও উন্নত বিকল্প ব্যবহার করা যেতে পারে। তবে, Android AICore-এর অনন্য আর্কিটেকচার একটি শেয়ার করা, মেমরি-দক্ষ সিস্টেম মডেলকে অগ্রাধিকার দেয়। এর অর্থ হল, প্রতিটি আলাদা অ্যাপের জন্য কাস্টম LoRA অ্যাডাপ্টার ডিপ্লয় করার ক্ষেত্রে এই শেয়ার করা সিস্টেম সার্ভিসে চ্যালেঞ্জের সম্মুখীন হতে হয়।

তবে, এর একটি বিকল্প পথ আছে যা সমানভাবে প্রভাবশালী হতে পারে। Vertex AI-তে অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO) ব্যবহার করে, ডেভেলপাররা নেটিভ Android এক্সিকিউশন এনভায়রনমেন্টে নির্বিঘ্নে কাজ করার সময় ফাইন-টিউনিংয়ের কাছাকাছি কোয়ালিটি অর্জন করতে পারেন। আরও ভাল সিস্টেম নির্দেশের উপর ফোকাস করে, APO ডেভেলপারদের প্রথাগত ফাইন-টিউনিং সমাধানের চেয়ে আরও বেশি দৃঢ়তা এবং স্কেলেবিলিটি সহ মডেলের আচরণ কাস্টমাইজ করতে সক্ষম করে।

মনে রাখবেন: Gemini Nano V3 হল অত্যন্ত প্রশংসিত Gemma 3N মডেলের কোয়ালিটি অপ্টিমাইজ করা ভার্সন। ওপেন সোর্স Gemma 3N মডেলে করা যেকোনও প্রম্পট অপ্টিমাইজেশন Gemini Nano V3-এর ক্ষেত্রেও প্রযোজ্য হবে। মানানসই ডিভাইসে, ML Kit GenAI API, Android ডেভেলপারদের জন্য কোয়ালিটি সর্বাধিক করতে nano-v3 মডেল ব্যবহার করে

APO প্রম্পটকে স্ট্যাটিক টেক্সট হিসেবে নয়, বরং প্রোগ্রামেবল সারফেস হিসেবে বিবেচনা করে যা অপ্টিমাইজ করা যায়। এটি প্রম্পট সাজেস্ট করতে, বিভিন্ন উত্তর মূল্যায়ন করতে এবং আপনার নির্দিষ্ট টাস্কের জন্য সবচেয়ে ভালো উত্তর খুঁজে পেতে সার্ভার-সাইড মডেল (যেমন, Gemini Pro ও Flash) ব্যবহার করে। পারফর্ম্যান্স সর্বাধিক করতে এই প্রসেস তিনটি নির্দিষ্ট টেকনিক্যাল মেকানিজম ব্যবহার করে:

1. অটোমেটিক সমস্যা বিশ্লেষণ: প্রাথমিক প্রম্পটের নির্দিষ্ট দুর্বলতা অটোমেটিক শনাক্ত করতে, APO ট্রেনিং ডেটা থেকে সমস্যার প্যাটার্ন বিশ্লেষণ করে।
2. অর্থগত নির্দেশাবলী ডিস্টিলেশন: এটি কোনও টাস্কের "আসল উদ্দেশ্য" ডিস্টিল করার জন্য প্রচুর ট্রেনিং উদাহরণ বিশ্লেষণ করে, এমন নির্দেশাবলী তৈরি করে যা আসল ডেটা ডিস্ট্রিবিউশনকে আরও সঠিকভাবে প্রতিফলিত করে।
3. সমান্তরাল ক্যান্ডিডেট টেস্টিং: একবারে একটি আইডিয়া পরীক্ষা করার পরিবর্তে, কোয়ালিটির গ্লোবাল সর্বাধিক মান শনাক্ত করতে, APO সমান্তরালভাবে অসংখ্য প্রম্পট ক্যান্ডিডেট তৈরি ও পরীক্ষা করে।

APO কেন ফাইন টিউনিং কোয়ালিটি অ্যাপ্রোচ করতে পারে

এটি একটি সাধারণ ভুল ধারণা যে ফাইন-টিউন করলে সবসময় প্রম্পটিংয়ের থেকে ভালো কোয়ালিটি পাওয়া যায়। Gemini Nano v3-এর মতো আধুনিক ফাউন্ডেশন মডেলের জন্য, প্রম্পট ইঞ্জিনিয়ারিং নিজেই প্রভাবশালী হতে পারে:

• সাধারণ ক্ষমতা বজায় রাখা: ফাইন-টিউনিং ( PEFT/LoRA) কোনও মডেলের ওয়েটকে ডেটার নির্দিষ্ট ডিস্ট্রিবিউশনের উপর ওভার-ইন্ডেক্স করতে বাধ্য করে। এর ফলে প্রায়ই "বিপর্যয়কর ভুলে যাওয়া"র মতো ঘটনা ঘটে, যেখানে মডেল আপনার নির্দিষ্ট সিনট্যাক্স আরও ভালোভাবে বুঝতে পারলেও সাধারণ যুক্তি ও সুরক্ষার ক্ষেত্রে খারাপ পারফর্ম করে। APO ওয়েটকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের ক্ষমতা বজায় থাকে।
• নির্দেশাবলী অনুসরণ ও স্ট্র্যাটেজি ডিসকভারি: জটিল সিস্টেম নির্দেশাবলী অনুসরণ করার জন্য Gemini Nano v3-কে কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। APO সঠিক নির্দেশনার স্ট্রাকচার খুঁজে বের করে এই সুবিধা নেয় যা মডেলের সুপ্ত ক্ষমতাকে আনলক করে, প্রায়শই এমন কৌশল আবিষ্কার করে যা মানব ইঞ্জিনিয়ারদের পক্ষে খুঁজে পাওয়া কঠিন হতে পারে। 

এই পদ্ধতি যাচাই করতে, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোড জুড়ে APO মূল্যায়ন করেছি। আমাদের যাচাইকরণে বিভিন্ন ব্যবহারের ক্ষেত্রে ৫-৮% নির্ভুলতা বৃদ্ধি দেখা গেছে। একাধিক ডিপ্লয় করা অন-ডিভাইস ফিচার জুড়ে, APO উল্লেখযোগ্য কোয়ালিটি লিফ্ট প্রদান করেছে।

একটি নিরবচ্ছিন্ন, এন্ড-টু-এন্ড ডেভেলপার ওয়ার্কফ্লো

এটি একটি সাধারণ ভুল ধারণা যে ফাইন-টিউন করলে সবসময় প্রম্পটিংয়ের থেকে ভালো কোয়ালিটি পাওয়া যায়। Gemini Nano v3-এর মতো আধুনিক ফাউন্ডেশন মডেলের ক্ষেত্রে, প্রম্পট ইঞ্জিনিয়ারিং নিজেই খুব গুরুত্বপূর্ণ হতে পারে:

• সাধারণ ক্ষমতা বজায় রাখা: ফাইন-টিউনিং ( PEFT/LoRA) কোনও মডেলের ওয়েটকে ডেটার নির্দিষ্ট ডিস্ট্রিবিউশনের উপর ওভার-ইন্ডেক্স করতে বাধ্য করে। এর ফলে প্রায়ই "বিপর্যয়কর ভুলে যাওয়া"র মতো ঘটনা ঘটে, যেখানে মডেল আপনার নির্দিষ্ট সিনট্যাক্স আরও ভালোভাবে বুঝতে পারলেও সাধারণ যুক্তি ও সুরক্ষার ক্ষেত্রে খারাপ পারফর্ম করে। APO ওয়েটকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের ক্ষমতা বজায় থাকে।
• নির্দেশাবলী অনুসরণ ও স্ট্র্যাটেজি ডিসকভারি: জটিল সিস্টেম নির্দেশাবলী অনুসরণ করার জন্য Gemini Nano v3-কে কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। APO সঠিক নির্দেশনার স্ট্রাকচার খুঁজে বের করে এই সুবিধা নেয় যা মডেলের সুপ্ত ক্ষমতাকে আনলক করে, প্রায়শই এমন কৌশল আবিষ্কার করে যা মানব ইঞ্জিনিয়ারদের পক্ষে খুঁজে পাওয়া কঠিন হতে পারে। 

এই পদ্ধতি যাচাই করতে, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোডে APO মূল্যায়ন করেছি। আমাদের যাচাইকরণে বিভিন্ন ব্যবহারের ক্ষেত্রে ৫-৮% নির্ভুলতা বৃদ্ধি দেখা গেছে। একাধিক ডিভাইসে ডিপ্লয় করা ফিচারের মধ্যে, APO উল্লেখযোগ্যভাবে কোয়ালিটি উন্নত করেছে।

সিদ্ধান্ত

অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO) রিলিজ করার মাধ্যমে অন-ডিভাইস জেনারেটিভ AI-এর ক্ষেত্রে এক নতুন যুগের সূচনা হয়েছে। ফাউন্ডেশন মডেল ও এক্সপার্ট-লেভেল পারফর্ম্যান্সের মধ্যে পার্থক্য কমিয়ে, আমরা ডেভেলপারদের আরও শক্তিশালী মোবাইল অ্যাপ্লিকেশন তৈরি করার টুল দিচ্ছি। আপনি জিরো-শট অপ্টিমাইজেশন দিয়ে শুরু করুন অথবা ডেটা-চালিত রিফাইনমেন্টের মাধ্যমে প্রোডাকশন স্কেল করুন, খুব ভালো কোয়ালিটির অন-ডিভাইস ইন্টেলিজেন্সের পথ এখন আরও স্পষ্ট। ML Kit-এর প্রম্পট API ও Vertex AI-এর অটোমেটেড প্রম্পট অপ্টিমাইজেশনের মাধ্যমে আজই আপনার অন-ডিভাইস ব্যবহারের কেস প্রোডাকশনে লঞ্চ করুন। 

প্রাসঙ্গিক লিঙ্ক: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer ডকুমেন্টেশন
• Gemma 3N ঘোষণা সংক্রান্ত ব্লগ