স্বয়ংক্রিয় প্রম্পট অপ্টিমাইজেশন (APO)

আপনার এমএল কিট প্রম্পট এপিআই ব্যবহারের ক্ষেত্রগুলোকে প্রোডাকশনে আনতে আরও সাহায্য করার জন্য, আমরা ভার্টেক্স এআই-তে অন-ডিভাইস মডেলগুলোকে লক্ষ্য করে অটোমেটেড প্রম্পট অপটিমাইজেশন (এপিও) ঘোষণা করতে পেরে আনন্দিত। অটোমেটেড প্রম্পট অপটিমাইজেশন হলো এমন একটি টুল যা আপনাকে আপনার ব্যবহারের ক্ষেত্রগুলোর জন্য সর্বোত্তম প্রম্পটটি স্বয়ংক্রিয়ভাবে খুঁজে পেতে সাহায্য করে।

অন-ডিভাইস এআই-এর যুগ এখন আর কোনো প্রতিশ্রুতি নয়—এটি একটি বাস্তব উৎপাদন। জেমিনি ন্যানো ভি৩ প্রকাশের মাধ্যমে, আমরা অভূতপূর্ব ভাষা বোঝার এবং মাল্টিমোডাল ক্ষমতা সরাসরি ব্যবহারকারীদের হাতের মুঠোয় তুলে দিচ্ছি। জেমিনি ন্যানো মডেল পরিবারের মাধ্যমে, অ্যান্ড্রয়েড ইকোসিস্টেম জুড়ে আমাদের সমর্থিত ডিভাইসের একটি বিস্তৃত পরিসর রয়েছে। কিন্তু পরবর্তী প্রজন্মের ইন্টেলিজেন্ট অ্যাপ তৈরি করা ডেভেলপারদের জন্য, একটি শক্তিশালী মডেলের অ্যাক্সেস পাওয়াটা কেবল প্রথম ধাপ। আসল চ্যালেঞ্জটি হলো কাস্টমাইজেশন : মোবাইল হার্ডওয়্যারের সীমাবদ্ধতা না ভেঙে, কীভাবে আপনি আপনার নির্দিষ্ট ব্যবহারের জন্য একটি ভিত্তি মডেলকে বিশেষজ্ঞ-স্তরের পারফরম্যান্সে রূপান্তরিত করবেন?

সার্ভার-সাইড জগতে, বড় LLM-গুলো সাধারণত অত্যন্ত সক্ষম হয় এবং সেগুলোতে কম ডোমেইন অ্যাডাপ্টেশনের প্রয়োজন হয়। এমনকি প্রয়োজনে, LoRA (লো-র‍্যাঙ্ক অ্যাডাপ্টেশন) ফাইন-টিউনিং-এর মতো আরও উন্নত বিকল্পগুলো কার্যকর হতে পারে। তবে, অ্যান্ড্রয়েড AICore-এর অনন্য আর্কিটেকচার একটি শেয়ার্ড, মেমরি-সাশ্রয়ী সিস্টেম মডেলকে অগ্রাধিকার দেয়। এর মানে হলো, প্রতিটি স্বতন্ত্র অ্যাপের জন্য কাস্টম LoRA অ্যাডাপ্টার স্থাপন করা এই শেয়ার্ড সিস্টেম পরিষেবাগুলিতে চ্যালেঞ্জ তৈরি করে।

কিন্তু একটি বিকল্প পথ আছে যা সমানভাবে কার্যকর হতে পারে। ভার্টেক্স এআই-তে অটোমেটেড প্রম্পট অপটিমাইজেশন (এপিও) ব্যবহার করে, ডেভেলপাররা ফাইন-টিউনিংয়ের কাছাকাছি মানের কাজ করতে পারেন, এবং এই পুরোটা সময় নেটিভ অ্যান্ড্রয়েড এক্সিকিউশন এনভায়রনমেন্টের মধ্যেই নির্বিঘ্নে কাজ করা যায়। উন্নত সিস্টেম নির্দেশনার উপর মনোযোগ দিয়ে, এপিও ডেভেলপারদের প্রচলিত ফাইন-টিউনিং সমাধানগুলোর চেয়ে অধিক দৃঢ়তা ও প্রসারণযোগ্যতার সাথে মডেলের আচরণকে প্রয়োজন অনুযায়ী সাজাতে সক্ষম করে।

দ্রষ্টব্য: জেমিনি ন্যানো ভি৩ হলো বহুল প্রশংসিত জেমা ৩এন মডেলের একটি উন্নত মানের সংস্করণ। ওপেন সোর্স জেমা ৩এন মডেলে করা যেকোনো দ্রুত অপ্টিমাইজেশন জেমিনি ন্যানো ভি৩-এর ক্ষেত্রেও প্রযোজ্য হবে। সমর্থিত ডিভাইসগুলিতে , অ্যান্ড্রয়েড ডেভেলপারদের জন্য গুণমান সর্বোচ্চ করতে এমএল কিট জেনএআই এপিআই ন্যানো-ভি৩ মডেলটিকে কাজে লাগায়।

APO প্রম্পটকে একটি স্থির টেক্সট হিসেবে নয়, বরং একটি প্রোগ্রামযোগ্য ও অপ্টিমাইজযোগ্য পৃষ্ঠ হিসেবে বিবেচনা করে। এটি প্রম্পট প্রস্তাব করতে, বিভিন্ন রূপ মূল্যায়ন করতে এবং আপনার নির্দিষ্ট কাজের জন্য সর্বোত্তমটি খুঁজে বের করতে সার্ভার-সাইড মডেল (যেমন Gemini Pro এবং Flash) ব্যবহার করে। এই প্রক্রিয়াটি পারফরম্যান্স সর্বোচ্চ করতে তিনটি নির্দিষ্ট প্রযুক্তিগত কৌশল প্রয়োগ করে:

1. স্বয়ংক্রিয় ত্রুটি বিশ্লেষণ: APO প্রশিক্ষণ ডেটা থেকে ত্রুটির ধরণ বিশ্লেষণ করে প্রাথমিক প্রম্পটের নির্দিষ্ট দুর্বলতাগুলো স্বয়ংক্রিয়ভাবে শনাক্ত করে।
2. সিমান্টিক ইনস্ট্রাকশন ডিস্টিলেশন: এটি কোনো কাজের 'প্রকৃত উদ্দেশ্য' বের করে আনার জন্য বিপুল সংখ্যক ট্রেনিং উদাহরণ বিশ্লেষণ করে, এবং এমন নির্দেশনা তৈরি করে যা বাস্তব ডেটা বিন্যাসকে আরও নির্ভুলভাবে প্রতিফলিত করে।
3. সমান্তরাল প্রার্থী পরীক্ষা: একবারে একটি ধারণা পরীক্ষা করার পরিবর্তে, APO গুণমানের বৈশ্বিক সর্বোচ্চ মান শনাক্ত করার জন্য সমান্তরালভাবে অসংখ্য প্রম্পট প্রার্থী তৈরি ও পরীক্ষা করে।

কেন APO গুণমান সূক্ষ্মভাবে সমন্বয় করার পদ্ধতি গ্রহণ করতে পারে

এটি একটি সাধারণ ভুল ধারণা যে প্রম্পটিংয়ের চেয়ে ফাইন-টিউনিং সবসময় ভালো গুণমান দেয়। জেমিনি ন্যানো ভি৩-এর মতো আধুনিক ফাউন্ডেশন মডেলগুলোর ক্ষেত্রে, প্রম্পট ইঞ্জিনিয়ারিং নিজেই প্রভাবশালী হতে পারে:

• সাধারণ সক্ষমতা সংরক্ষণ: ফাইন-টিউনিং (PEFT/LoRA) একটি মডেলের ওয়েটগুলোকে ডেটার একটি নির্দিষ্ট ডিস্ট্রিবিউশনের উপর অতিরিক্ত নির্ভরশীল করে তোলে। এর ফলে প্রায়শই "ক্যাটাষ্ট্রফিক ফরগেটিং" ঘটে, যেখানে মডেলটি আপনার নির্দিষ্ট সিনট্যাক্সে দক্ষ হয়ে উঠলেও সাধারণ লজিক এবং সুরক্ষার ক্ষেত্রে দুর্বল হয়ে পড়ে। APO ওয়েটগুলোকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের সক্ষমতাগুলো সংরক্ষিত থাকে।
• নির্দেশনা অনুসরণ ও কৌশল আবিষ্কার: জেমিনি ন্যানো ভি৩-কে জটিল সিস্টেম নির্দেশনা অনুসরণ করার জন্য কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। এপিও এই সক্ষমতাকে কাজে লাগিয়ে সঠিক নির্দেশনা কাঠামো খুঁজে বের করে, যা মডেলটির সুপ্ত ক্ষমতাকে উন্মোচন করে এবং প্রায়শই এমন সব কৌশল আবিষ্কার করে যা মানব প্রকৌশলীদের পক্ষে খুঁজে বের করা কঠিন হতে পারে।

এই পদ্ধতিটির কার্যকারিতা যাচাই করার জন্য, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোডে APO-কে ​​মূল্যায়ন করেছি। আমাদের যাচাইকরণে দেখা গেছে যে, বিভিন্ন ব্যবহারের ক্ষেত্রে ধারাবাহিকভাবে ৫-৮% নির্ভুলতা বৃদ্ধি পেয়েছে। ডিভাইসে স্থাপন করা একাধিক ফিচারের ক্ষেত্রে, APO গুণগত মানে উল্লেখযোগ্য উন্নতি এনেছে।

একটি নির্বিঘ্ন, শুরু থেকে শেষ পর্যন্ত ডেভেলপার কর্মপ্রবাহ

এটি একটি সাধারণ ভুল ধারণা যে প্রম্পটিংয়ের চেয়ে ফাইন-টিউনিং সবসময় ভালো গুণমান দেয়। জেমিনি ন্যানো ভি৩-এর মতো আধুনিক ফাউন্ডেশন মডেলগুলোর ক্ষেত্রে, প্রম্পট ইঞ্জিনিয়ারিং নিজেই প্রভাবশালী হতে পারে:

• সাধারণ সক্ষমতা সংরক্ষণ: ফাইন-টিউনিং (PEFT/LoRA) একটি মডেলের ওয়েটগুলোকে ডেটার একটি নির্দিষ্ট ডিস্ট্রিবিউশনের উপর অতিরিক্ত নির্ভরশীল করে তোলে। এর ফলে প্রায়শই "ক্যাটাষ্ট্রফিক ফরগেটিং" ঘটে, যেখানে মডেলটি আপনার নির্দিষ্ট সিনট্যাক্সে দক্ষ হয়ে উঠলেও সাধারণ লজিক এবং সুরক্ষার ক্ষেত্রে দুর্বল হয়ে পড়ে। APO ওয়েটগুলোকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের সক্ষমতাগুলো সংরক্ষিত থাকে।
• নির্দেশনা অনুসরণ ও কৌশল আবিষ্কার: জেমিনি ন্যানো ভি৩-কে জটিল সিস্টেম নির্দেশনা অনুসরণ করার জন্য কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। এপিও এই সক্ষমতাকে কাজে লাগিয়ে সঠিক নির্দেশনা কাঠামো খুঁজে বের করে, যা মডেলটির সুপ্ত ক্ষমতাকে উন্মোচন করে এবং প্রায়শই এমন সব কৌশল আবিষ্কার করে যা মানব প্রকৌশলীদের পক্ষে খুঁজে বের করা কঠিন হতে পারে।

এই পদ্ধতিটির কার্যকারিতা যাচাই করার জন্য, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোডে APO-কে ​​মূল্যায়ন করেছি। আমাদের যাচাইকরণে দেখা গেছে যে, বিভিন্ন ব্যবহারের ক্ষেত্রে ধারাবাহিকভাবে ৫-৮% নির্ভুলতা বৃদ্ধি পেয়েছে। ডিভাইসে স্থাপন করা একাধিক ফিচারের ক্ষেত্রে, APO গুণগত মানে উল্লেখযোগ্য উন্নতি এনেছে।

উপসংহার

অটোমেটেড প্রম্পট অপটিমাইজেশন (APO) -এর প্রকাশ অন-ডিভাইস জেনারেটিভ এআই-এর জন্য একটি যুগান্তকারী মুহূর্ত। ফাউন্ডেশন মডেল এবং বিশেষজ্ঞ-স্তরের পারফরম্যান্সের মধ্যেকার ব্যবধান কমিয়ে আনার মাধ্যমে, আমরা ডেভেলপারদের আরও শক্তিশালী মোবাইল অ্যাপ্লিকেশন তৈরি করার সরঞ্জাম দিচ্ছি। আপনি জিরো-শট অপটিমাইজেশন দিয়ে সবে শুরু করুন বা ডেটা-ড্রাইভেন রিফাইমেন্টের মাধ্যমে প্রোডাকশনে উন্নীত হন, উচ্চ-মানের অন-ডিভাইস ইন্টেলিজেন্সের পথ এখন আরও স্পষ্ট। এমএল কিট-এর প্রম্পট এপিআই এবং ভার্টেক্স এআই-এর অটোমেটেড প্রম্পট অপটিমাইজেশন ব্যবহার করে আজই আপনার অন-ডিভাইস ইউজ কেসগুলো প্রোডাকশনে চালু করুন।

প্রাসঙ্গিক লিঙ্ক:

• এমএল কিট প্রম্পট এপিআই
• ভার্টেক্স এআই প্রম্পট অপটিমাইজার ডকুমেন্টেশন
• জেমা ৩এন ঘোষণা ব্লগ