হাইব্রিড ইনফারেন্স

ক্লাউড-ভিত্তিক ও অন-ডিভাইস ইনফারেন্স, দু'টির জন্যই Google, ইন্ডাস্ট্রি-লিডিং AI মডেল ও API-এর একটি বিস্তৃত নির্বাচন প্রদান করে। হাইব্রিড ইনফারেন্স আপনাকে লোকাল ডিভাইস ও ক্লাউডের মধ্যে AI ওয়ার্কলোড নির্বিঘ্নে ব্যালেন্স করতে, পারফর্ম্যান্স, খরচ ও উপলভ্যতা অপ্টিমাইজ করতে দেয়।

হাইব্রিড ইনফারেন্স আপনার Android অ্যাপের জন্য দুটি প্রধান সুবিধা প্রদান করে:

• রিচ সর্বাধিক করা: ডিভাইস হার্ডওয়্যার বা OS সংক্রান্ত সীমাবদ্ধতার কারণে Gemini Nano-এর মতো অন-ডিভাইস মডেল উপলভ্য না থাকলে, ক্লাউড মডেল একটি গুরুত্বপূর্ণ ফলব্যাক হিসেবে কাজ করে। এর ফলে, আপনার AI ফিচারগুলি যাতে ব্যবহারকারীর ডিভাইসের সবচেয়ে বেশি রেঞ্জ জুড়ে কাজ করতে পারে তা নিশ্চিত করা যায়।
• খরচ ও অফলাইন ক্ষমতা: ব্যবহারকারী অফলাইনে থাকলেও আপনার AI ফিচার যাতে নির্বিঘ্নে কাজ করে তা নিশ্চিত করতে অন-ডিভাইস মডেল সাহায্য করে। এছাড়াও, লোকাল ডিভাইসে রুটিন টাস্ক অফলোড করলে ক্লাউড ইনফারেন্স সংক্রান্ত খরচ কমে যায়।

অন-ডিভাইস ইনফারেন্স ও ক্লাউড ইনফারেন্সের সুবিধাগুলি নিচে উল্লেখ করা হল:

প্রয়োগ করার বিকল্প

আপনি নিম্নলিখিত পদ্ধতি ব্যবহার করে হাইব্রিড ইনফারেন্স প্রয়োগ করতে পারবেন:

• Firebase AI Logic Hybrid API
• কাস্টম রাউটিং

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API, ক্লাউড ও অন-ডিভাইস মডেলের মধ্যে ইনফারেন্স রাউটিংয়ের জন্য একটি সিঙ্গেল, ইউনিফায়েড ইন্টারফেস প্রদান করে।

• অটোমেটিক পরিবর্তন: আপনি নিজের অ্যাপকে কনফিগার করতে পারবেন যাতে সেটি যখনই সম্ভব হয়, তখনই ডিভাইসে AI টাস্ক রান করতে পারে। এর অর্থ হল, আপনার অ্যাপের ফিচার অফলাইনে কাজ করে, উন্নত গোপনীয়তা আছে এবং ক্লাউড ইনফারেন্সের জন্য কোনও খরচ হয় না। ডিভাইসে থাকা মডেল উপলভ্য না থাকলে, SDK অটোমেটিক ক্লাউড-হোস্ট করা Gemini মডেলে অনুরোধটি রাউট করতে পারে।
• অপব্যবহারের বিরুদ্ধে সুরক্ষা: মোবাইল অ্যাপ থেকে সরাসরি ক্লাউড API কল করলে ক্রেডেনশিয়াল প্রকাশ হয়ে যাওয়ার ঝুঁকি থাকে এবং এর ফলে অবাঞ্ছিত চার্জ লাগতে পারে। তবে, আপনি Firebase AI Logic ব্যবহার করলে, Firebase App Check-ও প্রয়োগ করেন যা যাচাই করে যে শুধুমাত্র আপনার আসল, অপরিবর্তিত অ্যাপই ক্লাউড Gemini API অ্যাক্সেস করতে পারে। এটি অপব্যবহার প্রতিরোধে সাহায্য করে।
• খরচের সীমা: ক্লাউড-হোস্ট করা মডেলে অনুরোধ রাউট করার সময়, আপনার ক্লাউড বাজেট সুরক্ষিত রাখতে এবং অপ্রত্যাশিত চার্জ এড়াতে, আপনি খরচের সর্বোচ্চ সীমা কনফিগার করতে পারেন।

আপনার অ্যাপে, ইনফারেন্স মোড কন্ট্রোল করতে এবং রাউটিং ম্যানেজ করতে onDeviceConfig প্যারামিটারকে সংজ্ঞায়িত করুন:

• PREFER_ON_DEVICE: ডিভাইসে থাকা মডেল ব্যবহার করার চেষ্টা করে; ডিভাইসে থাকা মডেল উপলভ্য না থাকলে বা অনুরোধের জন্য কাজ না করলে অটোমেটিক ক্লাউড-হোস্টেড মডেলে ফিরে যায়।

• PREFER_IN_CLOUD: ডিভাইস অনলাইন থাকলে এবং মডেল উপলভ্য হলে ক্লাউড-হোস্ট করা মডেল ব্যবহার করার চেষ্টা করে; ডিভাইস অফলাইন থাকলে তবেই অন-ডিভাইস মডেলে ফিরে আসে।

• ONLY_ON_DEVICE: ডিভাইসে থাকা মডেল ব্যবহার করার চেষ্টা করে; ডিভাইসে থাকা মডেল উপলভ্য না থাকলে বা অনুরোধের জন্য কাজ না করলে ব্যতিক্রম দেখায়।

• ONLY_IN_CLOUD: ডিভাইস অনলাইন থাকলে এবং মডেল উপলভ্য থাকলে ক্লাউড-হোস্ট করা মডেল ব্যবহার করার চেষ্টা করে; অন্যান্য সব ক্ষেত্রে ব্যতিক্রম ঘটায়।

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)
HybridInferenceSnippets.kt

প্রয়োগ সংক্রান্ত বিবরণের জন্য, Firebase ডকুমেন্টেশন পর্যালোচনা করুন এবং AI ক্যাটালগে হাইব্রিড AI স্যাম্পেল এক্সপ্লোর করুন।

ওয়ার্কলোড ক্লাউডে ট্রান্সফার করলে ক্লাউড API এন্ডপয়েন্ট এক্সপোজ হতে পারে। আপনি Firebase AI Logic ব্যবহার করলে, Firebase App Check প্রয়োগ করে সরাসরি আপনার ক্লায়েন্ট-সাইড অ্যাপ থেকে ক্লাউড-ভিত্তিক Gemini মডেল নিরাপদে অ্যাক্সেস করতে পারবেন। এটি অননুমোদিত অ্যাক্সেস ও বিলিংয়ের অপব্যবহার থেকে ক্লাউড-ভিত্তিক ইনফারেন্সকে সুরক্ষিত রাখতে সাহায্য করে। এটি আপনার হাইব্রিড ফলব্যাক মেকানিজম উপলভ্য ও সুরক্ষিত রাখতে সাহায্য করে।

কাস্টম রাউটিং

আপনার অ্যাপে নির্দিষ্ট ব্যবসা বা UX সংক্রান্ত প্রয়োজনীয়তা থাকলে, আপনি কাস্টম রাউটিং লজিকও প্রয়োগ করতে পারবেন। এর ফলে, আপনি রিয়েল-টাইম ফ্যাক্টরের উপর ভিত্তি করে ইনফারেন্স পাথ ডায়নামিক নির্ধারণ করতে পারবেন, যেমন:

• নেটওয়ার্ক লেটেন্সি
• ডিভাইস সিস্টেমের স্বাস্থ্য (যেমন, ব্যাটারি লেভেল ও প্রসেসর লোড)
• ব্যবহারকারীর কোয়েরির জটিলতা

এই কাস্টম হাইব্রিড ইনফারেন্স পদ্ধতিটি সেইসব অগ্রণী অ্যাপ ব্যবহার করে যেগুলি নির্ভরযোগ্য AI অভিজ্ঞতা প্রদান করতে নিজস্ব কাস্টম রাউটিং প্রয়োগ করেছে, এর মধ্যে রয়েছে:

• GBoard: Gboard, প্রুফরিড ও আবার লেখার মতো রাইটিং টুলকে আরও শক্তিশালী করতে কাস্টম হাইব্রিড ইনফারেন্স ব্যবহার করে।

• Kakao Mobility: Kakao Mobility তাদের পার্সেল ডেলিভারি পরিষেবার জন্য কাস্টম হাইব্রিড ইনফারেন্স ব্যবহার করে একটি এন্টিটি এক্সট্র্যাকশন টুল তৈরি করেছে যা অর্ডার ফর্মকে আরও সহজ করার জন্য প্রাকৃতিক ভাষায় লেখা মেসেজ থেকে প্রাপকের নাম, ঠিকানা এবং ফোন নম্বর অটোমেটিক এক্সট্র্যাক্ট করে।