Gemini Nano

Gemini Nano ช่วยให้คุณมอบประสบการณ์ Generative AI ที่หลากหลายโดยไม่จำเป็นต้องเชื่อมต่อเครือข่ายหรือส่งข้อมูลไปยังคลาวด์ AI ในอุปกรณ์เป็นโซลูชันที่ยอดเยี่ยมสำหรับกรณีการใช้งานที่ความกังวลหลักของคุณคือต้นทุนต่ำและการป้องกันความเป็นส่วนตัว

สำหรับกรณีการใช้งานในอุปกรณ์ คุณสามารถใช้ประโยชน์จากโมเดลพื้นฐาน Gemini Nano ของ Google ได้ Gemini Nano ทำงานในบริการ AICore ของระบบ Android, ซึ่งใช้ประโยชน์จากฮาร์ดแวร์ของอุปกรณ์ทำให้เวลาในการตอบสนองสำหรับการอนุมานต่ำ และโมเดลเป็นเวอร์ชันล่าสุดอยู่เสมอ

ML Kit GenAI API

ML Kit GenAI API ใช้ประโยชน์จากความสามารถของ Gemini Nano เพื่อช่วยให้แอปของคุณทำงานต่างๆ ได้ API เหล่านี้มอบคุณภาพที่พร้อมใช้งานสำหรับกรณีการใช้งานยอดนิยมผ่านอินเทอร์เฟซระดับสูง ML Kit GenAI API สร้างขึ้นบน AICore ซึ่งเป็นบริการของระบบ Android ที่ช่วยให้การดำเนินการโมเดลพื้นฐาน GenAI ในอุปกรณ์เป็นไปได้เพื่ออำนวยความสะดวกในการใช้ฟีเจอร์ต่างๆ เช่น ฟังก์ชันการทำงานของแอปที่ได้รับการปรับปรุงและความเป็นส่วนตัวของผู้ใช้ที่ดียิ่งขึ้นด้วยการประมวลผลข้อมูลในอุปกรณ์ ดูข้อมูลเพิ่มเติม

ฟีเจอร์หลัก

ML Kit GenAI API รองรับฟีเจอร์ต่อไปนี้

สถาปัตยกรรมผ่าน AICore

ในฐานะโมดูลระดับระบบ คุณจะเข้าถึง AICore ผ่านชุด API เพื่อเรียกใช้การอนุมานในอุปกรณ์ นอกจากนี้ AICore ยังมีฟีเจอร์ความปลอดภัยในตัวหลายรายการ ซึ่งช่วยให้มั่นใจได้ว่ามีการประเมินอย่างละเอียดเทียบกับตัวกรองความปลอดภัยของเรา แผนภาพต่อไปนี้แสดงวิธีที่แอปเข้าถึง AICore เพื่อเรียกใช้ Gemini Nano ในอุปกรณ์

แผนภาพแสดงวิธีที่แอป Android ใช้ Google AI Edge SDK เพื่อ เข้าถึง AICore ซึ่งมีการจัดการ Gemini Nano, LoRA และฟีเจอร์ความปลอดภัย และเรียกใช้ในตัวเร่งฮาร์ดแวร์
รูปที่ 1 AICore ทำหน้าที่เป็นอินเทอร์เฟซระหว่าง แอปกับโมเดล Gemini Nano โดยจัดการการอัปเดตโมเดลและความปลอดภัยพร้อมกับ ใช้ประโยชน์จากฮาร์ดแวร์ในอุปกรณ์

เก็บข้อมูลผู้ใช้ไว้เป็นส่วนตัวและปลอดภัย

Generative AI ในอุปกรณ์จะดำเนินการข้อความแจ้งในอุปกรณ์ ซึ่งช่วยลดการเรียกเซิร์ฟเวอร์ แม้ว่าวิธีนี้จะช่วยลดเวลาในการตอบสนองของเครือข่าย แต่ความเร็วในการอนุมานจะขึ้นอยู่กับฮาร์ดแวร์ของอุปกรณ์ แนวทางนี้ช่วยเพิ่มความเป็นส่วนตัวด้วยการเก็บข้อมูลที่ละเอียดอ่อนไว้ในอุปกรณ์ เปิดใช้ฟังก์ชันการทำงานแบบออฟไลน์ และลดค่าใช้จ่ายในการอนุมาน

AICore เป็นไปตามหลักการของ Private Compute Core โดยมีลักษณะสำคัญดังนี้

  • การผูกแพ็กเกจแบบจำกัด: AICore แยกจากแพ็กเกจอื่นๆ ส่วนใหญ่ โดยมีข้อยกเว้นที่จำกัดสำหรับแพ็กเกจระบบบางรายการ การแก้ไขรายการที่อนุญาตนี้จะเกิดขึ้นได้เฉพาะระหว่างการอัปเดต Android OTA แบบเต็มเท่านั้น
  • การเข้าถึงอินเทอร์เน็ตโดยอ้อม: AICore ไม่มีการเข้าถึงอินเทอร์เน็ตโดยตรง คำขอทั้งหมดที่ส่งไปยังอินเทอร์เน็ต รวมถึงการดาวน์โหลดโมเดล จะถูกส่งผ่านAPK ของ Private Compute Services Companion แบบโอเพนซอร์ส API ภายใน Private Compute Services ต้องแสดงให้เห็นอย่างชัดเจนถึงลักษณะที่เน้นความเป็นส่วนตัว

นอกจากนี้ AICore ยังสร้างขึ้นเพื่อแยกคำขอแต่ละรายการและไม่จัดเก็บบันทึกข้อมูลอินพุตหรือเอาต์พุตที่ได้หลังจากการประมวลผลเพื่อปกป้องความเป็นส่วนตัวของผู้ใช้ อ่านโพสต์ในบล็อกเรื่อง An Introduction to Privacy and Safety for Gemini Nano เพื่อดูข้อมูลเพิ่มเติม

แผนภาพสถาปัตยกรรมโดยละเอียดของ AICore ที่แสดงโฟลว์คำขอ พื้นผิว API, การประมวลผลอินพุตด้วยสัญญาณความปลอดภัย, การกำหนดค่าฟีเจอร์ รันไทม์ที่มีน้ำหนักของโมเดลและ LoRA และการประมวลผลเอาต์พุตด้วยสัญญาณความปลอดภัย นอกจากนี้ยังแสดงการดาวน์โหลดโมเดลผ่าน Private Compute Services ด้วย
รูปที่ 2 สถาปัตยกรรม AICore จะจัดการความปลอดภัยของอินพุตและ เอาต์พุต การประมวลผลคำขอ และน้ำหนักของโมเดลเพื่อมอบสภาพแวดล้อมที่ปลอดภัยสำหรับ AI ในอุปกรณ์

ประโยชน์ของการเข้าถึงโมเดลพื้นฐาน AI ด้วย AICore

AICore ช่วยให้ระบบปฏิบัติการ Android สามารถจัดหาและจัดการโมเดลพื้นฐาน AI ได้ ซึ่งจะช่วยลดค่าใช้จ่ายในการใช้โมเดลขนาดใหญ่เหล่านี้ในแอปของคุณได้อย่างมาก โดยหลักๆ แล้วเป็นเพราะเหตุผลต่อไปนี้

  • ติดตั้งใช้งานง่าย: AICore จัดการการเผยแพร่ Gemini Nano และ จัดการการอัปเดตในอนาคต คุณจึงไม่ต้องกังวลเกี่ยวกับการดาวน์โหลดหรืออัปเดตโมเดลขนาดใหญ่ผ่านเครือข่าย รวมถึงผลกระทบต่อพื้นที่ดิสก์และงบประมาณหน่วยความจำรันไทม์ของแอป
  • การอนุมานที่รวดเร็วขึ้น: AICore ใช้ประโยชน์จากฮาร์ดแวร์ในอุปกรณ์เพื่อเร่ง การอนุมาน แอปของคุณจะทำงานได้ดีที่สุดในอุปกรณ์แต่ละเครื่อง และคุณไม่ต้องกังวลเกี่ยวกับอินเทอร์เฟซฮาร์ดแวร์เบื้องหลัง