Gemini Nano

Gemini Nano memungkinkan Anda memberikan pengalaman AI generatif yang kaya tanpa memerlukan koneksi jaringan atau mengirim data ke cloud. AI di perangkat adalah solusi yang tepat untuk kasus penggunaan yang mengutamakan biaya rendah dan perlindungan privasi.

Untuk kasus penggunaan di perangkat, Anda dapat memanfaatkan model dasar Gemini Nano Google. Gemini Nano berjalan di layanan sistem AICore Android, yang memanfaatkan hardware perangkat untuk memungkinkan latensi inferensi rendah dan menjaga model tetap terbaru.

API GenAI ML Kit

API GenAI ML Kit memanfaatkan kecanggihan Gemini Nano untuk membantu aplikasi Anda melakukan tugas. API ini memberikan kualitas siap pakai untuk kasus penggunaan populer melalui antarmuka tingkat tinggi. API GenAI ML Kit dibangun di atas AICore, yaitu layanan sistem Android yang memungkinkan eksekusi model dasar GenAI di perangkat untuk memfasilitasi fitur seperti fungsi aplikasi yang ditingkatkan dan privasi pengguna yang lebih baik dengan memproses data secara lokal. Pelajari lebih lanjut.

Fitur utama

API GenAI ML Kit mendukung fitur berikut:

  • Perintah: Buat konten teks berdasarkan perintah multimodal atau khusus teks kustom.
  • Ringkasan: Meringkas artikel atau percakapan sebagai daftar berbutir.
  • Pemeriksaan tata bahasa: Periksa tata bahasa pesan chat singkat.
  • Menulis ulang: Menulis ulang pesan chat singkat dengan gaya bahasa atau gaya penulisan yang berbeda.
  • Deskripsi Gambar: Buat deskripsi singkat dari gambar tertentu.
  • Pengenalan Ucapan: Mentranskripsikan audio lisan menjadi teks.

Arsitektur melalui AICore

Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan, yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.

Diagram yang menunjukkan cara aplikasi Android menggunakan Google AI Edge SDK untuk mengakses AICore, tempat fitur keamanan, LoRA, dan Gemini Nano dikelola dan dijalankan di akselerator hardware.
Gambar 1. AICore berfungsi sebagai antarmuka antara aplikasi Anda dan model Gemini Nano, mengelola update dan keamanan model sambil memanfaatkan hardware di perangkat.

Menjaga privasi dan keamanan data pengguna

AI generatif di perangkat menjalankan perintah secara lokal, sehingga tidak perlu melakukan panggilan server. Meskipun hal ini menghilangkan latensi jaringan, kecepatan inferensi bergantung pada hardware perangkat. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, memungkinkan fungsi offline, dan mengurangi biaya inferensi.

AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:

  • Pengikatan Paket yang Dibatasi: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap modifikasi pada daftar yang diizinkan ini hanya dapat terjadi selama update OTA Android penuh.
  • Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Layanan Compute Pribadi harus secara eksplisit menunjukkan sifatnya yang berfokus pada privasi.

Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan catatan apa pun tentang data input atau output yang dihasilkan setelah diproses untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.

Diagram arsitektur mendetail AICore yang menunjukkan alur permintaan: Permukaan API, pemrosesan input dengan sinyal keamanan, konfigurasi fitur, runtime dengan bobot model dan LoRA, serta pemrosesan output dengan sinyal keamanan. Dasbor ini juga menampilkan download model melalui Private Compute Services.
Gambar 2. Arsitektur AICore mengelola keamanan input dan output, pemrosesan permintaan, serta bobot model untuk menyediakan lingkungan yang aman bagi AI di perangkat.

Manfaat mengakses model dasar AI dengan AICore

AICore memungkinkan OS Android menyediakan dan mengelola model dasar AI. Hal ini secara signifikan mengurangi biaya penggunaan model besar ini di aplikasi Anda, terutama karena hal berikut:

  • Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update mendatang. Anda tidak perlu khawatir tentang mendownload atau mengupdate model besar melalui jaringan, atau dampak pada anggaran memori disk dan runtime aplikasi Anda.
  • Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu mengkhawatirkan antarmuka hardware yang mendasarinya.