Membangun aplikasi Android cerdas: Pengantar Jetpacker

Membuat fitur AI generatif di aplikasi Anda biasanya berarti menjelajahi berbagai model, API, dan pilihan arsitektur: 

• Lokasi eksekusi: Di mana model Anda berjalan? Di perangkat, di cloud, atau keduanya?
• Kompleksitas: Seberapa kompleks penyiapan Anda? Apakah Anda melakukan satu panggilan inferensi atau memerlukan alur yang lebih seperti agen?
• Dalam Aplikasi atau Sistem Android: Apakah fitur Anda harus dibangun ke dalam aplikasi Android atau lebih cocok sebagai integrasi sistem Android?

Dalam seri postingan blog ini, kami akan memandu Anda dalam membuat pilihan tersebut. Kami akan mengajak Anda dalam perjalanan, dimulai dengan aplikasi seluler dasar dan mengubahnya menjadi pengalaman yang dipersonalisasi, cerdas, dan agentik.

Jetpacker: aplikasi perjalanan demo

Jetpacker adalah aplikasi demo teknis yang dibuat tim kami dari awal untuk Google I/O tahun ini (dibuat menggunakan Antigravity). Pada dasarnya, Jetpacker membantu pengguna merencanakan, menjelajahi, dan menikmati petualangan besar berikutnya. Halaman ini menampilkan ringkasan perjalanan Anda, itinerari setiap perjalanan, dan detail setiap acara dalam perjalanan tersebut. Tentu saja dengan mengikuti semua praktik terbaik pengembangan Android, termasuk desain UI Material yang ekspresif dan menarik.

Dan yang paling hebat? Ini sepenuhnya open source.

Hari ini kami memublikasikan serangkaian postingan blog teknis yang membahas secara mendalam setiap fitur ini. Kami akan memberikan langkah-langkah penerapan yang mendetail, cuplikan kode, dan insight arsitektur untuk membantu Anda membangun aplikasi Android cerdas Anda sendiri.

Kecerdasan di perangkat

Penggunaan model di perangkat tidak menimbulkan biaya inferensi cloud tambahan, berarti Anda tidak perlu mengkhawatirkan konektivitas internet, dan memungkinkan pengguna merasa yakin bahwa informasi pribadi akan diproses secara lokal, di perangkat, tanpa ada data mereka yang dikirim ke cloud.

Di Jetpacker, kami memilih inferensi di perangkat untuk tiga fitur kami:

• Fitur ringkasan perjalanan mengubah rencana perjalanan yang berantakan dan berlangsung selama beberapa hari menjadi ringkasan yang ringkas dan dapat ditindaklanjuti. Fitur ini memanfaatkan Gemini Nano melalui ML Kit GenAI API untuk memproses data secara lokal di perangkat. Kami menganggap ini sebagai fitur yang tidak terlalu penting dan tidak ingin menimbulkan biaya cloud tambahan, sehingga inferensi di perangkat menjadi pilihan yang tepat.
• Pelacak pengeluaran secara otomatis mengekstrak data terstruktur dari gambar tanda terima untuk membantu pengguna melacak pengeluaran perjalanan mereka. Fitur ini menggunakan kemampuan multimodal Gemini Nano 4 melalui ML Kit GenAI API. Kami memilih solusi di perangkat sehingga informasi sensitif privasi apa pun pada gambar tanda terima tidak pernah keluar dari perangkat pengguna.
• Buku harian audio merekam, mentranskripsikan, dan mengategorikan catatan suara ke dalam aktivitas perjalanan yang relevan. Fitur ini didukung oleh ML Kit Speech Recognition dan GenAI Prompt API. Kami memilih solusi di perangkat karena alasan privasi dan konektivitas.

Inferensi cloud & hybrid

Terkadang kasus penggunaan Anda memerlukan model AI dengan pengetahuan dunia yang lebih luas atau jendela konteks yang jauh lebih besar dan dengan kemampuan yang lebih besar dalam menangani tugas yang kompleks. Dalam hal ini, kita dapat beralih dari menjalankan model di perangkat ke menggunakan model cloud.

Atau, jika Anda ingin mendapatkan yang terbaik dari kedua sisi, Anda dapat menggunakan inferensi hybrid untuk memilih secara dinamis model cloud atau model di perangkat saat runtime. Hal ini memungkinkan kami menurunkan biaya dengan memindahkan inferensi ke perangkat saat tersedia, tetapi pada saat yang sama mendukung semua perangkat Android yang menjalankan aplikasi.

Di Jetpacker, kami menerapkan beberapa fitur menggunakan inferensi cloud atau hybrid:

• Fitur tanya jawab tempat menjawab pertanyaan pengguna tentang lokasi tertentu dengan mendasarkan respons pada data dunia nyata. Fitur ini menggunakan Firebase AI Logic yang terintegrasi dengan Google Maps dan konteks web. Penggunaan model cloud diperlukan di sini karena pengetahuan dunianya yang lebih luas.
• Fitur penulisan draf ulasan membantu pengguna menyusun ulasan mendetail untuk tempat yang telah mereka kunjungi. Fitur ini memanfaatkan model di perangkat dan cloud melalui Hybrid inference API baru Firebase AI Logic. Ini adalah fitur yang ingin kami sediakan untuk semua pengguna aplikasi, jadi kami menggunakan model cloud sebagai penggantian saat model di perangkat tidak tersedia.
• Terjemahan chat otomatis menerjemahkan pesan chat secara dinamis dan real time untuk memfasilitasi komunikasi yang lancar, yang menunjukkan logika inferensi hibrida kustom. Sekali lagi, kami ingin fitur ini tersedia untuk semua pengguna aplikasi, tetapi pada saat yang sama memiliki beberapa pertimbangan khusus tentang kapan harus memilih di perangkat versus cloud.

Integrasi sistem

Meskipun bukan fitur yang Anda lihat di aplikasi itu sendiri, integrasi sistem Android membuka kemampuan inti aplikasi langsung ke sistem operasi Android. Fitur ini menggunakan AppFunctions API untuk berintegrasi dengan kecerdasan tingkat sistem.

Alur kerja agentic dalam aplikasi (segera hadir!)

Agenticness memperkenalkan tingkat otonomi yang lebih tinggi, sehingga model dapat bertindak sebagai agen. Alih-alih panggilan inferensi tunggal, agen berupaya mencapai tujuan tertentu melalui loop orkestrasi yang memungkinkannya menalar, menggunakan alat, dan menyesuaikan jalurnya. Bergantung pada persyaratan Anda, agen cerdas ini dapat berjalan di cloud, langsung di perangkat, atau dalam konfigurasi campuran.

Untuk Jetpacker, kami menambahkan asisten pemesanan yang mengotomatiskan alur kerja pemesanan end-to-end langsung dalam aplikasi untuk menyederhanakan reservasi. Aplikasi ini dibangun menggunakan A2UI dan ADK yang berjalan di cloud. Aplikasi Android berfungsi sebagai front-end ke sistem multi-agen yang berjalan di cloud.

Pelajari lebih lanjut

Baca bagian lain dari seri postingan blog ini:

Bagian 1 (postingan ini!): Pengenalan aplikasi dan ringkasan umum.
Bagian 2: Kecerdasan di perangkat. Pelajari lebih dalam API GenAI ML Kit dan Gemini Nano untuk membangun fitur yang mengutamakan privasi seperti ringkasan itinerari, penguraian tanda terima, dan pemrosesan audio lokal.
Bagian 3: Penalaran hybrid dan cloud. Pelajari cara menggunakan Firebase AI Logic untuk men-grounding jawaban LLM dalam data dunia nyata seperti Google Maps dan konteks web.
Bagian 4: Integrasi sistem. Mengintegrasikan dengan sistem kecerdasan Android menggunakan AppFunctions.
Bagian 5 (segera hadir): Alur kerja agentik dalam aplikasi. Perluas aplikasi dengan asisten pemesanan menyeluruh yang didukung oleh A2UI dan ADK.

Tertarik dengan Pengembangan Android lainnya? Ikuti Android Developers di YouTube atau LinkedIn.