Tạo ứng dụng Android thông minh: Giới thiệu về Jetpacker

Việc xây dựng các tính năng AI tạo sinh trong ứng dụng thường có nghĩa là bạn phải điều hướng qua nhiều mô hình, API và lựa chọn về cấu trúc: 

• Vị trí thực thi: Mô hình của bạn chạy ở đâu? Trên thiết bị, trên đám mây hay cả hai?
• Độ phức tạp: Chế độ thiết lập của bạn phức tạp đến mức nào? Bạn đang thực hiện một lệnh gọi suy luận duy nhất hay cần một quy trình có tính chất đại diện hơn?
• Trong ứng dụng hoặc Hệ thống Android: Tính năng của bạn nên được tích hợp vào ứng dụng Android hay phù hợp hơn với việc tích hợp vào hệ thống Android?

Trong loạt bài đăng này trên blog, chúng tôi sẽ cùng bạn tìm hiểu những lựa chọn này. Chúng tôi sẽ đưa bạn vào một hành trình, bắt đầu từ một ứng dụng di động cơ bản và biến ứng dụng đó thành một trải nghiệm được cá nhân hoá, thông minh và dựa trên tác nhân.

Jetpacker: một ứng dụng du lịch minh hoạ

Jetpacker là một ứng dụng trình diễn kỹ thuật do nhóm của chúng tôi xây dựng từ đầu cho Google I/O năm nay (được xây dựng bằng Antigravity). Về cơ bản, Jetpacker giúp người dùng lên kế hoạch, khám phá và tận hưởng chuyến phiêu lưu lớn tiếp theo. Thẻ này cho biết thông tin tổng quan về các chuyến đi, hành trình của từng chuyến đi và thông tin chi tiết về từng sự kiện trong chuyến đi đó. Tất nhiên, bạn sẽ làm theo tất cả các phương pháp hay nhất về phát triển Android, bao gồm cả thiết kế giao diện người dùng Material đẹp mắt và giàu biểu cảm.

Và điều tuyệt vời nhất là gì? Đây là một dự án nguồn mở hoàn toàn!

Hôm nay, chúng tôi sẽ xuất bản một loạt bài đăng kỹ thuật trên blog để tìm hiểu sâu về từng tính năng này. Chúng tôi sẽ cung cấp các bước triển khai chi tiết, đoạn mã và thông tin chi tiết về cấu trúc để giúp bạn tạo các ứng dụng Android thông minh của riêng mình.

Trí thông minh trên thiết bị

Việc sử dụng mô hình trên thiết bị không phát sinh thêm chi phí suy luận trên đám mây, tức là bạn không phải lo lắng về khả năng kết nối Internet và cho phép người dùng yên tâm rằng thông tin riêng tư sẽ được xử lý cục bộ trên thiết bị mà không có bất kỳ dữ liệu nào của họ được gửi lên đám mây.

Trong Jetpacker, chúng tôi đã chọn suy luận trên thiết bị cho 3 tính năng của mình:

• Tính năng thông tin tổng quan về chuyến đi giúp chuyển đổi một hành trình lộn xộn kéo dài nhiều ngày thành một bản tóm tắt ngắn gọn và hữu ích. Ứng dụng này tận dụng Gemini Nano thông qua API GenAI của Bộ công cụ học máy để xử lý dữ liệu ngay trên thiết bị. Chúng tôi coi đây là một tính năng nên có mà chúng tôi không muốn phát sinh thêm chi phí trên đám mây, vì vậy suy luận trên thiết bị là lựa chọn phù hợp.
• Công cụ theo dõi chi phí tự động trích xuất dữ liệu có cấu trúc từ hình ảnh biên nhận để giúp người dùng theo dõi chi tiêu khi đi du lịch. Ứng dụng này sử dụng các chức năng đa phương thức của Gemini Nano 4 thông qua các API GenAI của Bộ công cụ học máy. Chúng tôi chọn giải pháp trên thiết bị để đảm bảo rằng mọi thông tin nhạy cảm về quyền riêng tư trên hình ảnh biên nhận sẽ không bao giờ rời khỏi thiết bị của người dùng.
• Nhật ký âm thanh ghi âm, chép lời và phân loại các ghi chú bằng giọng nói thành các hoạt động liên quan trong chuyến đi. Tính năng này sử dụng API Nhận dạng lời nói của Bộ công cụ học máy và API Lệnh GenAI. Chúng tôi chọn một giải pháp trên thiết bị vì lý do quyền riêng tư và khả năng kết nối.

Suy luận trên đám mây và suy luận kết hợp

Đôi khi, trường hợp sử dụng của bạn yêu cầu các mô hình AI có kiến thức rộng hơn về thế giới hoặc cửa sổ ngữ cảnh lớn hơn và có khả năng xử lý các tác vụ phức tạp tốt hơn. Trong trường hợp đó, chúng ta có thể chuyển từ việc chạy một mô hình trên thiết bị sang sử dụng một mô hình trên đám mây.

Hoặc nếu muốn tận dụng cả hai, bạn có thể sử dụng suy luận kết hợp để chọn động mô hình trên đám mây hoặc trên thiết bị tại thời gian chạy. Điều này cho phép chúng tôi giảm chi phí bằng cách chuyển suy luận sang thiết bị khi có thể, nhưng đồng thời hỗ trợ tất cả các thiết bị Android chạy ứng dụng.

Trong Jetpacker, chúng tôi đã triển khai một số tính năng bằng cách sử dụng suy luận trên đám mây hoặc suy luận kết hợp:

• Tính năng Hỏi và đáp về địa điểm trả lời các câu hỏi của người dùng về những địa điểm cụ thể bằng cách dựa vào dữ liệu thực tế. Ứng dụng này sử dụng Firebase AI Logic được tích hợp với Google Maps và bối cảnh web. Bạn cần sử dụng mô hình đám mây ở đây vì mô hình này có kiến thức rộng hơn về thế giới.
• Tính năng viết nháp bài đánh giá giúp người dùng soạn thảo bài đánh giá chi tiết cho những địa điểm họ đã ghé thăm. API này tận dụng cả mô hình trên thiết bị và mô hình đám mây thông qua Hybrid Inference API mới của Firebase AI Logic. Đây là một tính năng mà chúng tôi muốn cung cấp cho tất cả người dùng ứng dụng, vì vậy, chúng tôi đang sử dụng một mô hình trên đám mây làm phương án dự phòng khi không có mô hình trên thiết bị.
• Tính năng dịch tin nhắn tự động sẽ dịch tin nhắn trò chuyện theo thời gian thực một cách linh hoạt để tạo điều kiện giao tiếp liền mạch, minh hoạ logic suy luận kết hợp tuỳ chỉnh. Một lần nữa, chúng tôi muốn tính năng này có sẵn cho tất cả người dùng ứng dụng, nhưng đồng thời cũng có một số điểm cần cân nhắc cụ thể về thời điểm chọn sử dụng trên thiết bị so với trên đám mây.

Tích hợp hệ thống

Mặc dù không phải là một tính năng mà bạn thấy trong chính ứng dụng, nhưng việc tích hợp hệ thống Android sẽ mở ra các chức năng cốt lõi của ứng dụng ngay trên hệ điều hành Android. Ứng dụng này sử dụng AppFunctions API để tích hợp với thông tin tình báo ở cấp hệ thống.

Quy trình công việc dựa trên tác nhân trong ứng dụng (sắp ra mắt!)

Tính chủ động mang đến mức độ tự chủ cao hơn, cho phép các mô hình hoạt động như tác nhân. Thay vì một lệnh gọi suy luận duy nhất, một tác nhân sẽ hướng đến một mục tiêu cụ thể thông qua một vòng lặp điều phối cho phép tác nhân đó lý luận, sử dụng công cụ và điều chỉnh đường dẫn của mình. Tuỳ thuộc vào yêu cầu của bạn, các tác nhân thông minh này có thể chạy trên đám mây, trực tiếp trên thiết bị hoặc trong một cơ chế thiết lập kết hợp.

Đối với Jetpacker, chúng tôi đã thêm một trợ lý đặt vé để tự động hoá quy trình đặt vé từ đầu đến cuối ngay trong ứng dụng nhằm đơn giản hoá việc đặt chỗ. Ứng dụng này được xây dựng bằng A2UI và ADK chạy trên đám mây. Ứng dụng Android hoạt động như một giao diện người dùng cho hệ thống đa tác nhân đang chạy trên đám mây.

Tìm hiểu thêm

Hãy xem các phần khác trong loạt bài đăng này trên blog:

Phần 1 (bài đăng này!): Giới thiệu về ứng dụng và thông tin tổng quan.
Phần 2: Trí thông minh trên thiết bị. Tìm hiểu sâu về các API GenAI của Bộ công cụ học máy và Gemini Nano để xây dựng các tính năng ưu tiên quyền riêng tư như tóm tắt hành trình, phân tích biên nhận và xử lý âm thanh cục bộ.
Phần 3: Suy luận kết hợp và trên đám mây. Khám phá cách sử dụng Firebase AI Logic để neo bám câu trả lời của LLM vào dữ liệu thực tế như Google Maps và bối cảnh trên web.
Phần 4: Tích hợp hệ thống. Tích hợp với hệ thống trí tuệ nhân tạo của Android bằng AppFunctions.
Phần 5 (sắp ra mắt): Quy trình làm việc dựa trên tác nhân trong ứng dụng. Mở rộng ứng dụng bằng một trợ lý đặt phòng toàn diện dựa trên A2UI và ADK.

Bạn muốn tìm hiểu thêm về hoạt động phát triển trên Android? Theo dõi Android Developers trên YouTube hoặc LinkedIn!