Nâng cao khả năng phát triển Android có AI hỗ trợ và cải thiện LLM bằng Android Bench

Chúng tôi muốn giúp bạn xây dựng ứng dụng Android chất lượng cao nhanh chóng và dễ dàng hơn. Một trong những cách chúng tôi giúp bạn tăng năng suất là cung cấp AI ngay trong tầm tay bạn. Chúng tôi biết bạn muốn có một AI thực sự hiểu được các sắc thái của nền tảng Android. Đó là lý do chúng tôi đo lường hiệu suất của LLM khi thực hiện các nhiệm vụ phát triển Android. Hôm nay, chúng tôi đã phát hành phiên bản đầu tiên của Android Bench, bảng xếp hạng chính thức của chúng tôi về các LLM cho hoạt động phát triển Android.

Mục tiêu của chúng tôi là cung cấp cho nhà sáng tạo mô hình một điểm chuẩn để đánh giá khả năng của LLM trong việc phát triển Android. Bằng cách thiết lập một tiêu chuẩn rõ ràng, đáng tin cậy cho hoạt động phát triển ứng dụng Android chất lượng cao, chúng tôi giúp nhà sáng tạo mô hình xác định những điểm còn thiếu sót và đẩy nhanh quá trình cải tiến. Nhờ đó, nhà phát triển Android có thể làm việc hiệu quả hơn với nhiều mô hình hữu ích hơn để lựa chọn cho việc trợ giúp AI, từ đó mang lại những ứng dụng chất lượng cao hơn trên toàn hệ sinh thái Android.

Được thiết kế dựa trên các nhiệm vụ phát triển Android thực tế

Chúng tôi tạo ra điểm chuẩn bằng cách tuyển chọn một nhóm nhiệm vụ trong nhiều lĩnh vực phát triển Android phổ biến. Bộ dữ liệu này bao gồm các thử thách thực tế có độ khó khác nhau, được lấy từ các kho lưu trữ Android công khai trên GitHub. Các tình huống bao gồm giải quyết các thay đổi có thể gây lỗi trên các bản phát hành Android, các nhiệm vụ theo miền cụ thể như kết nối mạng trên thiết bị đeo và di chuyển sang phiên bản mới nhất của Jetpack Compose, v.v.

Mỗi lần đánh giá đều cố gắng yêu cầu một LLM khắc phục vấn đề được báo cáo trong nhiệm vụ, sau đó chúng tôi xác minh bằng các bài kiểm thử đơn vị hoặc kiểm thử đo lường. Phương pháp không phụ thuộc vào mô hình này cho phép chúng tôi đo lường khả năng của mô hình trong việc xử lý các cơ sở mã phức tạp, hiểu các phần phụ thuộc và giải quyết những vấn đề mà bạn gặp phải hằng ngày. 

Chúng tôi đã xác thực phương pháp này với một số nhà sản xuất LLM, bao gồm cả JetBrains. 

"Việc đo lường tác động của AI đối với Android là một thách thức lớn, vì vậy, thật tuyệt khi thấy một khung đo lường hợp lý và thực tế như thế này. Mặc dù chúng tôi tích cực tự đánh giá, nhưng Android Bench là một công cụ bổ sung độc đáo và đáng hoan nghênh. Phương pháp này chính là kiểu đánh giá nghiêm ngặt mà các nhà phát triển Android cần ngay lúc này." 
– Kirill Smelov, Trưởng bộ phận Tích hợp AI tại JetBrains.

Kết quả đầu tiên của Android Bench

Đối với bản phát hành đầu tiên này, chúng tôi chỉ muốn đo lường hiệu suất của mô hình chứ không tập trung vào việc sử dụng tác nhân hoặc công cụ. Các mô hình này đã hoàn thành thành công 16-72% nhiệm vụ. Đây là một phạm vi rộng cho thấy một số LLM đã có nền tảng kiến thức vững chắc về Android, trong khi một số khác còn nhiều điểm cần cải thiện. Bất kể các mô hình hiện đang ở giai đoạn nào, chúng tôi đều mong đợi sự cải tiến liên tục khi khuyến khích các nhà sản xuất LLM nâng cao mô hình của họ cho hoạt động phát triển Android. 

LLM có điểm trung bình cao nhất trong bản phát hành đầu tiên này là Gemini 3.1 Pro, theo sát là Claude Opus 4.6. Bạn có thể dùng thử tất cả các mô hình mà chúng tôi đã đánh giá về khả năng trợ giúp AI cho các dự án Android của bạn bằng cách sử dụng khoá API trong phiên bản ổn định mới nhất của Android Studio.

Cung cấp thông tin minh bạch cho nhà phát triển và nhà sản xuất LLM

Chúng tôi coi trọng phương pháp tiếp cận cởi mở và minh bạch, vì vậy, chúng tôi đã công bố công khai trên GitHub phương pháp, tập dữ liệu và khai thác kiểm thử của mình.

Một thách thức đối với mọi điểm chuẩn công khai là nguy cơ nhiễm dữ liệu, trong đó các mô hình có thể đã gặp phải các nhiệm vụ đánh giá trong quá trình huấn luyện. Chúng tôi đã áp dụng các biện pháp để đảm bảo kết quả phản ánh khả năng suy luận thực sự chứ không phải ghi nhớ hay đoán mò, bao gồm cả việc xem xét kỹ lưỡng quỹ đạo của tác nhân hoặc tích hợp chuỗi canary để ngăn chặn việc huấn luyện. 

Trong tương lai, chúng tôi sẽ tiếp tục phát triển phương pháp của mình để duy trì tính toàn vẹn của tập dữ liệu, đồng thời cải tiến các bản phát hành trong tương lai của điểm chuẩn, chẳng hạn như tăng số lượng và độ phức tạp của các nhiệm vụ.

Chúng tôi rất mong chờ Android Bench có thể cải thiện khả năng trợ giúp AI về lâu dài. Tầm nhìn của chúng tôi là thu hẹp khoảng cách giữa ý tưởng và mã chất lượng. Chúng tôi đang xây dựng nền tảng cho một tương lai mà bạn có thể xây dựng mọi thứ bạn tưởng tượng trên Android.