Tự động tối ưu hoá câu lệnh (APO)

Để giúp bạn đưa các trường hợp sử dụng API câu lệnh của Bộ công cụ học máy vào quá trình sản xuất, chúng tôi rất vui mừng thông báo về tính năng Tối ưu hoá câu lệnh tự động (APO) nhắm đến các mô hình trên thiết bị trên Vertex AI. Tự động tối ưu hoá câu lệnh là một công cụ giúp bạn tự động tìm câu lệnh tối ưu cho các trường hợp sử dụng của mình.

Kỷ nguyên của AI trên thiết bị không còn là lời hứa nữa mà đã trở thành hiện thực trong quá trình sản xuất. Với việc phát hành Gemini Nano phiên bản 3, chúng tôi đang đưa các tính năng hiểu ngôn ngữ và đa phương thức chưa từng có vào lòng bàn tay của người dùng. Thông qua nhóm mô hình Gemini Nano, chúng tôi có phạm vi hỗ trợ rộng rãi cho các thiết bị trong Hệ sinh thái Android. Tuy nhiên, đối với các nhà phát triển xây dựng thế hệ ứng dụng thông minh tiếp theo, việc có quyền truy cập vào một mô hình mạnh mẽ chỉ là bước đầu tiên. Thử thách thực sự nằm ở việc tuỳ chỉnh: Làm cách nào để điều chỉnh một mô hình nền tảng nhằm đạt hiệu suất ở cấp độ chuyên gia cho trường hợp sử dụng cụ thể của bạn mà không vi phạm các hạn chế của phần cứng di động?

Trong thế giới phía máy chủ, các mô hình ngôn ngữ lớn (LLM) có xu hướng có khả năng cao và ít cần điều chỉnh theo miền hơn. Ngay cả khi cần, các lựa chọn nâng cao hơn như tinh chỉnh LoRA (Low-Rank Adaptation) cũng có thể là lựa chọn khả thi. Tuy nhiên, kiến trúc độc đáo của Android AICore ưu tiên mô hình hệ thống dùng chung, tiết kiệm bộ nhớ. Điều này có nghĩa là việc triển khai các bộ chuyển đổi LoRA tuỳ chỉnh cho từng ứng dụng riêng lẻ sẽ gặp phải những thách thức đối với các dịch vụ hệ thống dùng chung này.

Tuy nhiên, có một con đường thay thế có thể mang lại tác động tương đương. Bằng cách tận dụng Tự động tối ưu hoá câu lệnh (APO) trên Vertex AI, nhà phát triển có thể đạt được chất lượng gần bằng với việc tinh chỉnh, đồng thời làm việc liền mạch trong môi trường thực thi Android gốc. Bằng cách tập trung vào hướng dẫn hệ thống vượt trội, APO cho phép nhà phát triển điều chỉnh hành vi của mô hình với độ mạnh mẽ và khả năng mở rộng cao hơn so với các giải pháp tinh chỉnh truyền thống.

Lưu ý: Gemini Nano phiên bản 3 là phiên bản được tối ưu hoá về chất lượng của mô hình Gemma 3N được đánh giá cao. Mọi hoạt động tối ưu hoá câu lệnh được thực hiện trên mô hình Gemma 3N nguồn mở cũng sẽ áp dụng cho Gemini Nano phiên bản 3. Trên các thiết bị được hỗ trợ, API GenAI của Bộ công cụ học máy tận dụng mô hình nano-v3 để tối đa hoá chất lượng cho Nhà phát triển Android

APO coi câu lệnh không phải là văn bản tĩnh mà là một nền tảng có thể lập trình và tối ưu hoá. Công cụ này tận dụng các mô hình phía máy chủ (như Gemini Pro và Flash) để đề xuất câu lệnh, đánh giá các biến thể và tìm ra câu lệnh tối ưu cho nhiệm vụ cụ thể của bạn. Quá trình này sử dụng 3 cơ chế kỹ thuật cụ thể để tối đa hoá hiệu suất:

1. Phân tích lỗi tự động: APO phân tích các mẫu lỗi từ dữ liệu huấn luyện để Tự động xác định các điểm yếu cụ thể trong câu lệnh ban đầu.
2. Chắt lọc hướng dẫn ngữ nghĩa: Công cụ này phân tích các ví dụ huấn luyện quy mô lớn để chắt lọc "ý định thực sự" của một nhiệm vụ, tạo ra các hướng dẫn phản ánh chính xác hơn phân phối dữ liệu thực.
3. Thử nghiệm song song các ứng viên: Thay vì thử nghiệm từng ý tưởng, APO tạo và thử nghiệm song song nhiều ứng viên câu lệnh để xác định mức tối đa toàn cầu về chất lượng.

Tại sao APO có thể đạt được chất lượng tinh chỉnh

Người ta thường hiểu nhầm rằng việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đưa ra câu lệnh. Đối với các mô hình nền tảng hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể tự mang lại tác động:

• Duy trì các khả năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến "quên thảm khốc", trong đó mô hình sẽ cải thiện cú pháp cụ thể của bạn nhưng lại kém hơn về logic và độ an toàn chung. APO giữ nguyên trọng số, duy trì các khả năng của mô hình cơ sở.
• Tuân theo hướng dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện nghiêm ngặt để tuân theo các hướng dẫn hệ thống phức tạp. APO khai thác điều này bằng cách tìm cấu trúc hướng dẫn chính xác giúp mở khoá các khả năng tiềm ẩn của mô hình, thường khám phá các chiến lược mà kỹ sư con người khó tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc sản xuất. Quá trình xác thực của chúng tôi cho thấy mức tăng độ chính xác ổn định từ 5 đến 8% trên nhiều trường hợp sử dụng.Trên nhiều tính năng được triển khai trên thiết bị, APO đã mang lại sự cải thiện đáng kể về chất lượng.

Quy trình làm việc liền mạch, từ đầu đến cuối dành cho nhà phát triển

Người ta thường hiểu nhầm rằng việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đưa ra câu lệnh. Đối với các mô hình nền tảng hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể tự mang lại tác động:

• Duy trì các khả năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến "quên thảm khốc", trong đó mô hình sẽ cải thiện cú pháp cụ thể của bạn nhưng lại kém hơn về logic và độ an toàn chung. APO giữ nguyên trọng số, duy trì các khả năng của mô hình cơ sở.
• Tuân theo hướng dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện nghiêm ngặt để tuân theo các hướng dẫn hệ thống phức tạp. APO khai thác điều này bằng cách tìm cấu trúc hướng dẫn chính xác giúp mở khoá các khả năng tiềm ẩn của mô hình, thường khám phá các chiến lược mà kỹ sư con người khó tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc sản xuất. Quá trình xác thực của chúng tôi cho thấy mức tăng độ chính xác ổn định từ 5 đến 8% trên nhiều trường hợp sử dụng.Trên nhiều tính năng được triển khai trên thiết bị, APO đã mang lại sự cải thiện đáng kể về chất lượng.

Kết luận

Việc phát hành Tự động tối ưu hoá câu lệnh (APO) đánh dấu một bước ngoặt cho AI tạo sinh trên thiết bị. Bằng cách thu hẹp khoảng cách giữa các mô hình nền tảng và hiệu suất ở cấp độ chuyên gia, chúng tôi đang cung cấp cho nhà phát triển các công cụ để xây dựng các ứng dụng di động mạnh mẽ hơn. Cho dù bạn chỉ mới bắt đầu với Tối ưu hoá không cần dữ liệu hay mở rộng quy mô sản xuất với việc tinh chỉnh Dựa trên dữ liệu, con đường dẫn đến trí tuệ chất lượng cao trên thiết bị hiện đã rõ ràng hơn.Hãy phát hành các trường hợp sử dụng trên thiết bị của bạn vào quá trình phát hành công khai ngay hôm nay bằng API câu lệnh của Bộ công cụ học máy và tính năng Tự động tối ưu hoá câu lệnh của Vertex AI. 

Các đường liên kết có liên quan: 

• API câu lệnh của Bộ công cụ học máy,
• Tài liệu về Trình tối ưu hoá câu lệnh của Vertex AI
• Blog thông báo về Gemma 3N