Автоматизированная оптимизация подсказок (APO)

Чтобы еще больше упростить внедрение API подсказок ML Kit в производство, мы рады объявить об автоматической оптимизации подсказок (APO), ориентированной на модели, работающие на устройствах, в Vertex AI . Автоматическая оптимизация подсказок — это инструмент, который помогает автоматически находить оптимальные подсказки для ваших задач.

Эра встроенного в устройство ИИ — это уже не обещание, а реальность, достойная практического применения. С выпуском Gemini Nano v3 мы предоставляем пользователям беспрецедентные возможности распознавания языка и мультимодальной обработки данных. Благодаря семейству моделей Gemini Nano, мы обеспечиваем широкую поддержку устройств в экосистеме Android. Но для разработчиков, создающих интеллектуальные приложения следующего поколения, доступ к мощной модели — это только первый шаг. Настоящая проблема заключается в настройке : как адаптировать базовую модель к экспертному уровню производительности для конкретного случая использования, не нарушая ограничений мобильного оборудования?

В серверной части более крупные LLM-ы, как правило, обладают большими возможностями и требуют меньшей адаптации к предметной области. Даже при необходимости могут быть реализованы более продвинутые варианты, такие как тонкая настройка LoRA (Low-Rank Adaptation). Однако уникальная архитектура Android AICore отдает приоритет общей, эффективно использующей память системной модели . Это означает, что развертывание пользовательских LoRA-адаптеров для каждого отдельного приложения сопряжено с проблемами в отношении этих общих системных служб.

Однако существует альтернативный путь, который может быть не менее эффективным. Используя автоматическую оптимизацию подсказок (APO) в Vertex AI, разработчики могут достичь качества, приближающегося к тонкой настройке, при этом бесперебойно работая в нативной среде выполнения Android. Сосредоточившись на более совершенных системных инструкциях, APO позволяет разработчикам настраивать поведение модели с большей надежностью и масштабируемостью, чем традиционные решения для тонкой настройки.

Примечание: Gemini Nano V3 — это оптимизированная по качеству версия высоко оцененной модели Gemma 3N . Любые оптимизации, внесенные в модель Gemma 3N с открытым исходным кодом, будут применяться и к Gemini Nano V3. На поддерживаемых устройствах API ML Kit GenAI используют модель nano-v3 для максимального повышения качества для разработчиков Android.

APO рассматривает подсказку не как статичный текст, а как программируемую поверхность, которую можно оптимизировать. Он использует серверные модели (такие как Gemini Pro и Flash) для предложения вариантов подсказок, оценки их вариаций и поиска оптимального решения для конкретной задачи. Этот процесс использует три конкретных технических механизма для максимальной производительности:

1. Автоматизированный анализ ошибок: APO анализирует закономерности ошибок в обучающих данных, чтобы автоматически выявлять конкретные слабые места в первоначальном запросе.
2. Семантическая дистилляция инструкций: она анализирует огромные массивы обучающих примеров, чтобы выделить «истинное намерение» задачи, создавая инструкции, которые более точно отражают реальное распределение данных.
3. Параллельное тестирование кандидатов: Вместо тестирования одной идеи за раз, APO генерирует и тестирует множество потенциальных кандидатов параллельно, чтобы определить глобальный максимум качества.

Почему APO может приблизиться к тонкой настройке качества

Распространенное заблуждение заключается в том, что тонкая настройка всегда дает лучшее качество, чем подсказки. Для современных базовых моделей, таких как Gemini Nano v3, подсказки сами по себе могут оказать существенное влияние:

• Сохранение общих возможностей: Тонкая настройка (PEFT/LoRA) заставляет веса модели чрезмерно индексироваться на определенном распределении данных. Это часто приводит к «катастрофическому забыванию», когда модель лучше справляется с вашим конкретным синтаксисом, но хуже — с общей логикой и безопасностью. APO оставляет веса неизменными, сохраняя возможности базовой модели.
• Отслеживание инструкций и поиск стратегий: Gemini Nano v3 прошла тщательное обучение для выполнения сложных системных инструкций. APO использует это, находя точную структуру инструкции, которая раскрывает скрытые возможности модели, часто обнаруживая стратегии, которые было бы трудно обнаружить инженерам-людям.

Для проверки этого подхода мы оценили APO на различных производственных нагрузках. Наша проверка показала стабильное повышение точности на 5-8% в различных сценариях использования. При использовании множества развернутых на устройстве функций APO обеспечил значительное повышение качества.

Бесперебойный, комплексный рабочий процесс для разработчиков.

Распространенное заблуждение заключается в том, что тонкая настройка всегда дает лучшее качество, чем подсказки. Для современных базовых моделей, таких как Gemini Nano v3, подсказки сами по себе могут оказать существенное влияние:

• Сохранение общих возможностей: Тонкая настройка (PEFT/LoRA) заставляет веса модели чрезмерно индексироваться на определенном распределении данных. Это часто приводит к «катастрофическому забыванию», когда модель лучше справляется с вашим конкретным синтаксисом, но хуже — с общей логикой и безопасностью. APO оставляет веса неизменными, сохраняя возможности базовой модели.
• Отслеживание инструкций и поиск стратегий: Gemini Nano v3 прошла тщательное обучение для выполнения сложных системных инструкций. APO использует это, находя точную структуру инструкции, которая раскрывает скрытые возможности модели, часто обнаруживая стратегии, которые было бы трудно обнаружить инженерам-людям.

Для проверки этого подхода мы оценили APO на различных производственных нагрузках. Наша проверка показала стабильное повышение точности на 5-8% в различных сценариях использования. При использовании множества развернутых на устройстве функций APO обеспечил значительное повышение качества.

Заключение

Выпуск Automated Prompt Optimization (APO) знаменует собой поворотный момент для генеративного ИИ на устройствах. Преодолевая разрыв между базовыми моделями и производительностью экспертного уровня, мы предоставляем разработчикам инструменты для создания более надежных мобильных приложений. Независимо от того, начинаете ли вы с оптимизации с нулевым количеством примеров или масштабируетесь до производства с помощью уточнения на основе данных , путь к высококачественному интеллекту на устройствах теперь стал яснее. Запустите свои сценарии использования на устройствах в производство уже сегодня с помощью Prompt API от ML Kit и Automated Prompt Optimization от Vertex AI.

Полезные ссылки:

• API подсказок ML Kit ,
• Документация по оптимизатору подсказок Vertex AI
• Блог с объявлением о выпуске Gemma 3N