Optimización automática de instrucciones (APO)

Para ayudarte a llevar a producción tus casos de uso de la API de instrucciones del ML Kit, nos complace anunciar la optimización automática de instrucciones (APO) para modelos integrados en el dispositivo en Vertex AI. La optimización automática de instrucciones es una herramienta que te ayuda a encontrar automáticamente la instrucción óptima para tus casos de uso.

La era de la IA integrada en el dispositivo ya no es una promesa, sino una realidad de producción. Con el lanzamiento de Gemini Nano v3, ponemos capacidades multimodales y de comprensión del lenguaje sin precedentes directamente en las manos de los usuarios. A través de la familia de modelos de Gemini Nano, tenemos una amplia cobertura de dispositivos compatibles en todo el ecosistema de Android. Sin embargo, para los desarrolladores que crean la próxima generación de apps inteligentes, el acceso a un modelo potente es solo el primer paso. El verdadero desafío radica en la personalización: ¿cómo adaptas un modelo de base para obtener un rendimiento de nivel experto para tu caso de uso específico sin romper las restricciones del hardware móvil?

En el mundo del servidor, los LLM más grandes suelen ser muy capaces y requieren menos adaptación de dominio. Incluso cuando es necesario, las opciones más avanzadas, como el ajuste de LoRA (adaptación de rango bajo), pueden ser opciones factibles. Sin embargo, la arquitectura única de AICore de Android prioriza un modelo de sistema compartido y eficiente en cuanto a la memoria. Esto significa que la implementación de adaptadores LoRA personalizados para cada app individual presenta desafíos en estos servicios del sistema compartidos.

Sin embargo, existe una ruta alternativa que puede ser igual de impactante. Si aprovechan la optimización automática de instrucciones (APO) en Vertex AI, los desarrolladores pueden lograr una calidad cercana al ajuste, todo mientras trabajan sin problemas en el entorno de ejecución nativo de Android. Al centrarse en instrucciones superiores del sistema, APO permite a los desarrolladores adaptar el comportamiento del modelo con mayor solidez y escalabilidad que las soluciones tradicionales de ajuste.

Nota: Gemini Nano V3 es una versión optimizada en cuanto a la calidad del aclamado modelo Gemma 3N. Cualquier optimización de instrucciones que se realice en el modelo de código abierto Gemma 3N también se aplicará a Gemini Nano V3. En los dispositivos compatibles, las APIs de IA generativa de ML Kit aprovechan el modelo nano-v3 para maximizar la calidad para los Android Developers.

APO trata la instrucción no como un texto estático, sino como una superficie programable que se puede optimizar. Aprovecha los modelos del servidor (como Gemini Pro y Flash) para proponer instrucciones, evaluar variaciones y encontrar la óptima para tu tarea específica. Este proceso emplea tres mecanismos técnicos específicos para maximizar el rendimiento:

1. Análisis de errores automatizado: APO analiza patrones de errores de los datos de entrenamiento para identificar automáticamente debilidades específicas en la instrucción inicial.
2. Destilación de instrucciones semánticas: Analiza ejemplos de entrenamiento masivos para destilar la "verdadera intención" de una tarea, creando instrucciones que reflejen con mayor precisión la distribución de datos reales.
3. Pruebas de candidatos paralelas: En lugar de probar una idea a la vez, APO genera y prueba numerosos candidatos de instrucciones en paralelo para identificar el máximo global de calidad.

Por qué APO puede acercarse a la calidad del ajuste

Es un error común creer que el ajuste siempre produce una mejor calidad que las instrucciones. Para los modelos de base modernos, como Gemini Nano v3, la ingeniería de instrucciones puede ser impactante por sí sola:

• Preservación de capacidades generales: El ajuste ( PEFT/LoRA) obliga a los pesos de un modelo a indexarse en exceso en una distribución específica de datos. Esto suele provocar un "olvido catastrófico", en el que el modelo mejora en tu sintaxis específica, pero empeora en la lógica y la seguridad generales. APO deja los pesos intactos, lo que preserva las capacidades del modelo base.
• Seguimiento de instrucciones y descubrimiento de estrategias: Gemini Nano v3 se entrenó rigurosamente para seguir instrucciones complejas del sistema. APO aprovecha esto buscando la estructura de instrucciones exacta que desbloquea las capacidades latentes del modelo y, a menudo, descubre estrategias que podrían ser difíciles de encontrar para los ingenieros humanos. 

Para validar este enfoque, evaluamos APO en diversas cargas de trabajo de producción. Nuestra validación mostró aumentos de precisión constantes del 5 al 8% en varios casos de uso.En varias funciones integradas en el dispositivo implementadas, APO proporcionó mejoras significativas en la calidad.

Un flujo de trabajo de desarrolladores continuo y de extremo a extremo

Es un error común creer que el ajuste siempre produce una mejor calidad que las instrucciones. Para los modelos de base modernos, como Gemini Nano v3, la ingeniería de instrucciones puede ser impactante por sí sola:

• Preservación de capacidades generales: El ajuste ( PEFT/LoRA) obliga a los pesos de un modelo a indexarse en exceso en una distribución específica de datos. Esto suele provocar un "olvido catastrófico", en el que el modelo mejora en tu sintaxis específica, pero empeora en la lógica y la seguridad generales. APO deja los pesos intactos, lo que preserva las capacidades del modelo base.
• Seguimiento de instrucciones y descubrimiento de estrategias: Gemini Nano v3 se entrenó rigurosamente para seguir instrucciones complejas del sistema. APO aprovecha esto buscando la estructura de instrucciones exacta que desbloquea las capacidades latentes del modelo y, a menudo, descubre estrategias que podrían ser difíciles de encontrar para los ingenieros humanos. 

Para validar este enfoque, evaluamos APO en diversas cargas de trabajo de producción. Nuestra validación mostró aumentos de precisión constantes del 5 al 8% en varios casos de uso.En varias funciones integradas en el dispositivo implementadas, APO proporcionó mejoras significativas en la calidad.

Conclusión

El lanzamiento de la optimización automática de instrucciones (APO) marca un punto de inflexión para la IA generativa integrada en el dispositivo. Al reducir la brecha entre los modelos de base y el rendimiento de nivel experto, les brindamos a los desarrolladores las herramientas para crear aplicaciones para dispositivos móviles más sólidas. Ya sea que estés comenzando con la optimización de cero disparos o escalando a la producción con el refinamiento basado en datos, el camino hacia la inteligencia integrada en el dispositivo de alta calidad ahora es más claro. Lanza hoy mismo tus casos de uso integrados en el dispositivo a producción con la API de instrucciones del Kit de AA y la optimización automática de instrucciones de Vertex AI. 

Vínculos relevantes: 

• API de instrucciones del Kit de AA
• Documentación del optimizador de instrucciones de Vertex AI
• Blog de anuncios de Gemma 3N