自动提示优化功能如何帮助机器学习套件的生成式 AI Prompt API 提高质量

自动提示优化 (APO)

为了进一步帮助您将机器学习套件 Prompt API 用例投入生产，我们很高兴地宣布推出 Vertex AI 上针对设备端模型的自动提示优化 (APO)。自动提示优化是一种工具，可帮助您自动找到最适合您使用情形的提示。

设备端 AI 时代已不再是承诺，而是生产现实。随着 Gemini Nano v3 的发布，我们将前所未有的语言理解和多模态功能直接带到用户手中。通过 Gemini Nano 系列模型，我们广泛覆盖了 Android 生态系统中支持的设备。但对于构建新一代智能应用的开发者来说，获得强大的模型只是第一步。真正的挑战在于定制化：如何在不突破移动硬件限制的情况下，针对特定应用场景对基础模型进行定制，使其达到专家级性能？

在服务器端，较大的 LLM 通常功能强大，需要的网域自适应程度较低。即使需要微调，LoRA（低秩适应）微调等更高级的选项也可能是可行的选择。不过，Android AICore 的独特架构优先考虑共享且内存高效的系统模型。这意味着，为每个单独的应用部署自定义 LoRA 适配器会给这些共享系统服务带来挑战。

但还有一条同样有效的替代路径。借助 Vertex AI 上的自动提示优化 (APO)，开发者可以在原生 Android 执行环境中顺畅工作，同时获得接近微调的质量。APO 专注于提供卓越的系统指令，使开发者能够以比传统微调解决方案更强大的稳健性和可伸缩性来定制模型行为。

注意： Gemini Nano V3 是广受好评的 Gemma 3N 模型的质量优化版本。对开源 Gemma 3N 模型进行的任何提示优化也将应用于 Gemini Nano V3。在受支持的设备上，机器学习套件生成式 AI API 利用 nano-v3 模型，为 Android 开发者提供尽可能高的质量

APO 不会将提示视为静态文本，而是将其视为可优化的可编程表面。它利用服务器端模型（如 Gemini Pro 和 Flash）来建议提示、评估变体并找到最适合您特定任务的提示。此过程采用三种特定的技术机制来最大限度地提升性能：

1. 自动错误分析：APO 会分析训练数据中的错误模式，以自动识别初始提示中的特定弱点。
2. 语义指令提炼：它会分析海量训练样本，提炼出任务的“真实意图”，从而创建更准确地反映真实数据分布的指令。
3. 并行候选提示测试：APO 不会一次测试一个想法，而是并行生成并测试大量候选提示，以确定质量方面的全局最大值。

为什么 APO 可以接近精细调优的质量

人们普遍误以为，微调的效果总是优于提示。对于 Gemini Nano v3 等现代基础模型，提示工程本身就能带来显著效果：

• 保留通用能力：微调（PEFT/LoRA）会强制模型的权重在特定数据分布上过度索引。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会更改权重，从而保留基础模型的功能。
• 指令执行和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 正是利用了这一点，通过寻找能够释放模型潜在能力的精确指令结构，往往能发现人类工程师难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证表明，在各种应用场景中，准确率均能稳定提升 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。

顺畅的端到端开发者工作流

人们普遍认为，微调始终比提示能生成更高质量的内容。对于 Gemini Nano v3 等现代基础模型，提示工程本身就能带来显著效果：

• 保留通用能力：微调（PEFT/LoRA）会强制模型的权重在特定数据分布上过度索引。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会更改权重，从而保留基础模型的功能。
• 指令执行和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 正是利用了这一点，通过寻找能够释放模型潜在能力的精确指令结构，往往能发现人类工程师难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证结果表明，在各种应用场景中，准确率均能稳定提升 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。

总结

自动提示优化 (APO) 的发布标志着设备端生成式 AI 迎来了一个转折点。通过弥合基础模型与专家级性能之间的差距，我们为开发者提供了构建更强大的移动应用的工具。无论您是刚开始使用 Zero-Shot 优化，还是通过数据驱动的精细调整将模型扩展到生产环境，现在都可以更清晰地了解如何实现高质量的设备端智能。立即使用机器学习套件的 Prompt API 和 Vertex AI 的自动提示优化功能，将设备端用例投入生产。

相关链接：

• 机器学习套件 Prompt API，
• Vertex AI Prompt Optimizer 文档
• Gemma 3N 公告博客