产品动态

自动提示优化如何为机器学习套件的生成式 AI 提示 API 带来质量提升

阅读时间：3 分钟
2026 年 1 月 28 日
4 位作者
Chetan Tekur, Chao Zhao, Paul Zhou, Caren Chang

自动提示优化 (APO)

为了进一步帮助您将机器学习套件提示 API 用例投入生产，我们很高兴地宣布推出 针对 Vertex AI 上的设备端模型的自动提示优化 (APO)。自动提示优化是一种工具，可帮助您自动找到适合您用例的最佳提示。

设备端 AI 的时代不再是承诺，而是生产现实。随着 Gemini Nano v3 的发布，我们将前所未有的语言理解和多模态功能直接置于用户手中。通过 Gemini Nano 系列模型，我们广泛覆盖了 Android 生态系统中支持的设备。但对于构建下一代智能应用的开发者来说，获得强大的模型只是第一步。真正的挑战在于自定义：如何在不违反移动硬件限制的情况下，针对特定用例定制基础模型，使其达到专家级性能？

在服务器端世界中，较大的 LLM 通常功能强大，并且需要较少的领域适应。即使需要，LoRA（低秩适应）微调等更高级的选项也是可行的。但是，Android AICore 的独特架构优先考虑共享的、内存高效的系统模型 。这意味着，为每个单独的应用部署自定义 LoRA 适配器会对这些共享系统服务带来挑战。

但还有一条同样有效的替代路径。通过利用 Vertex AI 上的自动提示优化 (APO) ，开发者可以获得接近微调的质量，同时在原生 Android 执行环境中无缝工作。通过专注于卓越的系统指令，APO 使开发者能够以比传统微调解决方案更高的稳健性和可伸缩性来定制模型行为。

注意： Gemini Nano V3 是备受赞誉的Gemma 3N模型的质量优化版本。对开源 Gemma 3N 模型进行的任何提示优化也将适用于 Gemini Nano V3。在 受支持的设备上，机器学习套件 GenAI API 利用 nano-v3 模型最大限度地提高 Android 开发者的质量

APO block diagram.jpg

APO 将提示视为可优化的可编程表面，而不是静态文本。它利用服务器端模型（如 Gemini Pro 和 Flash）来提出提示、评估变体并找到适合您特定任务的最佳提示。此过程采用三种特定的技术机制来最大限度地提高性能：

  1. 自动错误分析 ：APO 分析训练数据中的错误模式，以自动识别初始提示中的特定弱点。
  2. 语义指令提炼 ：它分析大量训练示例，以提炼任务的“真实意图”，创建更准确地反映真实数据分布的指令。
  3. 并行候选测试 ：APO 不会一次测试一个想法，而是并行生成和测试大量提示候选，以确定质量的全局最大值。

为什么 APO 可以接近微调质量

人们普遍误解，认为微调总是比提示产生更好的质量。对于 Gemini Nano v3 等现代基础模型，提示工程本身就可能产生影响：

  • 保留一般功能 ：微调 ( PEFT/LoRA) 会强制模型的权重过度索引到特定数据分布。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会触及权重，从而保留了基础模型的功能。
  • 指令遵循和策略发现 ：Gemini Nano v3 经过严格训练，可以遵循复杂的系统指令。APO 通过找到解锁模型潜在功能的 确切 指令结构来利用这一点，通常会发现人类工程师可能难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证表明，在各种用例中，准确率始终提高 5-8% 。在多个已部署的设备端功能中，APO 显著提升了质量。

用例任务类型任务说明指标APO 改进
主题分类文本分类将新闻报道分类到金融、体育等主题准确率+5%
意图分类文本分类将客户服务查询分类为意图准确率+8.0%
网页翻译文本翻译将网页从英语翻译为当地语言BLEU+8.57%

无缝的端到端开发者工作流

人们普遍误解，认为微调总是比提示产生更好的质量。对于 Gemini Nano v3 等现代基础模型，提示工程本身就可能产生影响：

  • 保留一般功能 ：微调 ( PEFT/LoRA) 会强制模型的权重过度索引到特定数据分布。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会触及权重，从而保留了基础模型的功能。
  • 指令遵循和策略发现 ：Gemini Nano v3 经过严格训练，可以遵循复杂的系统指令。APO 通过找到解锁模型潜在功能的 确切 指令结构来利用这一点，通常会发现人类工程师可能难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证表明，在各种用例中，准确率始终提高 5-8% 。在多个已部署的设备端功能中，APO 显著提升了质量。

总结

自动提示优化 (APO) 的发布标志着设备端生成式 AI 的转折点。通过弥合基础模型和专家级性能之间的差距，我们为开发者提供了构建更强大的移动应用的工具。无论您是刚刚开始使用 Zero-Shot 优化 ，还是通过数据驱动 优化来扩大生产规模，通往高质量设备端智能的道路现在都更加清晰。立即使用机器学习套件的提示 API 和 Vertex AI 的自动提示优化，将您的设备端用例投入生产。

相关链接：

作者：

继续阅读