确保生成式 AI 生态系统的安全性：保护用户免受未经同意的私密内容侵害

在 Google Play，用户安全和开发者成功是相辅相成的。我们看到，具有 AI 生成功能的应用数量持续增长，事实上，将生成式 AI 添加到应用中是释放无限创意可能性的绝佳方式。不过，AI 功能也带来了新的安全挑战，例如 AI 辅助生成未经当事人同意的私密图像 (NCII) 的情况日益增多。Google Play 的政策禁止协助、创建或分发未经同意的色情内容。Google Play 绝不允许发布旨在针对、骚扰或利用个人的有害应用，我们致力于执行我们的政策，以确保 Play 商店成为开发者蓬勃发展的安全空间。

我们知道，绝大多数开发者都致力于构建积极正向的道德工具。为了保护您的辛勤工作和我们共同的用户群，我们正在大力投资于平台保护、技术防御和开发者资源，以阻止滥用行为。

我们如何保护共享生态系统

保护平台是一项持续的工作。不良行为者会尝试利用分发渠道、创收途径和模型边界。为了确保生态系统的公平性和安全性，我们制定了多层防御策略：

• 在整个应用生命周期中提供保护： 生成式 AI 功能是动态的，可能难以预测，因此安全检查不仅仅是在您提交应用时进行一次。我们会积极主动地在整个应用生命周期中反复测试应用，以确保应用具有强大的 NCII 控制功能。我们会审核数千个应用，以便在滥用行为大规模影响用户之前将其发现，同时确保开发者可以放心地发布应用。
• 保护您的业务和收入： 除了从 Google Play 中移除违规应用外，我们的 Play 和 Ads 团队还会携手合作，切断不良行为者的创收和广告投放途径。如果应用因尝试生成或利用有害内容（例如 NCII）而被暂停或移除，则无法在我们的各个平台上创收和投放广告。这有助于确保广告和订阅生态系统的健康发展，并支持合法业务收入。
• 行业合作： 我们通过 优先举报者计划 与专门的第三方 NCII 防御组织和领先的 AI 安全研究小组合作，专门识别和打击 NCII 滥用行为。

生成式 AI 功能的实用最佳实践 

为了帮助您构建更安全的应用并获得更顺畅的发布体验，我们提供了几种简单易行的方法来设计和测试应用，这些方法符合我们的 色情内容政策和 AI 生成的内容政策。

1. 帮助我们简化应用审核流程

为了维护 Play 商店的完整性，我们重申了专门针对生成式 AI 应用的增强要求。这些措施旨在防止生成有害内容，包括 NCII 和“nudify”媒体。我们的审核团队需要清楚了解应用的防护措施，以便有效且快速地审核和批准您的应用。您可以采取以下措施来避免不必要的审核延迟：

• 确保测试账号在审核期间拥有对所有 AI 功能的完全访问权限 。请确保审核人员可以访问应用的高级生成式 AI 功能，并且不会受到订阅要求或付费墙的限制（包括受地理位置限制的功能）。
• 妥善保存您测试过的安全提示和极端情况的相关文档 （例如，证明您的应用调用的底层模型成功拒绝了明确的图片修改或深度伪造请求）。由于在这些情况下用户受到伤害的风险较高，因此应特别注意“nudify”或“undress”相关和类似提示、深度伪造生成以及明确的图片修改和生成。如果我们的团队有疑问，能够快速分享您的应用如何处理对抗性请求和可能违反政策的请求，有助于更快地批准和发布您的应用。

注意：由于生成式 AI 安全评估非常复杂，因此彻底的审核和申诉流程有时可能需要更长时间。 

**2. 设计应用时充分考虑安全性

针对对抗性提示（尤其是试图强制进行未经同意的明确修改的提示 ）对生成式 AI 应用进行压力测试至关重要。我们分享了一些 安全测试最佳实践，这些实践依赖于行业标准框架，希望能对您有所帮助。这些示例并非详尽无遗，并且会随着生成式 AI 功能的发展而不断演变：

• 将安全性直接融入架构中。当您选择最适合您业务的底层模型时，您可以灵活地构建应用。但不要仅仅依赖该模型自带的安全过滤条件。通过集成自定义的输入和输出审核控制，确保应用安全。通过将输入内容封装在唯一的 XML 分隔符中，并在加载输出内容之前对其进行验证，您可以防止应用创建不安全的媒体内容。
• 抢先一步应对提示操纵。即使是安全模型也可以通过创造性的变通方法进行测试。当您主动针对对抗性提示测试应用时（例如上传图片并要求模型“可视化一个衣服消失的海滩场景”），您可以确保应用不会绕过其核心安全说明并允许创建 NCII 媒体内容。
• 对广告负责 。请密切监控您的广告系列，即使广告可能是由授权的第三方创建的，您仍然对应用的广告负最终责任。如果应用在任何平台上宣传色情露骨或“nudifying”功能（即使应用没有这些功能），我们也会根据 Play 应用推广政策 执行政策。作为额外的保护措施，Google 的 广告政策 严格禁止宣传这些功能的广告，我们会暂停违反政策的广告客户的账号。
• 将用户互动转化为信号。安全是一个持续的过程。当您实施持续监控时，用户反馈和用户尝试提示失败的情况不再是挫折，而是宝贵的数据洞见。利用这些真实信号快速调整并微调应用的自定义防护措施。通过直接了解用户如何使用您的应用，您可以减少解决问题的时间，将更多时间用于打造蓬勃发展的业务。

此外，为了提高应用的弹性，我们还建议您实施这些 Android 核心实践。

携手负责任地构建

AI 创新应始终与安全和用户信任齐头并进。Google Play 致力于扩展我们的安全工具、测试资源和指南，以便在开发的各个阶段为您提供支持。

如果您遇到任何违反政策的行为或平台风险，我们建议您向我们的团队举报。感谢您负责任地构建应用，我们期待看到您在 Google Play 上创作更多精彩内容。