威胁情报信息分享|美国、英国及16个国家的全球伙伴发布了有关开发安全人工智能（AI）系统的新指南

美国网络安全和基础设施安全局（CISA）表示：“这种方法强调对客户安全成果的所有权，拥抱彻底的透明度和问责制，并建立将安全设计作为首要任务的组织结构。”

英国国家网络安全中心（NCSC）补充说，目标是提高AI的网络安全水平，并确保该技术以安全的方式设计、开发和部署。

这些指南还基于美国政府持续努力管理AI带来的风险，确保新工具在公开发布前经过充分测试，设置防护措施以解决社会伤害（如偏见和歧视）和隐私问题，并为消费者建立强有力的方法来识别AI生成的材料。

承诺还要求公司通过漏洞赏金系统促进第三方发现并报告其AI系统中的漏洞，以便能够快速发现并修复。

NCSC表示，最新指南“帮助开发者确保网络安全是AI系统安全的基本前提，并且从一开始就整合到开发过程中，这被称为‘安全设计’方法。”

这包括安全设计、安全开发、安全部署、以及安全运营和维护，涵盖AI系统开发生命周期中的所有重要领域，要求组织模拟针对其系统的威胁，并保护其供应链和基础设施。

这些机构指出，目的是对抗针对AI和机器学习（ML）系统的敌意攻击，这些攻击旨在以各种方式引起非预期行为，包括影响模型的分类、允许用户执行未授权操作以及提取敏感信息。

NCSC指出：“实现这些效果的方法有很多，例如在大型语言模型（LLM）领域进行提示注入攻击，或故意破坏训练数据或用户反馈（即‘数据投毒’）。”

原文始发于微信公众号（XDsecurity）：威胁情报信息分享|美国、英国及16个国家的全球伙伴发布了有关开发安全人工智能（AI）系统的新指南