针对AI安全问题，CISO是否应该建立AI红队？

AI红队可以通过演习、威胁建模和风险评估演习来保护人工智能系统。数据科学家、人工智能风险和可解释性专家Patrick Hall对美国科学与安全组织（CSO）表示，组织应该为机器学习模型建立红色预警机制，并至少对其进行完整性和机密性测试，看其是否能够抵抗。

这看上去似乎一目了然，但是AI红队的实际情况并没有那么简单。近期，有报告显示，脸书和微软等科技巨头已经成立了AI红队，以探索其人工智能威胁环境的风险。安全和风险咨询公司报告称，他们正在与某些客户合作，试图了解他们现有的人工智能风险。Hall创立的BNH.AI律师事务所最近与美国国防相关公司合作，探索其人工智能事件响应能力和相关弱点。

但这些案例所提到的AI红队只是一个雏形，目前仍然没有标准的行业最佳实践能够定义最理想的AI红队，虽然有针对AI威胁和漏洞的研究和实验，例如：MITRE ATLAS框架专注于对抗性人工智能的安全研究；Hall在即将出版的书中有一章关于ML红队，但这些并没有将AI红队具现成一个可实践的框架，也没有详细说明一个组织应该如何系统地、可持续地测试AI模型和AI驱动的应用程序。

因此，关于AI红队的定义工作仍在进行中。对一些人来说，AI红队不过是定期攻击AI架构的模型，但对于更多人来说，AI红队可以引发对AI或ML的思考和重视。

软件安全专家Gary McGraw表示，AI红队这个名词并不贴切，因为它有可能引起组织对AI的重视和提防，从而导致其放弃AI。但他认为，无论AI红队如何定义，CISO都应该开始列举和降低组织存在的AI风险，并关注到驱动AI红队所带来的风险。

人工智能的已知风险清单仍在不断增加，但安全专家已经确定了潜在的攻击或故障场景，这些场景可能会导致人工智能不可预测地行动或呈现不正确的输出。同样的，在个人信息和知识产权泄露方面，AI也出现了相关风险。

Cybrize的CSO、老牌安全从业者和分析师Diana Kelley表示，许多导致AI存在风险的问题并不是恶意的，而是由于设计故障导致无法正确的清理数据，这种设计故障导致系统以无法预料的方式运行。她表示，目前很多AI风险案例都是由无意的设计故障造成的。

值得注意的是，无论AI风险是不是故意造成的，它都在威胁信息安全的三个方面：机密性、完整性和保障性。

安全咨询公司NCC Group的首席科学家Chris Anley表示，成员关系推断、模型反转和训练数据提取等隐私攻击可以使攻击者从运行的系统中窃取敏感的训练数据，而模型窃取攻击可以让攻击者获得敏感专有模型的副本。这两方面是AI系统面临着独特的安全挑战，需要安全人员格外关注。

他表示，这仅仅是一个开始，在深入研究AI模型的内容和支持它们的基础设施后，安全团队可能会发现更多的问题。例如，AI系统的使用可能会将组织的敏感数据暴露给第三方供应商；模型可能包含可执行代码，这可能会导致构建供应链和应用程序时存在安全问题；AI系统的分布式训练也会带来安全问题等等。“训练数据可以被操纵以创建后门，由此产生的系统本身也可以受到直接操纵；对抗性扰动和错误分类可能会导致系统产生不准确甚至危险的结果。”Anley表示。

此外，AI的发展将会推动数据的协作和共享，同时也会造成基础设施和应用程序的快速迭代，而这些都会存在漏洞。Anley提到，NCC在为企业客户进行安全审计中发现，AI威胁往往存在于那些新型AI相关基础设施中，包括培训和部署服务、用于实验的笔记本服务器以及各种各样的数据存储和查询系统。Anley表示，部分用于测试AI的笔记本服务器是非常威胁的，它们可以轻易在服务器上为攻击者提供远程执行代码。一旦这种攻击面得不到保护时，开发人员利用远程访问时将会相当危险。

实际上，所有关于AI威胁的核心都是数据。Anley表示，很多安全团队是难以发现与AI相关的数据安全问题，理由是数据梳理和敏感数据管理一直是企业安全的一大难题。数据是AI的核心，当敏感数据得不到安全的管控时，随着AI造成的敏感数据泄露也必将成为现实。Anley表示，AI红队存在的意义或许就是能够真正发现组织和系统中关于数据的安全漏洞。

对于数据是AI安全的核心这一观点，McGraw表示同意。他认为，当CISO开始关注AI和ML所带来的风险时，他们首先要认识到数据就是机器。即使CISO或组织未对AI和ML采取相关安全措施，他们也应该加强对这类问题的了解。

他表示，人工智能风险管理和此前应用程序安全十分类似。目前，针对AI安全并没有明确的职责划分，研究AI安全的人可能来自数据科学，可能来自计算机科学，也可能来自信息安全人员。在AI安全这方面，还需要观察一些时间。

显然，人工智能的风险正在酝酿之中。许多安全专家认为，这本身就是一个警告，CISO应该注意到AI红队，并为其提前铺平道路（前提是CISO所在组织正在AI应用的前沿。）

Hall表示，如果一家企业只是在建立AI相关能力，而不是将AI纳入业务的重要组成部分，那么建立AI红队的事情还可以缓一缓。如果一家企业已经决定深入应用AI，并采用自动化决策功能，那么建立AI红队已经刻不容缓。

但是，有限的资源依然是很多CISO苦恼和关注的问题，既然建设AI红队这么重要，那么它需要花费多少？或者随着利基市场的发展，它是否值得投资？这些问题如果不加以解释和解决，那么建立AI红队无疑是让CISO浪费有限的成本。

Optiv威胁管理工程研究员Matthew Eidelberg表示，攻击者追求的是效率和成本，因此他们会选择那些他们熟悉的，而且成本较低的入侵系统的方法。在一个组织的攻击面中，AI并不是攻击最容易攻击或入侵的途径。

对于今天的大多数CISO来说，建立AI红队无疑是一个沉重的负担。正确运行针对人工智能系统的红队演习需要一个由安全、人工智能和数据科学专家组成的跨学科团队，从而更好更好地了解企业使用的人工智能模型，包括在第三方软件中，人工智能部署的威胁建模，以及根据红队结果记录和规划安全改进的方法。很明显，这需要大量的资源，CISO需要平衡资源投入与效果回报。

实际上，这篇文章讲述的并不是让每一位CISO都建立AI红队，而是像云计算、移动应用程序交付等安全风险一样，这些新出现的攻击面需要在CISO的认知范围当中。

Nuspire的CSO J.R.Cunningham认为，聪明的CISO不会去强求某种防护技术和手段，而是会逐步建立起全面测试组织系统的能力。他表示，AL和ML将会拓展组织的安全能力，随着时间的推移，组织的安全能力将会更加完整且强大。换句话说，建立AI红队需要合适的时机，就像是2010年代初的大型信用卡违规事件推动了对网络细分和数据保护的投资一样。事件驱动永远是CISO的一把利器。

Kelley认为，即使CISO不从测试开始，他们至少可以从一些增量步骤开始，从威胁建模开始，这将有助于了解故障模式以及最有可能发生故障或即将发生故障的情况。她表示，CISO应该让安全团队的人去接受关于AI和ML的安全教育，了解可能出现的问题，然后围绕引入的系统建立威胁模型。

供应商也是一个合适的对象，但组织对新应用程序或新工作负载进行威胁建模时，CISO可以请供应商谈谈他们是如何使用AI和ML。

上海非夕机器人科技有限公司CISO&DPO刘歆轶表示，从信息安全角度来看，组织在考虑或应用AI时，应该提前做好以下准备：

某信息安全专家表示，面临着海量的数据和层出不穷的安全漏洞，人工智能是必须应该掌握的一项技能或者说工具，两者结合是必然的。相比于其他行业来说，网络安全是一个较为传统的行业。因此，在很长的一段时间内，网络安全和机器学习是分开来演化和发展的，两者并无交集。例如在恶意检测方向，基于规则和黑白名单以及人工分析等的检测方法已经发展了很久，使用的技术从固定规则、黑白名单、模型、沙箱，最后终于发展到了机器学习这条路上，实现了两者的成功会面，人工智能开始试着在网络安全上发挥作用。

某科技行业人士表示，确保人工智能技术的安全性和隐私性可以采用以下方法：