OWASP AI Exchange，一份人工智能安全指南

OWASP AI Exchange 是一项开源协作提议，旨在推动全球人工智能安全标准、法规和知识的开发与共享。它涵盖人工智能威胁、漏洞和控制。

OWASP AI Exchange 的具体内容

OWASP AI Exchange 还提出了一些普适性建议。这些建议包括实施人工智能治理、将安全和开发实践扩展到数据科学、根据人工智能的具体用例和细微差别增加对人工智能的监督等。

不良行为者利用人工智能的方式有很多，出现了许多威胁，如数据泄露、中毒，甚至对人工智能供应链的攻击。下图是交易所的图片。

AI Exchange 为组织提供了一种全面的方法，用于识别相关威胁和相应的控制措施。首先要通过威胁建模等活动识别威胁，确定组织内部应对威胁的责任，以及评估服务提供商、软件和供应商等外部因素。

基于此，AI Exchange 还可以指导企业选择可减轻已识别威胁的控制措施，并将这些控制措施与现有的或新出现的标准相互参照。完成这些步骤后，企业就能更好地围绕风险接受度以及对已识别和可接受的风险进行持续监控和维护等等。

与其他系统一样，人工智能系统的开发也遵循一个生命周期，这就是为什么人工智能交易所建议在人工智能软件开发生命周期（SDLC）的各个阶段开展活动。这些阶段包括安全设计、开发、部署以及运营和维护。这些阶段在其他框架（如 NIST 的安全软件开发框架 (SSDF)）中得到了很好地体现，该框架的各个阶段都有相应的任务和活动，以确保整个 SDLC 中系统和软件开发的安全。

有鉴于此，来看看一些一般威胁以及与 SDLC 特定阶段（如开发和运行时）相关的威胁。

一般控制包括治理等总体活动。这包括围绕模型和数据以及风险治理分配责任。这些工作旨在确保人工智能计划和使用不会作为更广泛的信息安全管理的一部分而被忽视。

具体的一般控制措施包括尽量减少应用中不必要的数据和字段，以避免潜在泄漏；确保只有经过许可和授权的数据才能用于模型训练活动或人工智能系统和平台；数据应有明确的生命周期，保留或访问的时间不应超过必要的时间，以最大限度地降低风险。

标记化、屏蔽和加密等方法可以用来保护训练数据集中存在的敏感信息，避免敏感数据在无意中泄露。

对于企业来说，实施控制以限制意外行为的影响也是至关重要的，例如对训练数据的影响、对人工智能系统的操纵以及检测意外行为，在其产生影响之前进行纠正或停止意外或恶意活动并通知相关系统维护人员。

使用中的威胁是指通过与人工智能模型和系统的正常交互（如提供输入或接收输出）造成的威胁。AI Exchange 建议监控模型的使用情况，并在日志中记录输入、日期、时间和用户等指标，以便进行事件响应。

这些可能是不正常的模型运行、可疑的行为模式或恶意输入。攻击者还可能试图通过频率滥用输入进行控制，如速率限制 API。攻击者还可能试图影响模型行为的完整性，导致不必要的模型输出，如欺诈检测失败或做出可能对安全产生影响的决策。建议采取的控制措施包括检测ODD或对抗性输入以及选择可规避的模型设计等。

在人工智能系统方面，OWASP AI Exchange 分享了常规应用程序开发范围之外，用于数据和模型工程的开发环境有关的开发威胁。这包括收集、存储和准备数据和模型等活动，以及防范数据泄露、中毒和供应链攻击等等。

具体的控制措施包括开发数据保护和使用加密静态数据等方法、实施数据访问控制（包括最低权限访问），以及实施操作控制以保护存储数据的安全性和完整性。

其他控制措施包括所涉及系统的开发安全、所涉及的人员、流程和技术等。这包括实施控制措施，如开发人员的人员安全，保护开发环境的源代码和配置，以及通过病毒扫描和漏洞管理等机制保护其端点，就像传统的应用程序安全实践一样。如果开发端点受到破坏，开发环境和相关培训数据就会受到影响。

AI Exchange 还提到了人工智能和 ML 物料清单 (BOM)，以协助减轻供应链威胁。它建议利用 MITRE ATLAS 的 “ML Supply Chain Compromise”作为资源，以减轻对数据来源和内容的担忧，并开展验证签名和利用依赖性验证工具等活动。

AI Exchange 指出，人工智能系统归根结底也是 IT 系统，因此可能存在类似的弱点和漏洞，这些弱点和漏洞并非针对人工智能，但会影响人工智能所属的 IT 系统。当然，长期以来的应用安全标准和最佳实践（如 OWASP 的应用安全验证标准 (ASVS)）已经解决了这些控制问题。

尽管如此，人工智能系统也有一些独特的攻击载体，如运行时模型中毒和窃取、不安全的输出处理和直接提示注入，后者在 OWASP LLM Top 10 中也被提及，在所列威胁/风险中占据首位。这要归功于 GenAI 和 LLM 平台在过去 12-24 个月中的普及。

为了应对这些特定于人工智能的运行时 AppSec 威胁，AI Exchange 建议采取运行时模型和输入/输出完整性等控制措施来解决模型中毒问题。对于运行时模型窃取，可采取运行时模型保密（如访问控制、加密）和模型混淆等控制措施，使攻击者难以理解部署环境中的模型，或是利用可视化助长攻击。

为解决不安全的输出处理问题，建议采取的控制措施包括对模型输出进行编码，以避免传统的注入攻击。

提示词注入攻击对 LLM 系统尤为有害，其目的是通过直接或间接的提示词注入，精心设计输入，使 LLM 在不知情的情况下执行攻击者的目标。这些方法可用于让 LLM 泄露敏感数据，如个人数据和知识产权。为应对直接提示词注入，可以利用 OWASP LLM Top 10中提出的防止其发生的关键建议，包括对 LLM 访问后端系统实施权限控制、将外部内容与用户提示隔离，以及在 LLM 和外部来源之间建立信任边界。

最后，AI Exchange 讨论了运行时泄漏敏感输入数据的风险。例如，生成式AI的提示词被泄露给不该泄露的一方，例如通过中间攻击者的情况。GenAI 的提示词可能包含敏感数据，例如攻击者可能想要捕获的公司机密或个人信息。这方面的控制措施包括通过访问控制、加密等技术保护模型参数的传输和存储，并最大限度地减少摄入提示词的保留时间。

随着业界继续采用和探索人工智能的功能，安全社区必须继续学习如何确保人工智能系统及其使用的安全。这包括内部开发的具有人工智能功能的应用程序和系统，以及与外部人工智能平台和供应商的组织互动。

OWASP AI Exchange 是一个极好的开放资源，从业人员可以通过它更好地了解风险和潜在攻击载体，以及应对人工智能特定风险的建议控制和缓解措施。正如 OWASP AI Exchange 的先驱和 AI 安全领导者 Rob van der Veer 提出的，AI 安全的很大一部分是数据科学家的工作，而 AI Exchange 等 AI 安全标准和指南可以为从业者提供帮助。