将对生成式人工智能的攻击映射到业务影响

近几个月来，我们看到政府和企业领导人越来越关注保护人工智能模型的安全。如果生成式人工智能是改变整个社会所依赖的服务和功能的下一个大平台，那么确保技术的可信和安全必须是企业的首要任务。虽然生成式人工智能的采用还处于初级阶段，但我们必须从一开始就制定有效的策略来确保其安全。

IBM商业价值研究院发现，尽管 64% 的首席执行官面临来自投资者、债权人和贷方的巨大压力，要求加速采用生成式 AI，但 60% 的首席执行官尚未开发出一致的、企业范围内的生成式 AI 方法。事实上，84% 的人担心采用生成式人工智能可能会导致广泛或灾难性的网络安全攻击。

当组织确定如何最好地将生成式人工智能纳入其业务模型并评估该技术可能引入的安全风险时，值得检查威胁行为者可能针对人工智能模型执行的主要攻击。尽管仅报告了少量针对 AI 的现实攻击，但 IBM X-Force Red 一直在测试模型，以确定最有可能出现在野外的攻击类型。为了了解组织在采用该技术时需要减轻的与生成式人工智能相关的潜在风险，本博客将概述对手可能进行的一些攻击，包括即时注入、数据中毒、模型规避、模型提取、反转和供应连锁攻击。

描述了安全攻击类型，根据威胁行为者执行的难度级别及其对业务的潜在影响进行排名

及时注射

提示注入攻击通过精心设计恶意输入来操纵大型语言模型 (LLM)，这些输入试图覆盖系统提示（开发人员为 AI 提供的初始指令）。这可能会导致模型越狱以执行意外操作、规避内容策略以生成误导性或有害的响应，或者泄露敏感信息。

法学硕士偏向于服从用户，并且容易受到与人类相同的欺骗，类似于社会工程。因此，绕过适当的内容过滤器非常容易，通常就像要求法学硕士“假装它是一个角色”或“玩游戏”一样简单。这种攻击可能会通过生成有害内容而导致声誉受损；通过精心设计触发过度资源利用的提示来降低服务质量；通过泄露机密系统提示来窃取知识产权或数据。

数据中毒

数据中毒攻击包括对手篡改用于训练人工智能模型的数据，以引入漏洞、偏见或改变模型的行为。这可能会损害模型的有效性、安全性或完整性。假设模型正在封闭数据集上进行训练，这需要对数据管道进行高级别访问，要么通过恶意内部人员的访问，要么通过替代方式进行复杂的权限升级。然而，由于攻击者可以更直接地访问公共源，因此在开源数据集上训练的模型将更容易成为数据中毒的目标。

这种攻击的影响范围可能从错误信息尝试到 Die Hard 4.0，具体取决于威胁行为者的目标，从根本上损害模型的完整性和有效性。

模型规避

模型规避攻击允许攻击者修改人工智能模型的输入，导致人工智能模型错误分类或误解这些输入，从而改变其预期行为。这对于人类观察者来说可以是可见的（例如，在停车标志上贴上小贴纸，使自动驾驶汽车忽略它们），也可以是不可见的（例如，通过添加欺骗对象识别模型的噪声来改变图像中的各个像素）。

根据人工智能模型的复杂性，这种攻击的复杂性和可执行性可能会有所不同。模型输入和输出的格式和大小是什么？攻击者是否可以不受限制地访问它们？根据人工智能系统的目的，成功的模型规避攻击可能会对业务产生重大影响。例如，如果该模型用于安全目的，或做出贷款审批等重要决策，则规避预期行为可能会造成重大损害。

然而，考虑到这里的变量，选择阻力最小路径的攻击者不太可能使用这种策略来推进他们的恶意目标。

模型提取

模型提取攻击旨在窃取人工智能模型的知识产权 (IP) 和行为。在尝试复制它之前，它们是通过广泛查询并监视输入和输出以了解其结构和决策来执行的。然而，这些攻击需要大量的资源和知识来执行，并且随着人工智能模型复杂性的增加，执行这种攻击的难度也随之增加。

虽然 IP 的丢失可能会产生重大的竞争影响，但如果攻击者拥有成功执行模型提取和复制的技能和资源，他们可能更容易简单地下载开源模型并将其自定义为类似的行为。此外，严格的访问控制、监控和速率限制等技术在不直接访问模型的情况下显着阻碍了对抗性尝试。

反转攻击

提取攻击的目的是窃取模型行为本身，而逆向攻击的目的是找出模型训练数据的信息，尽管只能访问模型及其输出。模型反转允许攻击者重建模型训练过的数据，而成员推理攻击可以确定训练模型时是否使用了特定数据。

模型的复杂性以及模型输出信息的程度将影响执行此类攻击的复杂程度。例如，一些推理攻击利用模型输出置信值和结果的事实。在这种情况下，攻击者可以尝试重建输入以最大化返回的置信值。也就是说，攻击者不太可能拥有对模型或其输出所需的不受限制的访问权限，以使其在野外实用。然而，数据泄露和隐私侵犯的可能性存在风险。

供应链攻击

AI 模型比以往任何时候都更加集成到业务流程、SaaS 应用程序、插件和 API 中，攻击者可以针对这些连接服务中的漏洞来损害模型的行为或功能。此外，企业正在利用 Hugging Face 等存储库中的免费模型来抢占人工智能开发的先机，这些模型可能嵌入木马和后门等恶意功能。

成功利用互联集成需要对架构有广泛的了解，并且通常需要利用多个漏洞。尽管这些攻击需要高水平的复杂性，但它们也很难检测到，并且可能对缺乏有效检测和响应策略的组织产生广泛影响。

鉴于人工智能系统的互连性质以及它们对关键业务流程的参与不断增加，防范供应链攻击应该成为重中之重。审查第三方组件、监控漏洞和异常以及实施DevSecOps最佳实践至关重要。

确保人工智能安全

组织越了解人工智能可能遭受的攻击类型，就越能通过制定有效的防御策略来增强网络准备能力。虽然网络犯罪分子需要时间来投资大规模攻击人工智能模型所需的资源，但安全团队拥有难得的时间优势——在攻击者将技术置于目标范围的中心之前，有机会保护人工智能。任何组织都需要制定保护人工智能的策略。这包括他们积极投资以优化业务的模型，以及员工为提高生产力而引入的影子人工智能工具。

原文始发于微信公众号（祺印说信安）：将对生成式人工智能的攻击映射到业务影响