OWASP 列出十个最严重的大型语言模型漏洞

开放全球应用程序安全项目 (OWASP) 发布了大型语言模型 (LLM) 应用程序中常见的 10 个最严重的漏洞，强调了它们的潜在影响、利用的难易程度和流行程度。漏洞示例包括快速注入、数据泄漏、沙盒不充分和未经授权的代码执行。

OWASP 表示，该列表旨在教育开发人员、设计师、架构师、经理和组织了解部署和管理 LLM 时的潜在安全风险，提高对漏洞的认识，提出补救策略，并改善 LLM 应用程序的安全状况。

基于 LLM 的生成式 AI 聊天界面的出现及其对网络安全的影响是一个主要的话题。对这些新技术可能带来的风险的担忧范围很广，从使用高级自学习算法共享敏感业务信息的潜在问题到恶意行为者使用它们来显着增强攻击。

一些国家、美国的州和企业正在考虑或已经下令禁止使用 ChatGPT 等生成人工智能技术，以确保数据安全、保护和隐私。

根据 OWASP，以下是影响 LLM 应用程序的前 10 个最严重的漏洞。

1. 及时注入

提示注入涉及绕过过滤器或使用精心设计的提示来操纵 LLM，使模型忽略先前的指令或执行意外操作。这些漏洞可能导致意想不到的后果，包括数据泄露、未经授权的访问或其他安全漏洞。

常见的即时注入漏洞包括通过使用特定的语言模式或标记来绕过过滤器或限制，利用 LLM 标记化或编码机制中的弱点，以及通过提供误导性上下文误导 LLM 执行意外操作。

攻击场景的一个例子是恶意用户通过使用 LLM 无法识别为受限内容的特定语言模式、令牌或编码机制来绕过内容过滤器，从而允许用户执行应该被阻止的操作。

针对该漏洞的防范措施包括：

• 对用户提供的提示实施严格的输入验证和清理。
• 使用上下文感知过滤和输出编码来防止提示操作。
• 定期更新和微调 LLM，以提高其对恶意输入和边缘情况的理解。

2. 数据泄露

当 LLM 通过其响应意外泄露敏感信息、专有算法或其他机密细节时，就会发生数据泄漏。这可能导致未经授权访问敏感数据或知识产权、侵犯隐私和其他安全漏洞。

LLM 响应中敏感信息的不完整或不当过滤、LLM 训练过程中敏感数据的过度拟合/记忆以及由于 LLM 误解或错误导致的机密信息的意外泄露是常见的数据泄漏漏洞。

攻击者可能会使用精心设计的提示故意探测 LLM，试图提取 LLM 从其训练数据中记住的敏感信息，或者合法用户可能会无意中向 LLM 提出一个会泄露敏感/机密信息的问题。

数据泄露的预防措施包括：

• 实施严格的输出过滤和上下文感知机制，以防止 LLM 泄露敏感信息。
• 在LLM的训练过程中使用差分隐私技术或其他数据匿名化方法来降低过拟合或记忆的风险。
• 定期审计和审查 LLM 的回复，以确保敏感信息不会被无意中泄露。

3. 沙盒不足

如果 LLM 在访问外部资源或敏感系统时未正确隔离，则沙盒不充分可能导致 LLM 潜在的利用、未经授权的访问或意外操作。LLM 环境与其他关键系统或数据存储的分离不足、允许 LLM 访问敏感资源的不当限制以及 LLM 执行系统级操作/与其他进程交互是常见的 LLM 沙盒不足漏洞。

一个攻击示例是恶意行为者通过制作指示 LLM 提取和泄露机密信息的提示来利用 LLM 对敏感数据库的访问权限。

预防措施包括：

• 将 LLM 环境与其他关键系统和资源隔离开来。

• 限制 LLM 对敏感资源的访问，并将其能力限制在其预期目的所需的最低限度。

• 定期审核和审查 LLM 的环境和访问控制，以确保保持适当的隔离。

4. 未经授权的代码执行

当攻击者利用 LLM 通过自然语言提示在底层系统上执行恶意代码、命令或操作时，就会发生未经授权的代码执行。常见的漏洞包括未经净化或受限的用户输入，允许攻击者制作触发未授权代码执行的提示，对 LLM 功能的限制不足，以及无意中将系统级功能或接口暴露给 LLM。

攻击者制作提示，指示 LLM 执行在底层系统上启动反向 shell 的命令，授予攻击者未经授权的访问权限，LLM 无意中被允许与系统级 API 交互，攻击者操纵它在系统上执行未经授权的操作。

团队可以通过以下操作帮助防止未经授权的代码执行：

• 实施严格的输入验证和清理流程，以防止 LLM 处理恶意或意外提示。
• 确保适当的沙盒并限制 LLM 的能力以限制其与底层系统交互的能力。

5. 服务器端请求伪造漏洞

当攻击者利用 LLM 执行意外请求或访问受限资源（如内部服务、API 或数据存储）时，会出现服务器端请求伪造 (SSRF) 漏洞。

输入验证不充分，允许攻击者操纵 LLM 提示以发起未经授权的请求和网络或应用程序安全设置中的错误配置，将内部资源暴露给 LLM，这些都是常见的 SSRF 漏洞。

要执行攻击，攻击者可以制作一个提示，指示 LLM 向内部服务发出请求，绕过访问控制并获得对敏感信息的未授权访问。他们还可以利用应用程序安全设置中的错误配置，允许 LLM 与受限 API 交互，访问或修改敏感数据。

预防措施包括：

• 实施严格的输入验证和清理，以防止恶意或意外提示发起未经授权的请求。
• 定期审核和审查网络/应用程序安全设置，以确保内部资源不会无意中暴露给 LLM。

6. 过渡以来LLM生产的内容

过度依赖 LLM 生成的内容会导致误导性或不正确信息的传播，减少决策制定中的人力投入，并减少批判性思维。组织和用户可能会在未经验证的情况下信任 LLM 生成的内容，从而导致错误、误解或意外后果。

与过度依赖 LLM 生成的内容相关的常见问题包括在未经验证的情况下接受 LLM 生成的内容作为事实，假设 LLM 生成的内容没有偏见或错误信息，以及在没有人工输入或监督的情况下依赖 LLM 生成的内容做出关键决策。

例如，如果一家公司依赖 LLM 生成安全报告和分析，而 LLM 生成的报告包含公司用来做出关键安全决策的不正确数据，则可能会因依赖 LLM 生成的不准确内容而产生重大影响。

这边是 LLM 幻觉。如果它返回的是垃圾话，而分析师可以很容易地将其识别出来，他或她可以将其打倒并帮助进一步训练算法。但是，如果幻觉非常可信并且看起来像真实的东西怎么办？换句话说，模型真的可以为误报提供额外的信任吗？

7. AI对齐不足

当 LLM 的目标和行为与预期用例不一致时，就会出现 AI 对齐不足，从而导致不良后果或漏洞。目标定义不当导致 LLM 优先考虑不良/有害行为、奖励函数失准或训练数据产生意外模型行为，以及 LLM 行为的测试和验证不足是常见问题。

如果设计用于协助系统管理任务的 LLM 未对齐，它可能会执行有害命令或优先执行会降低系统性能或安全性的操作。

团队可以通过以下操作防止 AI 对齐不足的漏洞：

• 在设计和开发过程中定义 LLM 的目标和预期行为。

• 确保奖励函数和训练数据与预期结果一致，并且不鼓励不良或有害行为。

• 定期测试和验证 LLM 在各种场景、输入和上下文中的行为，以识别和解决对齐问题。

8. 访问控制不足

当访问控制或身份验证机制未正确实施时，会出现访问控制不足，从而允许未经授权的用户与 LLM 交互并可能利用漏洞。

未能对访问 LLM 执行严格的身份验证要求，基于角色的访问控制 (RBAC) 实现不充分允许用户执行超出其预期权限的操作，以及未能为 LLM 生成的内容和操作提供适当的访问控制都是常见的例子。

一个攻击示例是恶意行为者由于身份验证机制薄弱而获得对 LLM 的未授权访问权限，从而允许他们利用漏洞或操纵系统。预防措施包括：

• 实施强大的身份验证机制，例如多因素身份验证 (MFA)，以确保只有授权用户才能访问 LLM。
• 对 LLM 生成的内容和操作实施适当的访问控制，以防止未经授权的访问或操纵。

9. 错误处理不当

当错误消息或调试信息以可能向威胁参与者泄露敏感信息、系统详细信息或潜在攻击向量的方式公开时，就会发生错误处理不当。

常见的错误处理漏洞包括通过错误消息暴露敏感信息或系统详细信息、泄露可帮助攻击者识别潜在漏洞或攻击向量的调试信息，以及未能妥善处理错误，从而可能导致意外行为或系统崩溃。

例如，攻击者可以利用 LLM 的错误消息来收集敏感信息或系统详细信息，从而使他们能够发起有针对性的攻击或利用已知漏洞。

开发人员可能会不小心将调试信息暴露在生产环境中，从而使攻击者能够识别系统中潜在的攻击向量或漏洞。

这些风险可以通过以下措施减轻：

• 实施适当的错误处理机制以确保错误被捕获、记录和处理。
• 确保错误消息和调试信息不会泄露敏感信息或系统详细信息。考虑为用户使用通用错误消息，同时为开发人员和管理员记录详细的错误信息。

10. 训练数据中毒

训练数据中毒是指攻击者操纵 LLM 的训练数据或微调程序以引入可能损害模型安全性、有效性或道德行为的漏洞、后门或偏差。

常见的训练数据中毒问题包括通过恶意操纵训练数据将后门或漏洞引入 LLM，以及向 LLM 注入偏差，导致其产生有偏差或不适当的响应。

这些措施可以帮助防止这种风险：

• 通过从可信来源获取训练数据并验证其质量来确保训练数据的完整性。
• 实施强大的数据清理和预处理技术，以消除训练数据中的潜在漏洞或偏差。
• 使用监控和警报机制来检测 LLM 中的异常行为或性能问题，这可能表明训练数据中毒。

负责安全使用 LLM 的全球领导、团队、组织

安全领导者团队及其组织有责任确保安全使用使用 LLM 的生成式 AI 聊天界面。安全和法律团队应该合作，为他们的组织找到最佳途径，以在不损害知识产权或安全性的情况下利用这些技术的能力。

由 AI 驱动的聊天机器人需要定期更新以保持有效抵御威胁，而人工监督对于确保 LLM 正常运行至关重要。

LLM 需要上下文理解以提供准确的响应并发现任何安全问题，并且应定期进行测试和评估以识别潜在的弱点或漏洞。

原文始发于微信公众号（网络研究院）：OWASP 列出十个最严重的大型语言模型漏洞