OWASP AI 代理的十大安全风险（草案）#2

本文分享的是 OWASP 人工智能（AI）代理十大风险 - 候选框架 v1.0，该框架系 OWASP 组织在 AI 安全领域的前瞻性探索，旨在系统性地揭示并应对 AI 代理（Agent）系统所面临的潜在威胁。作为当前版本，该框架为 2025 年的正式发布奠定了基础，其目标是成为业界权威的 AI 代理安全风险评估与缓解指南，为开发者、安全从业者以及组织机构提供专业的实践指导，推动 AI 技术在安全领域的健康发展。

随着人工智能（AI）代理因生成式 AI（GenAI）模型的普及而日益广泛应用，理解并缓解其安全风险变得至关重要。本文旨在：

• 识别并解释 AI 代理系统中最关键的安全风险；

• 为每项识别的风险提供可行的缓解策略；

• 帮助组织实施安全的 AI 代理架构；

• 推广 AI 代理安全领域的最佳实践。

（AI）代理的十大风险：

1. 代理授权与控制劫持 ；

2. 代理关键系统交互；

3. 代理目标和指令操作；

4. 代理幻觉利用 ；

5. 代理影响链与波及范围 ；

6. 代理内存与上下文操纵 ；

7. 代理编排与多代理利用 ；

8. 代理资源与服务耗尽 ；

9. 代理供应链与依赖攻击 ；

10. 代理只是库中毒。

   2.代理关键系统交互 ；(Agent Critical System Interaction)

1.1 描述：

当人工智能（AI）代理与关键基础设施、物联网（IoT）设备或敏感的运营系统进行交互时，就会出现“代理关键系统交互”漏洞。此类漏洞尤其危险，因为它可能导致物理后果、运营中断和安全事故。AI 代理的自主性以及对关键系统的访问权限相结合，会产生独特的风险，可能同时影响数字基础设施和物理基础设施。

1.2 细分描述:

• 物理系统操纵：指攻击者利用代理对物理基础设施或工业系统的控制权，导致运营中断或安全事故。

• 物联网设备沦陷：指攻击者操纵代理与联网设备的交互方式，可能导致设备故障或未经授权的控制。

• 关键基础设施访问：指的是未经授权或恶意地利用代理的权限来访问和控制关键系统。

1.3 影响：

1.4 “代理关键系统交互” 漏洞的常见示例：

• 示例一：工业控制系统操纵 

• 意译：攻击者操纵控制工业控制系统的 AI 代理，导致设备损坏。

• 解释：指攻击者利用 AI 代理控制工业设备，如生产线机器人、能源控制系统等，从而造成设备故障或者损坏。

• 示例二：智能建筑系统沦陷

• 意译：恶意利用代理对智能建筑系统的访问权限，危及物理安全。

• 解释：指攻击者利用 AI 代理控制智能建筑的门禁系统、监控系统、安防系统等，从而入侵建筑物。

• 示例三：物联网设备沦陷

• 意译：用于控制物联网设备的代理被攻陷，造成安全漏洞。

• 解释：指攻击者利用 AI 代理控制物联网设备，如摄像头、传感器等，进行恶意操作。

• 示例四：关键基础设施访问

• 意译：攻击者通过沦陷的代理凭据访问关键基础设施系统。

• 解释：指攻击者利用被攻陷的 AI 代理所拥有的凭据，访问电力系统、供水系统、交通系统等关键基础设施。

• 示例五：安全系统绕过 

• 意译：通过操纵代理命令绕过安全系统。

• 解释：指攻击者通过修改 AI 代理的安全监控功能，使其忽略或者错误报告安全警告。

1.5 实施严格的访问控制：

1. 系统隔离 ：将不同的系统或网络隔离开，减少横向移动攻击的风险；

2. 访问隔离 ：限制用户和代理访问不同资源或功能的权限；

3. 权限管理：实施严格的权限管理机制，控制用户的访问权限；

4. 命令验证 ：对 AI 代理执行的命令进行验证，确保命令合法；

5. 物理安全控制: 对物理环境采取安全控制，防止非授权的物理入侵。

1.6 建立运营安全防护措施：

1. 安全联锁：使用物理或逻辑联锁机制，防止操作人员的误操作；

2. 命令验证：在执行敏感操作前，需要经过授权和验证；

3. 运营限制：限制 AI 代理的操作范围和行为；

4. 紧急关闭程序 : 建立快速有效的紧急关闭程序，用于应对突发事件；

5. 冗余系统：使用冗余系统，保证在部分系统故障时，其他系统能够继续运行。

1.7 部署监控系统：

1. 实时监控：实时监控 AI 代理的活动；

2. 异常检测：检测 AI 代理的不正常行为；

3. 命令日志: 记录AI代理执行的所有命令；

4. 物理系统监控：监控物理系统的运行状态，例如温度，压力，电压等；

5. 安全警报：在检测到异常情况时，及时发出警报。

1.8 创建安全机制：

1. 故障安全默认: 在系统发生故障时，使用安全默认配置，降低安全风险；

2. 安全边界：限定 AI 代理的操作范围，避免越权操作；

3. 紧急控制：设置紧急控制措施，用于在紧急情况下暂停或终止 AI 代理的运行；

4. 覆盖系统: 设置备用的控制系统，在主系统失效时，可以切换到备用系统；

5. 备份程序：建立系统和数据的备份程序，以便在发生故障时能够快速恢复。

1.9  实施验证系统：

1. 命令验证: 对代理的执行命令进行验证，确保其合法性和符合预期；

2. 行动验证: 验证代理执行的操作是否符合预期和安全策略；

3. 系统检查: 定期进行系统检查，确保系统的运行正常和安全；

4. 安全合规: 确保所有的系统操作都符合安全规范；

5. 定期审计：对系统的安全配置和运行情况进行定期审计。

2.0 “代理关键系统交互””的攻击场景示例：

场景一：工业设备操纵 ：

意译：攻击者攻陷了控制工业设备的 AI 代理，并通过操纵其操作参数来使其超出安全运行范围，同时绕过标准的控制机制。

解读：指攻击者控制AI代理，使其进行非正常的操作，造成设备损坏或故障

场景二：智能建筑系统未授权访问 :

意译：对管理智能建筑系统的 AI 代理进行的一次复杂的攻击，通过操纵访问控制系统，允许未经授权访问安全区域。

解读：指攻击者通过操纵AI代理，控制门禁系统、安防系统，进而入侵建筑物。

场景三：物联网设备漏洞：

意译：攻击者利用代理的物联网设备控制能力，禁用安全系统，并制造物理安全漏洞。

解读：指攻击者利用被沦陷的 AI 代理控制物联网设备，从而破坏安全系统或进行其他恶意活动。

场景四：关键基础设施渗透：

意译：攻击者攻陷了一个具有关键基础设施访问权限的 AI 代理，并利用其合法的权限逐步引入系统性漏洞。

解读：指攻击者利用被攻陷的 AI 代理所拥有的权限，在关键基础设施内部逐步扩展控制范围，植入后门等恶意程序。

场景五：安全监控系统失效 :

意译：攻击者操纵了代理的安全监控功能，导致它忽略或错误报告工业过程中的关键安全违规行为。

解读：指攻击者使得AI代理的安全监控机制失效，从而隐藏了攻击者的恶意行为。

期待#3“3.代理目标和指令操作 (Agent Untraceability)”

该项目（草案）的成功得益于来自领先组织的专业人士的支持和贡献，这些组织包括：

• Cisco Systems
• GSK
• Palo Alto Networks
• Precize
• Lakera
• EY
• Google
• Distributedappps.ai
• Humana
• GlobalPayments
• TIAA
• Meta
• DigitalTurbine
• HealthEquity
• Jacobs
• SAP

如果您觉得文章对您有所帮助，请您点赞+关注！

欢迎您加群讨论：安全技术交流、威胁情报分享讨论群！

原文始发于微信公众号（再说安全）：OWASP AI 代理的十大安全风险（草案）#2