OWASP AI 代理的十大安全风险（草案）#1

本文分享的是 OWASP 人工智能（AI）代理十大风险 - 候选框架 v1.0，该框架系 OWASP 组织在 AI 安全领域的前瞻性探索，旨在系统性地揭示并应对 AI 代理（Agent）系统所面临的潜在威胁。作为当前版本，该框架为 2025 年的正式发布奠定了基础，其目标是成为业界权威的 AI 代理安全风险评估与缓解指南，为开发者、安全从业者以及组织机构提供专业的实践指导，推动 AI 技术在安全领域的健康发展。

随着人工智能（AI）代理因生成式 AI（GenAI）模型的普及而日益广泛应用，理解并缓解其安全风险变得至关重要。本文旨在：

• 识别并解释 AI 代理系统中最关键的安全风险；

• 为每项识别的风险提供可行的缓解策略；

• 帮助组织实施安全的 AI 代理架构；

• 推广 AI 代理安全领域的最佳实践。

（AI）代理的十大风险：

1. 代理授权与控制劫持 ；

2. 代理不可追溯性 ；

3. 代理关键系统交互 ；

4. 代理目标与指令篡改；

5. 代理幻觉利用 ；

6. 代理影响链与波及范围 ；

7. 代理内存与上下文操纵 ；

8. 代理编排与多代理利用 ；

9. 代理资源与服务耗尽 ；

10. 代理供应链与依赖攻击 。

1.代理授权与控制劫持 (Agent Authorization and Control Hijacking)

1.1描述：

当攻击者操纵或利用人工智能（AI）代理的权限系统时，会导致代理在其预定的授权边界之外运行，这种行为称为代理授权与控制劫持。这可以通过直接操纵代理权限、利用角色继承机制或劫持代理控制系统来实现。该漏洞可能导致未经授权的操作、数据泄露和系统沦陷，同时保持代理行为看似合法的表象。

1.2 细分描述:

• 直接控制劫持：指攻击者获得对 AI 代理决策或执行过程的未经授权的控制权，使他们能够指挥代理执行非预期的操作。

• 权限提升：指的是 AI 代理通过角色继承或系统错误配置，意外或恶意地将其权限提升到预定范围之外。

• 角色继承利用：指的是攻击者利用代理角色分配的动态特性，通过使用临时或继承的权限，在躲避检测的同时执行未经授权的操作。

1.3影响：

成功的代理劫持可能造成严重影响，包括未经授权的数据访问到系统沦陷，考虑到 AI 代理通常具有较高的权限和自主性，其危害尤其危险。

1.4 “代理授权与控制劫持” 漏洞的常见示例：

• 示例一：权限遗留：

• 权限遗留：指 AI 代理在完成任务后，没有及时注销或清除其获得的临时权限，造成权限的持续保留，为攻击者提供了可乘之机。

• 意译：AI 代理为了执行特定任务而临时继承了管理员权限，但在任务完成后未能放弃这些权限，导致攻击者有更多机会利用这些扩展的权限窗口。

• 解读：这类漏洞通常是因为程序设计不严谨，没有正确处理权限释放逻辑。

• 示例二：任务队列操控：

• 意译：恶意攻击者通过操纵代理的任务队列，欺骗代理以执行特权操作，同时伪装成合法操作。

• 解释：* 任务队列：指 AI 代理用于管理和执行任务的队列系统。* 伪装成合法操作：指的是攻击者让恶意操作看起来像是正常的操作，从而逃避检测。

• 解读：这类攻击主要利用了代理的任务调度机制的漏洞，通过插入或修改任务，达到攻击目的。

• 示例三：角色继承利用：

• 意译：攻击者利用代理角色分配的动态特性，通过将多个临时或继承的权限组合起来，从而获得对受限系统或数据的访问权限，同时逃避检测。

• 解释：*  角色分配的动态特性：指的是 AI 代理的角色和权限会根据执行的任务或环境进行动态调整。*  临时或继承的权限：指的是 AI 代理在执行特定任务时临时获得或者继承的权限。*  躲避检测：利用动态分配，使得权限访问更隐蔽。

• 解读：这类攻击利用了复杂的权限管理机制漏洞，攻击者将临时权限叠加，最终获取高权限，从而获取敏感资源。

• 示例四：控制系统沦陷 ：

• 意译：攻击者攻陷代理的控制系统，使其在维持正常操作表象的同时，执行未授权的命令。

• 解释：*  控制系统：指的是用于管理和控制 AI 代理的系统。* 维持正常操作表象：指的是恶意操作看起来像是正常的操作，从而逃避检测。

• 解读：这类攻击通过控制代理的中枢系统，使得攻击者可以远程操纵代理，造成持久化的威胁。

• 示例五：上下文权限提升 ：

• 解释：

• 执行上下文：指的是 AI 代理执行操作时的环境，包括访问的资源、使用的参数等。

• 意译：代理在不同的执行上下文中意外地保留了提升的权限，导致了意料之外的权限提升。

• 意料之外的权限提升：指的是 AI 代理的权限超出了预期或授权。

• 解读：这类攻击利用了程序在上下文切换时，没有正确处理权限状态的漏洞，使得低权限代理在特定情况下获得高权限。

1.5 预防与缓解策略：

针对 AI 代理实施严格的基于角色的访问控制（RBAC）和基于任务的治理：

1. 权限与任务对应: AI 代理的任何访问权限都应与其分配的已记录任务相对应。

2. 最小权限原则：在将任务分配给 AI 代理之前，预先定义执行该任务所需的最小可行权限集。

3. 权限自动配置：一旦将任务分配给 AI 代理，应自动配置相应的权限。

4. 基于角色管理：如果组织拥有成熟的业务角色管理体系并倾向于为代理分配角色，应遵循以下原则：

• 明确角色边界：为每个代理角色定义清晰的权限边界。

• 限时角色分配：实施有时限的角色分配，避免角色权限长期有效。

• 任务完成后自动撤销权限：在任务完成后，强制自动撤销分配给代理的角色权限。

• 定期审计：定期审计代理的权限和角色。

1.6 建立强大的代理活动监控机制：

1. 实时监控：实时监控代理的操作、分配的任务以及权限变更。

2. 异常权限模式检测：自动化检测不寻常的权限使用模式。

3. 权限变更日志：记录所有权限变更、角色和任务分配情况。

4. 定期活动日志审查：定期审查代理活动日志。

1.7 实施控制平面分离：

1. 隔离控制与执行环境：将代理的控制环境与执行环境隔离开来。

2. 区分权限集：为不同的代理功能维护不同的权限集。

3. 敏感操作审批流程：为敏感操作实施审批流程。

4. 明确控制系统边界：在代理控制系统之间建立清晰的边界。

1.8 部署全面的审计跟踪：

1. 追踪所有操作和权限变更：跟踪代理的所有操作和权限变更。

2. 维护不可更改的活动日志：维护代理活动的不变日志，防止日志被篡改。

3. 实施版本控制：为代理配置实施版本控制，方便追溯和回滚。

4. 建立行为画像：基于分配的任务和角色，建立AI代理行为画像，并持续检测异常行为。

5. 建立异常处理流程：当代理因为数据问题或权限不足无法执行任务时，建立异常处理流程。

1.9 强制执行最小权限原则：

1. 授权最小必要权限：为每个任务授予最小必要的权限。

2. 即时访问特权：为提升的特权实施即时访问机制，需要的时候才授权。

3. 定期审查和清理：定期审查和清理不再使用的权限。

4. 自动过期临时权限：使临时权限在指定时间后自动过期失效。

2.0 “代理授权与控制劫持”的攻击场景示例：

场景一：权限窗口延长 ：

攻击者识别出某个 AI 代理因执行系统维护任务而具有临时提升的权限。通过操纵该代理的任务队列，攻击者延长了权限窗口，并利用该代理在看似执行正常维护操作的情况下访问受限系统。

解释：

1. 临时提升的权限：指为了完成特定任务而临时授予 AI 代理的较高权限，例如管理员权限。

2. 任务队列：指 AI 代理用于管理和执行任务的队列系统。

3. 权限窗口：指的是临时权限的有效时间范围。

4. 受限系统：指的是受到访问限制的系统，例如，敏感服务器或数据库

   解读： 此类攻击利用了任务和权限管理机制的缺陷，攻击者通过控制任务流程延长了临时权限的使用时间。

场景二：权限累积 ：

恶意攻击者利用代理的角色继承机制，逐步累积多个系统上的权限。通过将多个看似合法的任务串联起来，攻击者在表面上看起来执行正常代理操作的同时，获得了对敏感数据的未授权访问。

解释：

1. 角色继承机制：指 AI 代理通过继承角色来获取权限的机制。

2. 看似合法的任务：指攻击者利用正常操作来掩盖其真实目的。

   解读: 此类攻击利用了权限继承和分配的逻辑缺陷，攻击者通过巧妙的组合任务，最终累积到高权限，访问受限资源。

场景三：控制系统沦陷：

攻击者在关键基础设施维护任务期间攻陷了代理的控制系统。他们利用该代理的合法访问权限安装后门，同时代理似乎在执行日常维护。

解释：

1. 控制系统：指的是用于管理和控制 AI 代理的系统。

2. 关键基础设施维护任务：指的是涉及到重要基础设施的维护任务。

3. 安装后门：指的是攻击者在系统植入的恶意代码，用于长期控制系统。

解读: 此类攻击通过直接控制代理的管理中枢，使得攻击者可以长期潜伏和操控系统，威胁更大。

场景四：权限缓存利用 ：

一种复杂的攻击利用代理的权限缓存机制，在多个会话中维持提升的访问权限。攻击者利用这种持久化的访问，通过代理合法的通信渠道缓慢地泄露敏感数据。

解释：

1. 权限缓存机制：指的是系统缓存 AI 代理的权限信息，以便快速访问。

2. 持久化的访问：指的是攻击者能够长时间地保持对系统的控制或访问权限。

3. 合法通信渠道： 指的是 AI 代理用于正常通信的途径。

解读: 此类攻击利用了缓存机制的缺陷，攻击者在多次会话中保持高权限，并能够隐藏自己的攻击行为，难以被检测。

场景五：内部威胁 

内部人员通过操纵代理的配置，使其在预期时间之外保留管理员权限。他们利用这些延长的权限执行未经授权的系统变更，同时通过代理的信任状态来逃避检测。

解释：

1. 内部人员威胁：指的是来自组织内部的威胁，例如，员工、合作伙伴、承包商等。

2. 信任状态：指的是因为 AI 代理之前有合法访问权限，使得其后续行为具有迷惑性。

   解读: 此类攻击通常来自于组织内部人员，能够利用权限和信任进行更隐蔽的攻击，危害更大。

期待#2“2.代理不可追溯性 (Agent Untraceability)”

该项目（草案）的成功得益于来自领先组织的专业人士的支持和贡献，这些组织包括：

• Cisco Systems
• GSK
• Palo Alto Networks
• Precize
• Lakera
• EY
• Google
• Distributedappps.ai
• Humana
• GlobalPayments
• TIAA
• Meta
• DigitalTurbine
• HealthEquity
• Jacobs
• SAP

如果您觉得文章对您有所帮助，请您点赞+关注！

欢迎您加群讨论：安全技术交流、威胁情报分享讨论群！

原文始发于微信公众号（再说安全）：OWASP AI 代理的十大安全风险（草案）#1