【论文速读】| AutoRedTeamer：具有终身攻击集成功能的自主红队

原文标题：AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration

原文作者：Andy Zhou, Kevin Wu, Francesco Pinto, Zhaorun Chen, Yi Zeng, Yu Yang, Shuang Yang, Sanmi Koyejo, James Zou, Bo Li

作者单位：University of Illinois Urbana-Champaign, Stanford University, University of Chicago, Virtue AI, Meta AI

关键词：自动化红队、多代理架构、持续学习、大语言模型攻击、安全评估

原文链接：https://arxiv.org/abs/2503.15754

开源代码：暂无

论文简介：本文提出了一种全新的自动化红队框架——AutoRedTeamer，它结合了多智能体架构和记忆引导的攻击选择机制，实现了对大语言模型（LLMs）的持续攻击能力。AutoRedTeamer不仅能在已有攻击向量的基础上进行评估，更能从最新研究中自动发现并集成新的攻击方式。实验证明，该框架在攻击成功率上优于现有方法，同时显著降低了计算开销，为AI系统提供了一个可扩展、可持续演进的安全评估方案。

研究目的：传统的大语言模型红队方法依赖大量人工测试，难以覆盖快速涌现的新型攻击手段，评估的全面性和时效性受到严重限制。本文旨在解决这一问题，提出一种可以自动发现新攻击向量、并持续集成至测试流程中的红队框架。研究目标包括提升攻击成功率、扩大攻击覆盖面、降低评估成本，并实现端到端的风险评估自动化。

研究贡献：

• 提出一个由策略提议代理与红队代理协同工作的多智能体架构，能够从高层次风险类别或具体测试提示出发，自动化地完成红队流程；

• 设计了具备记忆功能的攻击选择机制，能够持续学习不同攻击组合的效果，并优化策略；

• 实验表明，AutoRedTeamer在HarmBench上对Llama-3.1-70B的攻击成功率提升20%，同时将计算成本降低46%；

• AutoRedTeamer生成的测试用例在多达314个风险类别中展现出与人工基准同等多样性的能力，并支持持续更新，满足监管合规的需求。

随着大语言模型能力的不断增强，其潜在的安全威胁日益受到关注。例如，这些模型可能生成有害信息、散布虚假消息，甚至被滥用于网络攻击。因此，构建系统性、自动化的安全评估机制变得尤为重要。传统红队方式往往基于人工设计的测试案例，不仅成本高昂，还难以与新兴的攻击方式保持同步，且对攻击空间的覆盖不充分。

为解决这些难题，AutoRedTeamer应运而生。它的创新之处在于采用双智能体架构：策略提议代理负责持续从最新研究中发现新的攻击方式，并进行实现与验证；红队代理则根据风险类型或输入提示，自动生成测试用例并执行攻击评估。此外，该系统还包含一个记忆模块，可记录攻击组合的历史表现，从而逐步形成最佳策略。

不同于以往只关注单一攻击方式的自动化方案，AutoRedTeamer以组合优化为核心，追求最大化覆盖风险类别和提升攻击有效性的双重目标。它不仅可用于评估既定测试用例的鲁棒性，也能从“仇恨言论”、“自残引导”等高层级风险范畴中自动生成丰富、多样的测试场景。通过此方式，AutoRedTeamer真正实现了“红队自动化 + 持续进化”的理想形态。

红队测试作为评估大语言模型安全性的关键手段，近年来受到广泛关注。传统方法依赖人工专家构造攻击提示词，代表性工作如OpenAI和Anthropic在模型部署前所做的红队实验，虽然效果显著，但难以扩展，成本高、更新慢。为此，研究者陆续提出自动化方案，如PAIR使用LLM进行迭代优化提示词，AutoDAN-Turbo探索自动策略组合，但大多局限于固定攻击方式，难以集成新策略。

此外，像Rainbow Teaming、Ali-Agent等基于代理系统的尝试，也主要关注prompt优化，缺乏对攻击策略多样性和组合效果的记忆机制。AIR-Bench等静态基准虽覆盖面广，却无法适应快速演变的攻击向量。相比之下，AutoRedTeamer不仅整合多种攻击工具，还具备持续集成能力和攻击记忆库，首次实现了“从高层风险类别到攻击执行”的全自动流程，弥补了当前自动化红队技术在扩展性、适应性和系统性上的不足。

AutoRedTeamer 是一个具备持续进化能力的自动化红队框架，核心由两个智能体组成：策略提议代理与红队攻击代理。策略提议代理负责从最新研究中主动挖掘、筛选并实现新型攻击方式，持续扩展攻击工具库；红队攻击代理则根据用户输入的高层次风险类别或具体攻击场景，自动生成测试用例，并执行攻击流程。

AutoRedTeamer 的独特之处在于它的“记忆引导机制”——一个用于记录、分析并优化历史攻击效果的模块。通过跟踪每种攻击组合的成功率和代价，它能不断调整策略，优先选择效果最优的攻击路径。这种设计不仅提升了攻击成功率，还显著降低了冗余计算。

整个系统流程涵盖风险识别、种子生成、攻击组合、执行与评估等多个步骤，每个环节都由专属模块完成，彼此协同。相比其他红队工具只关注某一个阶段，AutoRedTeamer 实现了从策略发现到测试评估的端到端自动化，能够适应多变的威胁环境。更重要的是，它支持从抽象风险类型直接生成多样化测试案例，模拟真实世界中更复杂、更隐蔽的攻击行为，是当前最具适应性与扩展性的红队框架之一。

本文在两个关键场景中对 AutoRedTeamer 进行了系统评估，验证其在不同应用模式下的表现：一是基于已知攻击提示的漏洞攻击效果评估，二是从高层次风险类别自动生成测试用例，开展全面安全评估。

在第一个实验中，作者选取了 HarmBench 数据集中240条种子提示，涵盖常见的违规行为与上下文诱导，目标是在不更改原始语义的前提下最大化攻击成功率（ASR）。实验对象包括 GPT-4o、Llama-3.1-70B、Mixtral-8x7B 和 Claude-3.5-Sonnet 四种主流大语言模型。结果表明，AutoRedTeamer 在所有模型上均优于现有基线方法，尤其在 Llama-3.1 上的 ASR 达到 0.82，相较 PAIR 提升了22%。在 Claude-3.5 上，即使是面对已具较强防御能力的模型，AutoRedTeamer 依然取得了 0.28 的ASR，而其他方法几乎为零。

第二个实验则使用 AIR 安全风险分类体系中全部314个四级风险类别作为输入，由 AutoRedTeamer 自动生成测试用例，再进行攻击执行与评估。与人类手工设计的 AIR-Bench 相比，AutoRedTeamer 在43个三级风险类别上平均提升了ASR，生成用例更具多样性与语义覆盖广度。通过嵌入空间可视化，作者进一步验证该系统生成的测试用例在语义维度上更接近人工提示，优于传统算法如 PAIR。

此外，为验证系统中“攻击策略提议代理”的独立贡献，作者对比了三种初始化设置：仅用人类定义攻击、仅用代理自动生成攻击、两者结合。结果表明，全功能模式下 AutoRedTeamer 的 ASR 达到 0.82，而仅使用人类攻击或代理攻击分别为 0.75 和 0.78，显示该系统在策略挖掘上的主动性与实用性。

AutoRedTeamer实现了红队自动化的一次质的飞跃。它不仅能够显著提升攻击成功率，还能不断扩展攻击维度，应对未来语言模型面临的复杂安全挑战。该框架通过“代理 + 记忆 + 动态优化”的三位一体机制，为AI安全评估领域带来了新的可能性。