不要停，继续说下去！——针对大语言模型的推理成本攻击：Engorgio

当前主流的大语言模型大多采用自回归架构，即一个接一个逐token生成文本。虽然该机制赋予了模型强大的生成能力，但也带来了极高的推理成本。每生成一个 token 都需进行一次模型前向计算，且随着已生成 token 数量的增加，由于注意力机制的特性，单步推理成本也会逐渐上升。在实际部署中，尤其是资源受限的终端设备或中小企业服务器上，推理效率往往成为关键瓶颈。

更值得注意的是，LLM 的上下文窗口正在迅速扩展，从最初的 2K token 到如今的 128K，未来甚至可能突破百万级。这意味着推理成本的挑战将愈加严峻。

从安全角度出发，我们提出一个新的问题：在正常交互中，LLM 通常会生成适度长度的响应。但如果攻击者故意引导模型生成超长回复，会不会拖慢系统性能、影响整体服务？我们的研究表明，答案是肯定的，且攻击效果极其显著。

图1 正常样本和Engorgio prompts导致的模型回复分布

这项研究聚焦“推理成本攻击”（Inference Cost Attack），提出了一种基于优化的对抗样本构造方法——Engorgio。其核心目标是：构造能诱导模型持续生成文本的特殊提示，从而大幅度增加单次请求的推理时间与计算资源消耗，影响服务可用性。

研究设定在白盒场景下，即攻击者可访问模型结构、参数及预测分布等内部信息。在开源模型广泛部署的背景下，白盒假设具有现实基础。此外，资源受限的服务提供者他们可能无法承受训练成本而更倾向于使用开源模型。这样部署开源模型向用户提供LLM服务的模式在HuggingChat、Chatbot Arena以及Huggingface Spaces上十分常见。

Engorgio分为两个阶段：生成阶段（Generation Stage）和测试阶段（Testing Stage）。

图2 构造Engorgio prompts的完整流程，包括生成阶段和测试阶段

图3 将Proxy distribution转换为LLM输入的示意图

我们在 13 个主流开源模型上进行了系统测试，涵盖 125M 至 30B 参数规模。使用 Avg-len（平均输出长度） 与 Avg-rate（达到最大输出长度的比例） 两项指标，结果显示 Engorgio Prompt 可将生成长度稳定提升为正常提示词的 2 至 13 倍。

图4 测试Engorgio prompts和基线输入在LLM上的效果

该研究系统性地提出了专门针对大语言模型推理成本的对抗攻击方法，并提出了简单却有效的技术方案，填补了当前 LLM 安全研究领域中“推理效率攻击”的空白：相比传统关注“模型输出内容”的攻击（如越狱、指令注入等），Engorgio 提出了一个全新的攻击视角：通过诱导模型“喋喋不休”，从而显著提升单次请求消耗的计算资源，拖垮服务能力。

早期我们思考这个安全问题时，模型的上下文长度普遍只有1-2K，但如今谷歌的Gemini-2.5-pro和GPT-4.1等新模型已经支持百万级别的超长上下文。与此同时，用户对LLM推理服务的依赖日益增强，例如OpenRouter平台单日就可消耗数万亿tokens，推理消耗的资源远超训练——在这种发展趋势下，今天LLM推理的能耗开销已经是一个天文数字且依旧呈现非线性增长。在这一背景下，通过构造特殊提示词诱导模型生成冗长回复，将有可能成为新型DDoS LLM推理服务的攻击手段，也有可能给能耗开销造成巨额的浪费。从安全测试视角来看，服务提供者也可反过来利用 Engorgio prompts进行压力测试，以验证系统是否具备应对极端请求情况的能力。

当AI服务走向大规模部署时，我们不仅要构建“聪明”的模型，更要建立“节能、安全”的推理生态。令人欣喜的是，在我们的工作之后，越来越多团队关注推理成本问题。例如，研究者发现此类攻击在 DeepSeek-R1 等推理优化模型中更为显著（参考：https://github.com/PKU-YuanGroup/Reasoning-Attack）。

在未来的工作中，我们将进一步聚焦于更复杂的 LLM 推理系统，提升当前样本构造方法的通用性和鲁棒性。此外，我们还计划针对推理成本攻击设计有效的防御机制，并探索新的训练策略，以增强模型对推理成本的敏感程度。