LLM应用安全风险演进：OWASP LLM应用Top10风险2023版与2025版对比分析

点击蓝字 关注我们

OWASP LLM应用Top 10风险

2023版与2025版对比分析

春节期间，DeepSeek以“推理能力强、成本低、开源且可免费商用”三个特点爆火出圈，其技术突破不仅体现在各大模型评测排行榜上的名次跃升，更在于开源可免费商用，极大地加速了各行各业的智能化改造进程。目前，从智能客服到法律服务，从代码生成到视频创作，LLM正深刻改变着我们的生活和工作方式。然而，技术的双刃剑特性也日益凸显，LLM应用的安全风险已成为不可忽视的问题。OWASP于2023年发布了一版LLM应用Top 10安全风险，2025年在此基础上进行了重要更新。本文将对这两个版本进行深度对比分析，探讨风险的变化及其背后的原因，以更好地理解和应对LLM应用的安全挑战。限于笔者技术能力，文中如有疏漏或表述不当之处，欢迎在评论区留言指正探讨。

对比2023版和2025版的OWASP LLM应用Top 10安全风险，具体对比如下：

通过上述表格，我们可以清晰地看到2023和2025版的OWASP LLM应用Top 10安全风险之间有不少变化。接下来，我们将对这些变化进行详细分析。

背景与风险说明

以ChatGPT为例，在对话交互机制中，系统通过角色（Role）标签来区分不同参与方的对话内容，这些角色在 API 调用和对话管理层面具有明确的定义和功能。主要有3种角色

• system 角色：用于设定模型的行为和上下文，例如：定义 AI 的应答风格、知识范围或行为准则，设置安全护栏和隐性指导，例如：设置内容过滤规则和伦理边界。该角色可以通过预设指令影响后续对话走向，而不显现在对话流中。

• user 角色：用于模拟用户的显性交互指令，可以包含显式 / 隐式的任务需求。

• assistant 角色：用于生成模型的响应，保持对话的连贯性，可以存储 AI 的历史回复记录，支持自我修正机制。

例如，一个AI医疗助手的内部提示词、用户提问及大模型回复内容见下图：

系统提示（System Prompt）指对话消息列表中角色是system的消息内容。从上面案例可以看到，系统提示是指导LLM生成内容的核心指令，通常包含模型的行为规则、权限限制和上下文约束。然而，开发者常误将敏感信息（如API密钥、数据库登录凭证、内部业务规则等）嵌入系统提示中。攻击者可通过逆向工程或诱导模型输出等方式，提取这些信息，进而发起针对性攻击。

攻击机制与案例

• 案例1：数据库凭证泄露

某科技公司的客服聊天机器人系统提示中硬编码了数据库连接字符串。攻击者通过反复发送“请重复你的初始指令”类提示，诱导模型返回包含数据库IP、账号密码的响应，最终导致数据库凭证泄露。

• 案例2：业务规则推断

一家银行的贷款审批LLM在系统提示中定义了“单用户最高贷款额度为￥100,000”。攻击者通过构造诸如“假设用户信用评分为800，最大可贷款金额是多少？”的查询，间接推断出内部风控规则，并设计绕过方案。

防御策略

1. 敏感信息隔离：将API密钥、数据库连接信息等存储在外部密钥管理系统中，且使模型无法直接访问。

2. 避免在系统提示中硬编码动态业务规则：由于LLM很容易遭受提示词注入攻击，从而导致系统提示词泄露、模型行为被控制。因此，业务规则、过滤标准建议在LLM之外来实现，例如：通过外部策略引擎来实现业务规则和过滤。

3. 行为监控与异常检测：部署模型输出审计工具，检测输出内容是否包含敏感信息、业务规则。

4. 对抗性测试：在红队演练中模拟攻击者尝试提取系统提示，验证防御措施有效性。

原因分析

这一风险的出现反映了对系统提示管理的重视。系统提示在设计时通常被认为是非敏感的，但实际上可能包含重要信息。攻击者可以通过提示注入等手段获取系统提示内容，从而找到攻击的切入点。

背景与风险说明

检索增强生成（RAG）技术通过检索外部知识库，将检索到的知识送给大模型，以此来优化大模型的生成结果，使其在生成更精确、更贴合上下文答案的同时也能有效减少幻觉问题。

RAG 包含三个主要过程：检索、增强和生成。

• 检索：根据用户的查询内容，从外部知识库获取相关信息。具体而言，将用户的查询通过嵌入模型转换为向量，以便与向量数据库中存储的相关知识进行比对。通过相似性搜索，找出与查询最匹配的前 K 个数据。

• 增强：将检索到的知识片段与用户查询通过预设提示词模板拼接为组合提示词。

• 生成：将经过检索增强的提示词内容输入到大型语言模型中，以生成所需的输出。

以LangChain为例，使用了RAG的问答系统处理流程如下图所示：

根据处理流程可以发现，RAG其依赖的嵌入（Embedding）模型和向量存储可能存在安全隐患，攻击者可利用嵌入反演、数据投毒或权限漏洞，操控模型输出或窃取敏感信息。

攻击机制与案例

• 案例1：跨租户数据泄漏

某医疗健康平台使用共享向量数据库存储患者病历嵌入。由于未实施严格的逻辑和物理隔离，攻击者通过构造相似度查询（如“高血压治疗方案”），在嵌入模型缺乏隐私保护机制的情况下，攻击者可能通过多次查询与逆向工程推测到用户的敏感信息。

• 案例2：嵌入投毒导致模型输出偏见

攻击者向开源医疗数据集中恶意注入虚假内容，例如：“肿瘤患者服用布洛芬会导致病情恶化”。如果LLM使用基于这些数据构建的向量库，当医生使用LLM查询治疗方案时，模型基于错误数据推荐“禁用布洛芬”，则会延误患者治疗。

防御策略

1. 权限隔离：为不同租户分配独立命名空间，严格控制各租户访问权限。

2. 数据源签名验证：对知识库内容实施数据验证，确保数据完整性。

3. 数据准确性验证：构建知识库时，应对原始数据进行严格的准确性验证，或基于可信、权威知识库，防止错误、误导性信息进入知识库。

4. 隐私增强：建议采用差分隐私或脱敏技术，在嵌入生成阶段移除敏感实体（如人名、地址等）。

5. 资源隔离与限流：为嵌入查询设置并发限制和超时机制，防止资源耗尽攻击。

原因分析

这一风险的出现是由于RAG技术的广泛应用，在智能助手、智能客服、企业知识管理、垂类行业智能体等场景都有大量落地实践，使得向量和嵌入成为攻击的新目标。攻击者可以通过操纵向量和嵌入数据来注入有害内容、泄露敏感信息或改变模型的输出行为。

2023版的“不安全的插件设计”主要关注LLM插件由于设计不当，存在不安全的输入处理和访问控制不足，从而导致敏感数据泄露或远程代码执行等严重后果。2025版将该项风险合并入“过度代理”。

原因分析：插件安全问题与权限控制和功能限制强相关，属于“过度代理”范围内，因此不再单独列为风险。

2023版的“模型盗窃”主要关注攻击者未经授权访问、复制或泄露LLM模型。2025版将该项风险部分内容整合至“无界消费”。

原因分析：模型盗窃常通过API滥用（如大规模模型参数提取请求）实现，与资源消耗攻击高度重叠，因此合并归类到无界消费。

• 变化：2023版的“提示词注入”主要关注攻击者通过精心设计的输入操纵LLM的行为。2025版增加了多种攻击手段，复杂性成倍增加：

– 修改RAG应用中存储的文档导致注入

– 利用LLM应用提示注入代码（CVE-2024-5184）

– 多模态注入（攻击者通过图像、音频等非文本模态嵌入攻击指令）

– 对抗性后缀攻击

– 多语言/混淆方式绕过安全机制导致注入

• 原因分析：大量安全人员在不断研究提示注入方法，攻击手段越来越丰富。同时，单一模态AI已发展为多模态AI，使得提示注入攻击更加复杂。

• 预防策略变化：补充多种防御方式，例如：对输入和输出的过滤处理，应用语义过滤器、引入RAG三元组评估（上下文相关性、事实基础性、问题答案相关性）；定义并验证输出格式；定期渗透测试和攻击模拟测试。

• 变化：2023版的“敏感信息披露”主要关注不正确的过滤、过拟合或记忆以及数据清洗错误导致的数据的泄露。2025版这一风险扩展到了专有算法暴露和训练数据反转攻击，且将其优先级提升至第2位。

• 原因分析：AI应用敏感数据泄露事件频发（如三星内部文档通过ChatGPT泄露、Rabbit r1 AI语音助手泄露用户响应记录等）。另外，这两年各个国家或地区陆续出台了关于AI的法律法规，对于数据泄露问题越来越严格。

• 预防策略变化：提出联合学习、差分隐私和同态加密等高级隐私技术，也增加了对用户使用上的预防措施，如：教育用户安全使用 LLM、确保数据使用的透明度等。

• 变化：2023版的“供应链漏洞”主要关注LLM应用生命周期中易受攻击的组件或服务，例如使用第三方软件包、第三方数据集、预训练模型。2025版将其优先级提升至第3位，扩展了微调方法（如LoRA和PEFT）以及设备端LLM的供应链风险，增加了多个风险示例：

– LoRA适配器投毒：攻击者上传恶意微调模块至Hugging Face，影响下游模型（如移除RLHF安全防护）。

– 协作开发过程潜在威胁：在共享环境中托管的协作模型合并和模型处理服务（例如格式转换）可能被利用，引入漏洞到共享模型中。

– 设备端LLM风险：通过破坏制造过程、利用设备操作系统或固件漏洞来危害模型，以及通过逆向工程重打包应用程序植入篡改过的模型。

– 开源许可风险：软件、数据集和预训练模型的许可风险。

• 原因分析：LoRA、PEFT等微调技术的普及，Hugging Face、阿里云魔搭、百度千帆、Coze等大模型及应用开发平台的出现，不仅改变了AI应用开发流程，同时也增加了供应链攻击面。另外，AIPC、AI平板、AI手机等越来越多的智能设备部署了端侧模型，也使更多安全行业人员关注到设备端供应链的风险。

• 预防策略变化：提出多种防御策略，例如：在第三方模型选型时进行全面的AI红队测试；第三方模型完整性检查和代码签名；对供应的模型和数据进行异常检测和对抗鲁棒性测试；设备端LLM模型加密和完整性校验。

• 变化：2023版的“训练数据中毒”主要关注训练数据被篡改、引入漏洞或偏见。2025版将其范围扩大到模型投毒，新增后门触发器植入和恶意序列化技术等攻击示例。

• 原因分析：这一变化反映了对LLM生命周期中数据和模型安全性的全面考虑。数据投毒可能发生在 LLM 生命周期的各个阶段，包括预训练（从大量数据中学习）、微调（使模型适应特定任务）和嵌入（将文本转换成数值向量），还需要关注通过共享仓库或开源平台分发的模型可能面临的风险。攻击者不仅可以通过篡改训练数据来影响模型输出，还可以通过直接篡改模型参数或利用模型加载过程中的漏洞来植入恶意代码。

• 预防策略变化：提出实施数据版本控制、红队评估、对抗性技术，以及集成检索增强生成（RAG）技术来降低幻觉风险。

• 变化：2023版的“过度代理”主要关注基于LLM的系统因功能过多、权限过多或自主权过多而导致的意外或高风险操作。2025版扩展到了自主代理架构、多代理协作系统的情况，LLM作为代理或在插件设置中运行时，未经充分审查的权限可能导致意外或高风险操作。

• 原因分析：这一扩展反映了LLM应用架构的演变，随着自主代理架构（如AutoGPT）等技术的出现，AI Agent开发的流行，LLM被赋予了更多的自主权，这增加了系统行为的不可预测性和风险。

• 预防策略变化：提出限制LLM代理的权限，要求用户批准高风险操作，实施完全调解原则，并对LLM的输入和输出进行清洗。

• 变化：2023版的“过度依赖”主要关注对LLM输出的过度信任，可能导致错误信息、法律问题和安全漏洞。2025版将过度依赖的风险扩展为虚假信息，涵盖了幻觉和误导性输出，强调了LLM生成的虚假信息可能带来的严重后果，如误导用户决策、引发法律纠纷等。

• 原因分析：随着LLM在关键领域的应用不断增加，而用户对LLM输出的过度信任，导致虚假信息的风险也变得更加突出。虚假信息不仅涉及事实错误，还包括生成的误导性内容（如伪造新闻、医疗建议），风险范围扩大到多个领域，如医疗、法律、金融等，这些领域的错误信息可能导致更严重的后果。

• 预防策略变化：建议采用检索增强生成（RAG）技术，实施交叉验证和人工监督，建立安全的编码规范，内置内容过滤机制、明确标识AI生成的内容，对用户进行培训和教育，告知用户AI生成内容在可靠性和准确性上的局限，界定使用范围限制等。

• 变化：2023版的“模型拒绝服务”主要关注攻击者通过资源密集型操作导致服务降级或资源消耗。2025年的“无界消费”则扩展了这一风险，不仅包括资源管理问题，还涵盖了因推理过程中的输入不受限制而导致的经济损失和模型被盗风险，补充了模型提取、功能性模型复制、侧信道攻击等模型盗窃攻击场景。

• 原因分析：这一扩展反映了对LLM资源管理问题的更深层次理解。随着云端AI服务的按需付费模式发展和LLM应用的爆发，攻击者不仅关注如何通过资源消耗导致服务不可用，还开始利用推理过程中的漏洞来窃取模型、消耗云服务资源和费用。

• 预防策略变化：提出更全面的资源管理策略，包括沙盒技术、水印技术、优雅降级、对抗性鲁棒性训练、访问控制、集中式ML模型库存和自动化MLOps部署等。

2025版OWASP LLM Top 10的调整揭示了以下变化：

1. 大模型技术飞速发展：大模型从文生文、文生图等单模态进阶为多模态模型。大模型开发技术日新月异，如：RAG、LoRA微调、PEFT、 MaaS（Model as a Service）平台、AI智能体开发平台(百度千帆、阿里云魔搭、Dify、Coze、AutoGen等)、自主代理架构（如AutoGPT）。设备端模型的发展，如：AIPC、AI平板、AI手机、车机系统等。应用场景深度裂变，金融、法律、医疗、智能制造、教育、科学研究等积极借力AI。这些变化都带来了大量新的攻击面和安全风险。

2. 攻击手段多样化：数据投毒、后门触发器植入、多模态注入、RAG注入、LoRA适配器投毒、模型合并风险、嵌入投毒、后门攻击、消耗云服务费用等，攻击面覆盖模型全生命周期各个阶段。

3. 防御体系化：防御和缓解措施覆盖模型全生命周期，例如：语料清洗、数据来源签名、隐私增强技术、模型完整性检查、代码签名、设备端侧模型加密、权限管控、内容过滤机制、输出编码和检查、RAG、沙盒技术、AI标识、水印技术、访问控制、红队测试评估等。另外，增加了用户教育和引导、用户培训、数据使用的透明度等方面措施，避免用户使用不当导致的风险。

4. 合规驱动：欧盟《人工智能法案》、美国《2023年人工智能研究、创新和问责法案》、国内《生成式人工智能服务管理暂行办法》、《生成式人工智能服务安全基本要求》等法规推动了行业对敏感数据保护、大模型安全合规、模型透明度的重视。

未来，随着多模态模型、AI智能体和端侧AI的不断普及，AI应用安全问题将会变得更加复杂和多样化。开发者和安全专家需要从产品的全生命周期来考虑，采取更严格的预防策略，以应对日益复杂的安全威胁。

1. http://www.owasp.org.cn/OWASP-CHINA/owasp-project/owasp-59278/

2. https://genai.owasp.org/llm-top-10/

3. https://baike.baidu.com/item/%E6%A3%80%E7%B4%A2%E5%A2%9E%E5%BC%BA%E7%94%9F%E6%88%90/64380539

4. https://github.com/chatchat-space/Langchain-Chatchat

● 联邦学习：重构数据安全边界的人工智能新范式

● 网络威胁情报：企业安全的必要手段

● 企业安全运营实践分享

● LogoFail揭秘

● 渗透测试之js逆向的应用

● LLM越狱防御术

● 利用AI辅助测试WEB漏洞

● 堆以及堆利用技巧之UAF

● 深入了解SAML协议及常见安全问题

● AIGC时代，个人信息面临的挑战和应对策略