OWASP 大语言模型人工智能应用Top 10安全威胁(2025) LLM01:2025 提示词注入（2025 Prompt Injection） LLM02:2025 敏感信息披露（2025 Sensitive Information Disclosure） LLM03:2025 供应链（2025 Supply Chain） LLM04: 2025 数据和模型投毒（2025 Data and Model Poisoning） LLM05:2025 不当输出处理 （2025 Improper Output Handling） LLM06:2025 过度授权（2025 Excessive Agency） LLM07:2025 系统提示泄露（2025 System Prompt Leakage） LLM08:2025 向量和嵌入漏洞（2025 Vector and Embedding Weaknesses） LLM09:2025 信息误导（2025 Misinformation） LLM10:2025 无限资源消耗 （2025 Unbounded Consumption）
OWASP Top 10 LLM-2025安全威胁与防范策略 通过Top 10安全威胁在应用数据流过程中的位置进行安全措施建设 以下简单看一下可以实现的能力： 输入防护措施（Input rails）：应用于用户输入的内容；输入防护措施可以拒绝输入（停止任何进一步的处理）或改变输入（例如，掩盖可能敏感的数据，或者重新措辞）。 对话防护措施（Dialog rails）：影响对话的发展以及如何提示大型语言模型（LLM）；对话防护措施作用于规范化形式的消息，并决定是否应该执行某个动作，是否应该调用LLM来生成下一步或响应，或者是否应该使用预定义的响应。 检索防护措施（Retrieval rails）：在检索增强生成（RAG）场景中应用于检索到的内容块；检索防护措施可以拒绝某个内容块，防止其被用来提示LLM，或者改变相关的内容块（例如，掩盖可能敏感的数据）。 执行防护措施（Execution rails）：应用于需要调用的自定义动作（即工具）的输入/输出。 输出防护措施（Output rails）：应用于LLM生成的输出；输出防护措施可以拒绝输出，防止其被返回给用户或改变它（例如，删除敏感数据）。 对此除了建设之外，还有一些开源的安全评估工具，比如Garak，Garak，全称 Generative AI Red-teaming & Assessment Kit，是一种由 NVIDIA 开发的开源工具，专注于扫描 LLM 的漏洞。 OWASP LLM Top 10对比（2023版和2025版）
对比发布的2025版和2023版的 LLM Top 10安全威胁，对于Top 10威胁程度的变化和新增安全威胁，比如：LLM01:提示词注入风险依然是Top 1的最大威胁，敏感信息泄露由2023版的top 6升到2025版的Top2等。同时也新增几项安全风险，比如系统提示泄露、向量和嵌入漏洞及无限资源消耗等安全威胁，随着人工智能的发展，安全威胁也在不断的变化，我们需要不断了解新的技术方向，最大程度的降低安全威胁的影响 报告节选
https://docs.nvidia.com/nemo/guardrails/
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论