大模型10大网络安全威胁及防范策略
OWASP 大语言模型人工智能应用Top 10安全威胁(2025)
LLM01:2025 提示词注入（2025 Prompt Injection）
LLM02:2025 敏感信息披露（2025 Sensitive Information Disclosure）
LLM03:2025 供应链（2025 Supply Chain）
LLM04: 2025 数据和模型投毒（2025 Data and Model Poisoning）
LLM05:2025 不当输出处理 （2025 Improper Output Handling）
LLM06:2025 过度授权（2025 Excessive Agency）
LLM07:2025 系统提示泄露（2025 System Prompt Leakage）
LLM08:2025 向量和嵌入漏洞（2025 Vector and Embedding Weaknesses）
LLM09:2025 信息误导（2025 Misinformation）
LLM10:2025 无限资源消耗 （2025 Unbounded Consumption）
OWASP Top 10 LLM-2025安全威胁与防范策略
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
通过Top 10安全威胁在应用数据流过程中的位置进行安全措施建设
以下简单看一下可以实现的能力：
输入防护措施（Input rails）：应用于用户输入的内容；输入防护措施可以拒绝输入（停止任何进一步的处理）或改变输入（例如，掩盖可能敏感的数据，或者重新措辞）。
对话防护措施（Dialog rails）：影响对话的发展以及如何提示大型语言模型（LLM）；对话防护措施作用于规范化形式的消息，并决定是否应该执行某个动作，是否应该调用LLM来生成下一步或响应，或者是否应该使用预定义的响应。
检索防护措施（Retrieval rails）：在检索增强生成（RAG）场景中应用于检索到的内容块；检索防护措施可以拒绝某个内容块，防止其被用来提示LLM，或者改变相关的内容块（例如，掩盖可能敏感的数据）。
执行防护措施（Execution rails）：应用于需要调用的自定义动作（即工具）的输入/输出。
输出防护措施（Output rails）：应用于LLM生成的输出；输出防护措施可以拒绝输出，防止其被返回给用户或改变它（例如，删除敏感数据）。
对此除了建设之外，还有一些开源的安全评估工具，比如Garak，Garak，全称 Generative AI Red-teaming & Assessment Kit，是一种由 NVIDIA 开发的开源工具，专注于扫描 LLM 的漏洞。
OWASP LLM Top 10对比（2023版和2025版）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
对比发布的2025版和2023版的 LLM Top 10安全威胁，对于Top 10威胁程度的变化和新增安全威胁，比如：LLM01:提示词注入风险依然是Top 1的最大威胁，敏感信息泄露由2023版的top 6升到2025版的Top2等。同时也新增几项安全风险，比如系统提示泄露、向量和嵌入漏洞及无限资源消耗等安全威胁，随着人工智能的发展，安全威胁也在不断的变化，我们需要不断了解新的技术方向，最大程度的降低安全威胁的影响
报告节选
01
漏洞技术细节分析
02
网络安全格局面临重构
"这引发了一个严峻问题：AI能以多快速度协助漏洞研究，甚至自动化整个流程。几年前，这个过程需要专业的Erlang知识和数小时手动调试。如今，只需一下午的正确提示就能完成。"Keeley指出。
安全专家对此既兴奋又担忧。虽然AI使安全研究更易获得，但也可能降低恶意分子开发攻击程序的门槛。漏洞披露仅一天后，就有多名研究人员开发出有效攻击程序，其中Platform Security已在GitHub发布其AI辅助的PoC。
受影响Erlang/OTP版本（OTP-27.3.2及更早版本、OTP-26.2.5.10及更早版本、OTP-25.3.2.19及更早版本）已在新版本中修复。使用Erlang/OTP SSH服务器的组织应立即升级至修复版本：OTP-27.3.3、OTP-26.2.5.11或OTP-25.3.2.20。
该案例凸显AI正在重塑网络安全格局。随着这些工具日益成熟，漏洞披露与攻击程序开发的时间窗口持续缩小，迫使组织必须加快补丁实施速度。
声明：除发布的文章无法追溯到作者并获得授权外，我们均会注明作者和文章来源。如涉及版权问题请及时联系我们，我们会在第一时间删改，谢谢！文章来源：FreeBuf
原文始发于微信公众号（e安在线）：大模型10大网络安全威胁及防范策略 | ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论