写在前面:大模型因自身技术原因存在提示词攻击、指令注入等各种安全风险,对于甲方企业来说,无论是开源大模型还是商用大模型,很多都是拿来即用,不再进行训练微调,因此,AI防火墙这种大模型外生安全技术成了企...
MCP:大模型时代的USB接口
Agent 现状及架构当前的 AI Agent,无论是和各种 Tools(各类业务服务接口)交互,还是和各类 Memory(各类存储服务接口)交互,亦或是和各类 LLMs(各类大语言模型)交互,都是通...
TensorRT-LLM高危漏洞可导致攻击者远程执行代码
关键词漏洞NVIDIA 在其 TensorRT-LLM 框架中披露并修补了一个高严重性漏洞,该漏洞可能允许具有本地访问权限的攻击者执行恶意代码、篡改数据并可能破坏 AI 系统。该漏洞被跟踪为 CVE-...
大模型提示词注入防护与安全评估(含代码)
写在前面:本文主要聚焦两部分内容,其一是通过代码实践来研究和验证基于llamafirewall在提示词注入防护的能力,通过学习此部分可以理解大模型自身防护中最关键的部分-提示词注入的防护方法;其二是了...
vLLM 的 Mooncake 存在严重 RCE 漏洞(10)
CVE-2025-29783 CVE-2025-32444 vLLM vulnerability在 vLLM 中发现了一个关键的安全漏洞,vLLM 是一个流行的开源库,用于高性能推理和大型语言模型(L...
主流AI系统或存在越狱、代码及数据安全漏洞
最新研究发现,多款生成式人工智能(GenAI)服务存在两类可诱导其生成非法或危险内容的越狱攻击漏洞。其中代号为"Inception"的攻击技术,通过指令让AI工具虚构场景,进而在无安全限制的子场景中实...
MCP的四种攻击方法:MCE,RAC,CT,RADE
前边我们介绍了关于MCP的TPA相关漏洞,近日,有论文又介绍了四个MCP相关攻击方法,这些攻击允许入侵用户系统。攻击背景如上图,是一个比较典型的MCP的系统,用户使用MCP Client,通过MCP协...
LLM大模型安全测试
声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,作者不为此承担任何责任。关注公众号,设置为星标,不定期有宠粉福利Pa...
AI大语言模型攻击
Web LLM攻击为了提升在线客户体验,各大机构纷纷集成大型语言模型 (LLM)。然而,这也使其面临 Web LLM 攻击的风险,这些攻击利用了模型对攻击者无法直接访问的数据、API 或用户信息的访问...
不要停,继续说下去!——针对大语言模型的推理成本攻击:Engorgio
随着 ChatGPT 等大语言模型(LLMs)在各类任务中大放异彩,越来越多的场景开始依赖它们来提供服务。然而,由于 LLM 在推理阶段对算力的需求极为显著,一个潜在但被忽视的安全威胁也悄然浮现:恶意...
OWASP发布生成式AI安全治理清单
随着OpenAI、Anthropic、Google和微软等公司的生成式AI及大语言模型(LLM)用户量呈指数级增长,企业IT安全决策者正努力跟上AI技术的快速发展步伐。非营利组织OWASP最新发布的《...
云上LLM数据泄露风险研究系列(二):基于LLMOps平台的攻击面分析
一. 引言在上一篇系列文章《云上LLM数据泄露风险研究系列(一):基于向量数据库的攻击面分析》中,笔者对几款业内常用的向量数据库的暴露面、数据泄露风险进行了介绍,最后给出了一些针对向量数据库数据泄露...
44