此文章原创作者为源鲁安全实验室,转载请注明出处!此文章中所涉及的技术、思路和工具仅供网络安全学习为目的,不得以盈利为目的或非法利用,否则后果自行承担!01引言 随着大规模语言模型(LLM)在各行...
LlamaFirewall:开源框架助力检测与缓解AI核心安全风险
LlamaFirewall 是一款面向大语言模型(LLM)应用的系统级安全框架,采用模块化设计支持分层自适应防御。该框架旨在缓解各类AI代理安全风险,包括越狱攻击(jailbreaking)、间接提示...
云上LLM数据泄露风险研究系列(三):开源大模型应用的攻击面分析
一. 概述本系列前两篇文章深入探讨了向量数据库和LLMOps在全球的暴露面及攻击面,本文作为第三篇,将重点关注当前主流大模型应用的安全风险。如今,大模型上云趋势明显,大多数大模型应用都可通过Docke...
危险的创新:匆忙上马AI项目带来八大安全隐患
一开始就强调安全基础可以降低AI风险。然而,近三分之二的公司在部署AI工具前未能评估其安全隐患。危险的速度竞赛人工智能(AI)和大语言模型(LLM)正在重塑各行各业,提高效率,并开启新的商业机会,AI...
研究分享 | 大模型欺骗能力评测基准集 OpenDeception
研究背景随着大型语言模型(LLM)能力的提高和智能体(agent)的广泛应用,重大红线风险之一的欺骗性风险逐渐成为一个关键的安全问题。欺骗性风险可以简单理解为,LLM在完成目标的过程中表现出欺骗性,例...
Dify 组合漏洞获取LLM KEY
项目地址:https://github.com/langgenius/dify1、前言:目前该漏洞大部分已经修复了,该文只用于学习,请勿用于非法。以下测试均为本地环境试验。最近正巧使用Nas+dif...
最强防护也难防大语言模型被欺骗
诺丁汉大学副教授Michael Pound在接受采访时指出,多数安全专业人员对LLM(大语言模型)的底层机器学习原理并不熟悉。虽然这在过去的技术中问题不大,但LLM表面强大的能力容易让人误以为它们不会...
MCP安全-《MCP暗战三部曲》2:MCP安全吗?
hello,大家好,这里是“恒脑与AI”——AI知识快充,不定期邀请安全研究团队科普安全知识,及时了解最新的AI技术模式。本期作品——《MCP暗战三部曲》,来自研究团队X-Lab,跟随他们,领略一下当...
模型上下文协议(MCP)的原理与安全挑战
模型上下文协议(MCP)的原理与安全挑战随着大型语言模型(LLM)在各行业的广泛应用,如何高效、安全地将LLM与外部数据源和工具集成成为了关键问题。为此,Anthropic于2024年11月推出了模型...
Palo Alto5亿美元收购的Portect AI都有什么产品和技术?
2025.4.25,Palo Alto Networks 宣布收购 Protect AI,此次收购将帮助客户发现、管理和防范特定于人工智能的安全风险,从开发到运行提供端到端的人工智能安全保障,从而实现...
【DeepSeek实践】Mcp+DeepSeek的Demo编写体验
网安引领时代,弥天点亮未来 0x00前言描述MCP协议(Model Context Protocol) 是由Anthropic推出的开源协议,旨在为大型语言模型(LLM)提供标准化、安全的双向数据交互...
提示词注入攻击的检测和数据集介绍
提示词注入攻击介绍提示词注入是一种攻击技术,攻击者通过精心设计的输入来操纵AI系统,使其偏离原定行为或绕过设定的安全措施。这类似于软件开发中的SQL注入攻击,但针对的是AI系统的提示词处理机制。OWA...
48