研究背景随着大型语言模型(LLM)能力的提高和智能体(agent)的广泛应用,重大红线风险之一的欺骗性风险逐渐成为一个关键的安全问题。欺骗性风险可以简单理解为,LLM在完成目标的过程中表现出欺骗性,例...
Dify 组合漏洞获取LLM KEY
项目地址:https://github.com/langgenius/dify1、前言:目前该漏洞大部分已经修复了,该文只用于学习,请勿用于非法。以下测试均为本地环境试验。最近正巧使用Nas+dif...
最强防护也难防大语言模型被欺骗
诺丁汉大学副教授Michael Pound在接受采访时指出,多数安全专业人员对LLM(大语言模型)的底层机器学习原理并不熟悉。虽然这在过去的技术中问题不大,但LLM表面强大的能力容易让人误以为它们不会...
MCP安全-《MCP暗战三部曲》2:MCP安全吗?
hello,大家好,这里是“恒脑与AI”——AI知识快充,不定期邀请安全研究团队科普安全知识,及时了解最新的AI技术模式。本期作品——《MCP暗战三部曲》,来自研究团队X-Lab,跟随他们,领略一下当...
模型上下文协议(MCP)的原理与安全挑战
模型上下文协议(MCP)的原理与安全挑战随着大型语言模型(LLM)在各行业的广泛应用,如何高效、安全地将LLM与外部数据源和工具集成成为了关键问题。为此,Anthropic于2024年11月推出了模型...
Palo Alto5亿美元收购的Portect AI都有什么产品和技术?
2025.4.25,Palo Alto Networks 宣布收购 Protect AI,此次收购将帮助客户发现、管理和防范特定于人工智能的安全风险,从开发到运行提供端到端的人工智能安全保障,从而实现...
【DeepSeek实践】Mcp+DeepSeek的Demo编写体验
网安引领时代,弥天点亮未来 0x00前言描述MCP协议(Model Context Protocol) 是由Anthropic推出的开源协议,旨在为大型语言模型(LLM)提供标准化、安全的双向数据交互...
提示词注入攻击的检测和数据集介绍
提示词注入攻击介绍提示词注入是一种攻击技术,攻击者通过精心设计的输入来操纵AI系统,使其偏离原定行为或绕过设定的安全措施。这类似于软件开发中的SQL注入攻击,但针对的是AI系统的提示词处理机制。OWA...
针对所有主流大语言模型的新型通用绕过方法
HiddenLayer 的创新中心发布了一篇关于 "Novel Universal Bypass for All Major LLMs"(针对所有主流大语言模型的新型通用绕过方法) 的文章。以下是该文...
LLM学习笔记:最好的学习方法是带着问题去寻找答案
作者:huaxing知其然,然后知其所以然。本文主要是对学习赛博活佛Andrej Karpathy 7个小时教学视频的总结和拓展阅读笔记,推荐去看原视频,很精彩,链接在文末。从最常用的聊天应用过程分析...
探索 Moonshot:一站式大语言模型评测与红队测试利器
前言 在生成式AI和大语言模型(LLM)蓬勃发展的今天,如何确保模型的性能、鲁棒性和安全性成为开发者和企业关注的焦点。AI Verify基金会推出的 Moonshot(https://githu...
CAI:当前效果最好的开源AI辅助渗透测试工具
我们之前分析了一些讲AI辅助渗透测试的论文,开源的不多。最近看到一篇论文:CAI:一个开放的、可用于漏洞赏金计划的网络安全人工智能,(CAI: An Open, Bug Bounty-Ready Cy...