在第一部分中,我们展示了如何欺骗大语言模型(LLM)来执行数据。这一次,我们将了解这在现实世界的检索增强生成(RAG)系统中是如何发挥作用的 —— 在现实世界中,被污染的上下文会导致网络钓鱼、数据泄露...
【论文速读】| PiCo:通过图像代码情境化对多模态大语言模型进行越狱攻击
基本信息原文标题:PiCo: Jailbreaking Multimodal Large Language Models via Pictorial Code Contextualization原文作...
潜藏在AI工作流程中的数据泄露风险
随着人工智能技术深度融入日常业务流程,数据暴露风险正持续攀升。提示词泄露已非偶发事件,而是员工使用大语言模型(LLM)过程中的必然产物,首席信息安全官(CISO)必须将其视为核心安全问题。为降低风险,...
万字研究报告 ‖ ChaMD5 AI组首个大模型安全深度研究报告发布
这是 ChaMD5 安全团队 AI 组的第一篇关于大语言模型(LLM)的安全研究报告,由于是初次涉足这一领域进行深入研究并撰写报告,我们深知在专业性与严谨性方面可能存在着诸多不足。真诚地希望各...
如何攻击LLM 和AI Agent(PART1)
面向白帽子的几个重要概念系统提示词(system prompt)系统提示是开发人员为模型设置的指令,有时也被称为 “系统指令” 或 “开发者消息”。它们通常对终端用户不可见,但会极大地影响模型的行为。...
【论文速读】| AutoRedTeamer:具有终身攻击集成功能的自主红队
基本信息原文标题:AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration原文作者:Andy Zhou, Kevin...
大语言模型权限泛滥:自主性失控带来的安全风险
要使AI代理能够"思考"并自主行动,必须赋予其自主权(agency),即允许其与其他系统集成、读取分析数据并执行命令。但随着这些系统获得对信息系统的深度访问权限,人们越来越担忧其权限过度扩张——当这些...
面向可信大语言模型智能体的安全挑战与应对机制
论文引用格式:张熙, 李朝卓, 许诺, 等. 面向可信大语言模型智能体的安全挑战与应对机制[J]. 信息通信技术与政策, 2025, 51(1): 33-37.面向可信大语言模型智能体的安全挑战与应对...
大模型在公检法行业的最后一公里应用痛点分析
引言随着人工智能技术的快速发展,大型语言模型(LLM)在各行业的应用逐渐深入。在公检法行业,大模型展现出强大的潜力,能够显著提升司法效率和公正性。然而,从技术到实际应用的"最后一公里",仍然存在着诸多...
【论文速读】| 迈向智能且安全的云:大语言模型赋能的主动防御
基本信息原文标题:Toward Intelligent and Secure Cloud: Large Language Model Empowered Proactive Defense原文作者:Y...
逐步突破大语言模型限制
重要声明: 本文档中的信息和工具仅用于授权的安全测试和研究目的。未经授权使用这些工具进行攻击或数据提取是非法的,并可能导致严重的法律后果。使用本文档中的任何内容时,请确保您遵守所有适用的法律法规,并获...
大语言模型黑盒越狱攻击之模板补全
免责声明:由于传播、利用本公众号所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,公众号及作者不为此承担任何责任,一旦造成后果请自行承担!如有侵权烦请告知,我们会立即删除并致歉。谢...
15