原文标题:CKGFuzzer: LLM-Based Fuzz Driver Generation Enhanced By Code Knowledge Graph 原文作者:徐晗翔,马威(共同第一作者...
如何攻击LLM 和AI Agent(PART1)
面向白帽子的几个重要概念系统提示词(system prompt)系统提示是开发人员为模型设置的指令,有时也被称为 “系统指令” 或 “开发者消息”。它们通常对终端用户不可见,但会极大地影响模型的行为。...
【论文速读】| 多轮对话中的个性化社会工程攻击——用于模拟和检测的LLM代理
基本信息原文标题:Personalized Attacks of Social Engineering in Multi-turn Conversations - LLM Agents for Sim...
大模型与安全|第二弹:大模型AI Agent的工作原理与安全挑战
1、引言智能体(AI Agent)作为大语言模型技术(LLM)的具体应用形式,突破了传统语言模型仅限于文字输入与输出的局限性。其通过感知环境、规划决策及执行行动的闭环机制,实现了对现实世界任务的高效处...
生成式AI可一键生成诈骗网站,越狱攻击引发钓鱼危机
Lovable AI 易受到越狱攻击,使新手和潜在网络犯罪分子能够设置类似真实页面的凭证收集页面,实施网络钓鱼攻击。由生成式人工智能(AI)驱动的平台Lovable,支持通过文本指令创建全栈式网页应用...
【大模型与安全】第三弹:LLM与 Fuzzing 技术在漏洞挖掘中的应用
随着大语言模型(下统称LLM)的兴起,其在软件安全测试领域的应用前景备受瞩目。传统模糊测试(下统称Fuzzing)依赖人工编写测试用例和规则,这种方法不仅耗时费力,还难以覆盖复杂的输入空间。而LLM凭...
AI编程的暗礁:大模型包幻觉引发的软件供应链安全风险
德克萨斯大学圣安东尼奥分校(UTSA)团队在2025年USENIX安全研讨会发表的研究,首次系统性揭示了大语言模型(LLM)代码生成中的"包幻觉"(Package Hallucination)威胁。通...
CSA发布 | AI模型风险管理框架
随着AI技术在各行业的快速渗透,其带来的风险也日益凸显——从数据偏见、隐私泄露到模型滥用和伦理争议。云安全联盟(CSA)大中华区发布的《AI模型风险管理框架》为组织提供了一套系统化方法论,通过模型卡片...
大语言模型权限泛滥:自主性失控带来的安全风险
要使AI代理能够"思考"并自主行动,必须赋予其自主权(agency),即允许其与其他系统集成、读取分析数据并执行命令。但随着这些系统获得对信息系统的深度访问权限,人们越来越担忧其权限过度扩张——当这些...
大模型与安全|第一弹:AI防口误指南之LLM输出安全实践
在数字化转型的浪潮中,大语言模型(以下统称LLM)已成为企业技术栈中不可或缺的智能组件,这种强大的AI技术同时也带来了前所未有的安全挑战。它输出的内容如同双面刃,一面闪耀着效率与创新的光芒,另一面却隐...
【AI】谈谈MCP(模型上下文协议)
最近MCP热度有点高了,并且实际开发上手后,挺有感触的。往好的说,能够显著提升工作效率;往坏了的说,xxx又要失业了。借这个机会,来谈谈对关于MCP相关的一些内容。MCP是什么网上已经有很多且很详细的...
初识 MCP(Model Context Protocol) 基本概念
背景之前Manus一夜爆火, 然后一夜跌下神坛, 号称“全球首款通用Agent产品”,但是有个5人小团队,仅花了三个小时,就搞出一个OpenManus项目,和Manus一模一样。这种采用饥饿营销,营销...
48