近日,微软推出两款首创的工作场景推理智能体:Researcher(研究员)和Analyst(分析师)。它们能以安全合规的方式访问您的工作数据(包括邮件、会议、文件、聊天记录等)及互联网信息,通过分析海...
大语言模型权限泛滥:自主性失控带来的安全风险
要使AI代理能够"思考"并自主行动,必须赋予其自主权(agency),即允许其与其他系统集成、读取分析数据并执行命令。但随着这些系统获得对信息系统的深度访问权限,人们越来越担忧其权限过度扩张——当这些...
大模型与安全|第一弹:AI防口误指南之LLM输出安全实践
在数字化转型的浪潮中,大语言模型(以下统称LLM)已成为企业技术栈中不可或缺的智能组件,这种强大的AI技术同时也带来了前所未有的安全挑战。它输出的内容如同双面刃,一面闪耀着效率与创新的光芒,另一面却隐...
什么是蒸馏技术
蒸馏技术(Knowledge Distillation, KD)是一种模型压缩和知识迁移的方法,旨在将一个复杂模型(通常称为“教师模型”)的知识转移到一个小型模型(通常称为“学生模型”)中。蒸馏技术的...
MCP协议漏洞:工具投毒攻击(TPA)
MCP越来越火,对其风险的关注也越来越多。Invariantlabs在模型上下文协议 (MCP) 中发现了一个严重漏洞,该漏洞允许“工具中毒攻击”(Tool Poisoning Attacks)。许多...
红队视角下AI大模型MCP技术的实现和应用
文章首发奇安信攻防社区:https://forum.butian.net/share/4244本公众号技术文章仅供参考!文章仅用于学习交流,请勿利用文章中的技术对任何计算机系统进行入侵操作。利用此文所...
模型上下文协议(MCP)中的工具投毒攻击
字数 2680,阅读大约需 14 分钟简介Invariant 发现了模型上下文协议 (Model Context Protocol, MCP) 存在严重安全漏洞,可导致"工具投毒攻击"。Anthrop...
【AI】谈谈MCP(模型上下文协议)
最近MCP热度有点高了,并且实际开发上手后,挺有感触的。往好的说,能够显著提升工作效率;往坏了的说,xxx又要失业了。借这个机会,来谈谈对关于MCP相关的一些内容。MCP是什么网上已经有很多且很详细的...
污染AI的案例
原文始发于微信公众号(阿乐你好):污染AI的案例
初识 MCP(Model Context Protocol) 基本概念
背景之前Manus一夜爆火, 然后一夜跌下神坛, 号称“全球首款通用Agent产品”,但是有个5人小团队,仅花了三个小时,就搞出一个OpenManus项目,和Manus一模一样。这种采用饥饿营销,营销...
MCP服务普及中的安全挑战
引言MCP(Model Context Protocol)是Anthropic在2024年11月推出并开源的开放协议,旨在实现AI与外部工具的无缝对话。随着MCP的普及,其应用范围不断扩大,从浏览器操...
新的提示技术解决模型膨胀问题
随着 OpenAI 的 o1、DeepSeek-R1 和谷歌的 Gemini 2.5 等推理模型争夺顶级 AI 智能基准,希望整合 AI 的企业越来越警惕所谓的“模型膨胀”——模型变得不必要地庞大或复...
72