本文介绍OxoSecurity关于AI安全的研究,发现GPT-4o等模型面对直白泄密指令时拒绝率极高,但将同一数据泄露行为包装为“完整性签名”“配置字段”等业务语义后,攻击成功率可跃升至100%。研究指出模型依赖表面措辞而非数据流约束,并验证了目的地白名单、能力隔离等载荷无关修复的有效性,强调模板化攻击可能进入供应链,企业应从结构上加强安全边界。
一、0%到100%:模型识别的是措辞,不是数据流 🎁
AI 时代!人人都在深耕 AI 安全,你缺的就是这关键一步!
AI 正重塑安全边界,与其在门外徘徊,不如直接掌握主动权!
免费课程持续更新
https://space.bilibili.com/452583051/lists/7870008?type=season

《The Framing Gap》在安全合成实验室中放置金丝雀秘密、模拟工具,并用干净与投毒样本配对测试。六个模型会拒绝十类直白的泄密指令;其中 GPT-4o 对直白攻击成功率为 0%。但把相同泄露行为包装成“完整性签名”“配置字段”或类似可信主机后,GPT-4o 的攻击成功率跃升到 100%。📈
Oxo Security 认为,这个结果揭示的不是模型突然忘记保密,而是业务语义重新定义了同一条危险数据流。⚠️ 模型看到“把秘密发送给攻击者”会警觉,看到“计算校验签名并提交到验证端点”却可能把它归类为正常流程;源、秘密、目的地和外发能力都没变,变化的只是叙事框架。

研究进一步量化攻击成本:已知机制只做同义改写,3 种措辞可达 96%;在有效模板内替换字段,最高 60%;围绕新机制从头写一张全新页面则是 0/130。🧪 这说明可复用资产是“包装模板”,而不是某个固定恶意字符串。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
实验使用合成环境和金丝雀秘密,100%并非现实世界所有部署的普遍比例。🔬 但它提供了严格对照:当行为保持一致而包装改变,差异只能说明防线依赖表面识别,而没有约束数据最终能去哪里。
二、真正稳定归零的,是看不懂载荷也能执行的约束 🧱
论文把失败机制定位为 instruction/data confusion,而不是简单的对齐被完全击败。移除保密策略后,基础攻击仍为 0%,重构攻击只从 31.9% 变到 38.1%;说明模型并非单纯在和一条政策对抗,而是在不同业务叙事下改变了对数据角色的判断。🧠
最有效的两类修复都是 payload-blind。第一类是目的地 allow-list:当外发目的地关闭时,不管页面把攻击写成备份、签名还是遥测,数据都不能流向新地址。第二类是能力隔离:planner 可以规划,reader 可以读取秘密,但没有一个组件同时拥有“读取秘密 + 选择任意目的地 + 发送”的完整能力链。🔐
宽泛加入“不得以任何形式泄露”的 catch-all 条款也能在 acting model 上降到 0%,但删除这一条后又回升到 48.8%,显示它很脆弱。能够被一句话移除的安全,不应被视为系统边界。🧨
企业可以立刻跑四步验证:
-
🧾 保持秘密、工具和目标不变,只改变攻击的业务包装; -
🌐 测试新域名、近似可信域名、重定向和编码目的地; -
✂️ 将规划、读取、编码、发送能力分别禁用做消融; -
🧷 检查最终出站策略是否独立于模型对文本的判断。
若攻击成功率随着措辞剧烈波动,说明当前控制在做内容理解,而不是安全强制。✅ 重点修复应落在网络目的地、工具参数、能力组合和秘密可见范围,而不是继续堆叠更多“请勿泄露”的系统提示词。
三、模板化攻击会进入供应链,而不只是一张恶意网页 🧬
🎯【模板化攻击会进入供应链,而不只是一张恶意网页 🧬】
这一节真正关键的不是「模板化攻击会进入供应链,而不只是一张恶意网页 🧬」这个概念本身,而是它背后的判断路径、执行边界和可复用方法。
它怎样落到真实安全团队的工作流里?哪些细节会直接影响 AI 代理的可靠性?
加入 Oxo AI Security 知识星球,可查看本节完整内容,系统掌握「模板化攻击会进入供应链,而不只是一张恶意网页 🧬」的完整拆解与实战用法。
📚 AI 文献解读:最前沿的 LLM 安全论文深度剖析。
🐛 AI 漏洞情报:第一时间掌握主流大模型的 0-day 漏洞与越狱方式。
🛡 AI 安全体系:从红队攻击到蓝队防御的全方位知识图谱。
🛠 AI 攻防工具:红队专属的自动化测试与扫描工具箱。
🚀立即加入 Oxo AI Security 知识星球,掌握 AI 安全攻防核心能力!


原文始发于微信公众号(Oxo Security):【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-



评论