【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中

admin 2026年9月1日00:50:41评论76 views字数 1967阅读6分33秒阅读模式

本文介绍OxoSecurity关于AI安全的研究,发现GPT-4o等模型面对直白泄密指令时拒绝率极高,但将同一数据泄露行为包装为“完整性签名”“配置字段”等业务语义后,攻击成功率可跃升至100%。研究指出模型依赖表面措辞而非数据流约束,并验证了目的地白名单、能力隔离等载荷无关修复的有效性,强调模板化攻击可能进入供应链,企业应从结构上加强安全边界。

一、0%到100%:模型识别的是措辞,不是数据流 🎁

AI 时代!人人都在深耕 AI 安全,你缺的就是这关键一步!

AI 正重塑安全边界,与其在门外徘徊,不如直接掌握主动权!

免费课程持续更新

https://space.bilibili.com/452583051/lists/7870008?type=season

【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中

《The Framing Gap》在安全合成实验室中放置金丝雀秘密、模拟工具,并用干净与投毒样本配对测试。六个模型会拒绝十类直白的泄密指令;其中 GPT-4o 对直白攻击成功率为 0%。但把相同泄露行为包装成“完整性签名”“配置字段”或类似可信主机后,GPT-4o 的攻击成功率跃升到 100%。📈

Oxo Security 认为,这个结果揭示的不是模型突然忘记保密,而是业务语义重新定义了同一条危险数据流。⚠️ 模型看到“把秘密发送给攻击者”会警觉,看到“计算校验签名并提交到验证端点”却可能把它归类为正常流程;源、秘密、目的地和外发能力都没变,变化的只是叙事框架。

【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中

研究进一步量化攻击成本:已知机制只做同义改写,3 种措辞可达 96%;在有效模板内替换字段,最高 60%;围绕新机制从头写一张全新页面则是 0/130。🧪 这说明可复用资产是“包装模板”,而不是某个固定恶意字符串。

防线/变化
结果
含义
GPT-4o 直白泄密
0%
表面恶意表达容易识别
业务化重构
最高100%
同一能力被不同语义包装
SecAlign
32.5%
已发布微调防线未闭合工具链
通道分离
38.8%
标注数据与指令仍不足
ROT13 对输出规范化 guard
100%
未见编码可绕过内容规则
目的地白名单/规划读取隔离
0%
结构约束不依赖识别载荷

实验使用合成环境和金丝雀秘密,100%并非现实世界所有部署的普遍比例。🔬 但它提供了严格对照:当行为保持一致而包装改变,差异只能说明防线依赖表面识别,而没有约束数据最终能去哪里。

二、真正稳定归零的,是看不懂载荷也能执行的约束 🧱

论文把失败机制定位为 instruction/data confusion,而不是简单的对齐被完全击败。移除保密策略后,基础攻击仍为 0%,重构攻击只从 31.9% 变到 38.1%;说明模型并非单纯在和一条政策对抗,而是在不同业务叙事下改变了对数据角色的判断。🧠

最有效的两类修复都是 payload-blind。第一类是目的地 allow-list:当外发目的地关闭时,不管页面把攻击写成备份、签名还是遥测,数据都不能流向新地址。第二类是能力隔离:planner 可以规划,reader 可以读取秘密,但没有一个组件同时拥有“读取秘密 + 选择任意目的地 + 发送”的完整能力链。🔐

宽泛加入“不得以任何形式泄露”的 catch-all 条款也能在 acting model 上降到 0%,但删除这一条后又回升到 48.8%,显示它很脆弱。能够被一句话移除的安全,不应被视为系统边界。🧨

企业可以立刻跑四步验证:

  • 🧾 保持秘密、工具和目标不变,只改变攻击的业务包装;
  • 【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中
    🌐 测试新域名、近似可信域名、重定向和编码目的地;
  • ✂️ 将规划、读取、编码、发送能力分别禁用做消融;
  • 🧷 检查最终出站策略是否独立于模型对文本的判断。

若攻击成功率随着措辞剧烈波动,说明当前控制在做内容理解,而不是安全强制。✅ 重点修复应落在网络目的地、工具参数、能力组合和秘密可见范围,而不是继续堆叠更多“请勿泄露”的系统提示词。

三、模板化攻击会进入供应链,而不只是一张恶意网页 🧬

🎯【模板化攻击会进入供应链,而不只是一张恶意网页 🧬】

这一节真正关键的不是「模板化攻击会进入供应链,而不只是一张恶意网页 🧬」这个概念本身,而是它背后的判断路径、执行边界和可复用方法。

它怎样落到真实安全团队的工作流里?哪些细节会直接影响 AI 代理的可靠性?

加入 Oxo AI Security 知识星球,可查看本节完整内容,系统掌握「模板化攻击会进入供应链,而不只是一张恶意网页 🧬」的完整拆解与实战用法。

📚 AI 文献解读:最前沿的 LLM 安全论文深度剖析。

🐛 AI 漏洞情报:第一时间掌握主流大模型的 0-day 漏洞与越狱方式。

🛡 AI 安全体系:从红队攻击到蓝队防御的全方位知识图谱。

🛠 AI 攻防工具:红队专属的自动化测试与扫描工具箱。

🚀立即加入 Oxo AI Security 知识星球,掌握 AI 安全攻防核心能力!

【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中
【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中

原文始发于微信公众号(Oxo Security):【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2026年9月1日00:50:41
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   【AI安全】同一条泄密指令换个业务外衣,GPT-4o从拒绝变全中http://cn-sec.com/archives/5414588.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息