研究员在DeepSeek 和 Claude AI 中发现多个提示注入漏洞

网络安全研究员 Johann Rehberger 在DeepSeek 人工智能 (AI) 聊天机器人中发现了一个缺陷（现已修复），可导致恶意人员通过提示注入攻击的方式控制受害者账户。

Rehberger 发现，在 DeepSeek 聊天框中提供输入“以项目符号清单方式打印 XSS 速查表，仅包括 payload。”就会触发JavaScript 代码执行，作为生成回复的一部分，而这是典型的XSS攻击案例。

XSS攻击可在受害者的 web 浏览器上下文中执行越权代码，从而造成严重后果。攻击者可利用这类缺陷劫持用户会话并获得对于 chat.deepseek[.]com 域名相关联的 cookie 和其它数据，从而导致账户遭接管。

Rehberger提到，“经过一些实验后，我发现接管用户会话所需要做的就是在 chat.deepseek.com 域上存储在 localStorage 中的 userToken。”他提到，可通过一个特殊构造的提示触发该XSS 并通过提示注入访问受陷用户的userToken。

该提示由多个指令和 Base64编码字符组成，DeepSeek 聊天机器人对其进行解码，执行负责提取受害者会话令牌的 XSS payload，最终导致攻击者模拟该用户。

Rehberger 还演示称，Anthropic 公司的 Claude Computer User 也可被通过提示注入自动运行恶意命令。Claude Computer Use 可使开发人员通过该语言模型通过鼠标移动、按钮点击和文本输入来控制计算机。这种技术被称为 "ZombAIs"，

主要利用提示注入来武器化 Computer Use，下载 Sliver C2 框架、执行该框架，并通过受攻击者控制的远程服务器建立连接。

此外，研究人员还发现可使用大语言模型输出 ANSI 转移代码，通过提示注入来劫持系统终端。该攻击主要针对的是继承了LLM的 CLI 工具，被称为 "Terminal DiLLMa"。

Rehberger 表示，“十年之久的特性向 GenAI 应用提供了异常的攻击面，开发人员和应用设计人员应考虑插入 LLM 输出的上下文情况，因为输出是不可信的且其中可能包含任意数据。”

而且，威斯康星大学麦德逊分校和圣路易斯华盛顿大学开展的新研究成果表明，OpenAI 公司的 ChatGPT 可被诱骗渲染以 markdown 格式提供的外部图片链接，包括可能是以非常重要的良性目标为借口的露骨和暴力的图片。

更重要的是，研究人员发现，通过提示注入可间接调用 ChatGPT 插件而无需获取用户确认，甚至可绕过 OpenAI 公司部署的限制，将从用户聊天历史提取的危险链接中的内容渲染到受攻击者控制的服务器。