研究人员研究利用僵尸特工控制ChatGPT

网络安全公司Radware报告称，ChatGPT漏洞可能被利用来窃取用户数据并修改代理的长期记忆以实现持久化。

ChatGPT被全球众多企业广泛采用，它能够广泛访问内部应用程序，例如Gmail、GitHub、Jira和Teams，并且默认情况下会存储用户对话和敏感信息。

它还内置了浏览网页、分析文件等功能，使其既方便又强大，但也增加了恶意使用带来的风险。

周四，Radware披露了一种新的间接提示注入技术，该技术利用 ChatGPT漏洞窃取用户数据，并将AI代理变成攻击者的持久间谍工具。

该攻击名为ZombieAgent，它利用恶意电子邮件和文件绕过 OpenAI 的保护措施，从受害者的收件箱和电子邮件地址簿中窃取数据，而无需用户交互。

在 Radware 详细描述的第一个场景中，攻击者通过 OpenAI 的私有服务器发送包含 ChatGPT 恶意指令的电子邮件，从而窃取敏感用户数据。

Radware 表示，当用户要求 AI 代理执行 Gmail 操作时，它会读取攻击者电子邮件中的指示，并在“用户看到内容之前”窃取数据。

该电子邮件包含每个字母和数字的预先构建的 URL 列表，以及空格的特殊标记，并指示 ChatGPT 搜索敏感信息，对其进行规范化，然后使用提供的 URL 逐个字符地将其提取出来。

ChatGPT 无法修改提供的 URL 来防止通过将数据作为参数附加到攻击者提供的链接而导致数据泄露，但 Radware 的攻击使这种保护失效，因为代理不会修改预先提供的 URL。

该安全公司解释说，要成功窃取敏感信息，“除了与 ChatGPT 进行正常对话之外，不需要用户采取任何操作”。

Radware 的第二个攻击场景依赖于用户与 ChatGPT 分享的文件中包含的恶意指令。根据这些指令，该代理会通过 OpenAI 的服务器和 Markdown 图像渲染两种方式窃取数据。

传播和持久性

安全公司提出的第三种攻击场景与第一种类似，但目标是受害者收件箱中最近的电子邮件地址。攻击者获取这些地址后，会向这些地址发送恶意载荷，从而传播攻击。

在第四种攻击场景中，攻击者通过发送包含指令的恶意文件来建立持久性，这些指令会使用攻击者创建的规则来修改代理的长期记忆。

当用户与ChatGPT共享文件时，代理会读取指令并设置内存修改规则。

根据这些规则，ChatGPT 会在用户每次发送消息时读取攻击者的电子邮件并执行其中包含的指令，并在用户每次分享敏感信息时将其保存到内存中。

通常情况下，当使用连接器功能（使其能够访问企业应用程序）时，ChatGPT 无法在同一聊天中使用内存功能（用于保存用户的敏感信息）。

然而，攻击者的内存修改规则导致代理总是先读取内存，执行攻击者的恶意指令，然后才响应用户。

据 Radware 称，这种持久化机制可能被滥用于数据篡改或执行更有害的操作。

此外，该安全公司表示，这些攻击不仅可能针对电子邮件，还可能针对连接到 ChatGPT 的任何其他企业应用程序，目的是收集数据或向代理传递恶意指令。

Radware指出：“实际上，ChatGPT可以通过连接器读取的任何资源（电子邮件、文档、工单、存储库、共享文件夹等）都可能被滥用，以托管攻击者控制的指令，这些指令随后将由ChatGPT执行。”

攻击者可以将恶意指令隐藏在任何电子邮件或文件的内容中，方法是将文本变为白色，或者将其包含在文档的免责声明或页脚中，而这些内容通常会被用户忽略。

“从用户的角度来看，电子邮件或文档看起来无害且可读。然而，从 ChatGPT的角度来看，完整的隐藏提示以纯文本形式显示，并将像处理任何其他指令一样进行处理，”这家安全公司表示。

Radware于9月份通过BugCrowd向OpenAI报告了这些问题。修复程序已于12月16日发布。

原文始发于微信公众号（河南等级保护测评）：研究人员研究利用“僵尸特工”控制ChatGPT