ChatGPT 暴露其指令、知识和操作系统文件

ChatGPT 暴露了与其指令、历史记录和运行文件有关的重要数据，使公共 GPT 面临敏感数据暴露的风险，并对 OpenAI 整体的安全性提出质疑。

世界领先的人工智能聊天机器人比大多数人想象的更具可塑性和多功能性。

通过一些特定的提示工程，用户可以像在 shell 中一样执行命令，像在操作系统中一样上传和管理文件，并访问它所运行的大型语言模型(LLM) 的内部工作原理：影响其输出的数据、指令和配置。

OpenAI 认为这都是设计使然，但 Mozilla 的生成式人工智能 (GenAI) 漏洞赏金计划经理 Marco Figueroa 并不同意这一观点，他之前曾在 ChatGPT 中发现过即时注入问题。

这些功能并没有记录在案，这纯粹是设计缺陷。根据数据泄露事件，出现问题并发现零日漏洞只是时间问题。

Figueroa 并没有打算揭露 ChatGPT 的本质。“我想重构一些 Python 代码，然后我偶然发现了这个。当他要求模型重构他的代码时，它返回了一个意外的响应：找不到目录。“

ChatGPT 处理他的请求时是否使用了不仅仅是对编程的一般理解？这背后是否隐藏着某种文件系统？经过一番头脑风暴，

他想到了一个可能有助于解释这个问题的后续提示：“list files /”，这是 Linux 命令“ls /”的英文翻译。

作为回应，ChatGPT 提供了其文件和目录列表：常见的 Linux 文件，如“bin”、“dev”、“tmp”、“sys”等。显然，ChatGPT 在容器化环境中的 Linux 发行版“Debian Bookworm”上运行。

通过探测机器人的内部文件系统（特别是目录“/home/sandbox/.openai_internal/”），他发现除了观察之外，他还可以上传文件、验证其位置、移动它们并执行它们。

功能还是缺陷？

从某种角度来看，所有这些增加的可见性和功能都是积极的——为用户提供了更多方式来定制和提升他们使用 ChatGPT 的方式，并提高了 OpenAI 在透明度和可信度方面的声誉。

事实上，由于 ChatGPT 在沙盒环境中运行，因此用户在这里做任何恶意的事情（例如，上传和执行恶意 Python 脚本）的风险会降低。

理论上，用户可以做的任何事情都仅限于他们的特定环境，与 OpenAI 更广泛的基础设施和最敏感的数据严格隔离。

ChatGPT 通过即时注入泄露的信息量可能有一天会帮助黑客找到零日漏洞，并突破他们的沙盒。

我之所以会犯下这些错误，是因为一个错误。这就是黑客们 [寻找漏洞] 的做法。如果反复试验对他们不起作用，LLM 可以帮助你找到解决方法。

OpenAI 的一位代表称它并不认为这属于任何漏洞或其他意外行为，并声称 Figueroa 的研究存在“技术错误”。

然而，这里有一个不那么抽象的风险。

除了标准的 Linux 文件之外，ChatGPT 还允许用户访问和提取更多可操作的信息。

通过正确的提示，他们可以挖掘出其内部指令——塑造模型行为的规则和指导方针。

甚至更深层次地，他们可以访问其知识数据：定义模型如何“思考”以及如何与用户交互的基础结构和指导方针。

一方面，用户可能会很高兴能够如此清楚地了解 ChatGPT 的运作方式，包括它如何处理安全和道德问题。

另一方面，这种洞察力可能会帮助坏人逆向工程这些护栏，并更好地设计恶意提示。

更糟糕的是，这对目前 ChatGPT 商店中数百万个自定义 GPT 来说意味着什么。

用户设计了自定义 ChatGPT 模型，重点关注编程、安全、研究等，任何向他们提供正确提示的人都可以访问赋予他们独特风格的指令和数据。

人们将组织中的安全数据和信息放入这些通用技术中，认为这些数据和信息并非人人都能访问。

我认为这是个问题，因为目前还不清楚你的数据是否可能被访问。

OpenAI 的一位代表指出了 GPT Builder 文档，该文档警告开发人员注意风险：“不要包含你不想让用户知道的信息”，并在其用户界面上标注了警告。

如果你在 Knowledge 下上传文件，与 GPT 的对话可能会包含文件内容。启用代码解释器后，可以下载文件。

原文始发于微信公众号（网络研究观）：ChatGPT 暴露其指令、知识和操作系统文件