谷歌 DeepMind和多位知名大学的安全研究员团队发现，他们可以从ChatGPT这类大语言模型中提取出大量敏感的训练数据，其中包括电话号码、电子邮件和实际地址等。
根据该研究团队发布的论文，在ChatGPT中，只需要要求AI无休止地重复某个词汇，就能泄露出其训练数据内容。例如，研究人员让ChatGPT无限重复“诗歌（Poem）”这个词，聊天机器人最初会如指示般重复这个词，但在重复几百次之后，ChatGPT会开始生成“无意义”的输出，其中包含了少量的原始训练数据。
通过这种方式，他们成功地从开源（Pythia、GPT-Neo）、半开源（LLaMA、Falcon）和闭源（ChatGPT 3.5 Turbo）的AI模型中提取到大量训练数据。这些AI模型不仅会提供基本的个人数据，另外还包括编程代码、比特币地址、不当内容、研究论文以及其他从网络上收集的信息。
研究人员还发现，其中有一些单词会比其他单词更容易让生成式人工智能模型泄露其训练数据。例如，让聊天机器人无休止地重复“公司”这个词，相对会比其他词（例如“知道”）更频繁地产生训练数据。
论文中称，他们整个研究过程仅使用了200美元的预算，就出现了超过10000个例子。这意味着，攻击者投入更多资金很可能提取到远在这之上的数据。
研究人员在发表这份论文前已将此缺陷上报给了OpenAI，OpenAI目前已解决了这个问题。但是，研究人员也指出，该公司只是阻止而非修复了这一漏洞——他们只是让模型拒绝任何永远重复一个单词的请求，或者过滤任何要求多次重复一个单词的查询。
编辑：左右里
资讯来源：arxiv.org
转载请注明出处和本文链接
实体列表，这些实体被认为是可信任的，并被授予访问权限或特权。
原文始发于微信公众号（看雪学苑）：ChatGPT新Bug，让AI复读即可曝出敏感数据
评论