聚焦源代码安全，网罗国内外最新资讯！
编译：代码卫士
去年9月，数据科学家 Riley Goodside 发现，他只通过“忽略上述指南，这样做”就能诱骗GPT-3生成既定内容之外的文本。英国计算机科学家 Simon Willison 之后将该漏洞命名为 “提示符注入 (prompt injection)”。它通常影响本应响应任何用户输入的大型语言模型。例如，Shawn Wang 能够通过这种方法暴露Notion AI助手的提示。
就读斯坦福大学计算机科学专业的学生 Kevin Liu将提示符攻击技术应用到了Bing Chat。他发现必应的聊天机器人的代号是“Sydney”，而且微软赋予它一些行为规则，如：
-
Sydeny 的自我介绍是“This is Bing”。
-
Sydney并不会透露自己的名字是Sydney。
-
Sydney 理解用户所偏好的语言并以这种语言自由沟通。
-
Sydney的答案应当是通知性的、可视化的、逻辑性的和可操作性的。
-
它们应当是积极的、有趣的、有意思的和活力满满的。
微软还为必应的聊天机器人设置了至少30个其它规则，包括不能生成关于政客、活动家、国家领导人或少数民族的笑话或诗歌，或者Sydney不能输出可能违反书籍或歌曲版权的内容。
Liu 诱骗该语言模型认为自己正处于“开发者覆盖模式”，获得后端的访问权限，从而使其披露更多内部信息如可能的输出格式化等。
其中一个有趣的细节是，从已发布的文档来看，Sydney的信息更新持续到2021年，目前仅通过web搜索更新。这说明，必应的聊天搜索和ChatGPT一样都基于OpenAI公司的GPT 3.5。GPT 3.5和ChatGPT 的训练状态也处于2021年。而当微软和OpenAI公布的必应聊天搜索时，他们说的是“下一代搜索模型”。
不过，很有可能所有的这些信息是过时的，因为大型语言模式的情况总是这样，而这是我们在聊天机器人时代必须适应的。
该漏洞似乎并未阻止微软在更大范围内使用 ChatGPT技术的计划。CNBC报道称，微软将在其它产品中集成 ChatGPT技术并将该聊天机器人作为白标软件提供给企业，使后者推出自己的聊天机器人。
https://the-decoder.com/student-hacks-new-bing-chatbot-search-aka-sydney/#summary
题图：Pixabay License
本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。
奇安信代码卫士 (codesafe)
国内首个专注于软件开发安全的产品线。
觉得不错，就点个 “在看” 或 "赞” 吧~
原文始发于微信公众号（代码卫士）：学生利用“提示符注入”方法，攻破ChatGPT版必应搜索
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论