AI幻觉包愚弄毫无戒心的开发人员

根据生成型人工智能安全初创公司Lasso Security的一份新报告，依赖人工智能聊天机器人构建应用程序的软件开发人员最终可能会使用幻觉包。

Lasso的Bar Lanyado继续去年的研究，再次展示了如何使用大型语言模型 (LLM) 工具来传播不存在的软件包。

他去年警告说，威胁行为者可以了解这些幻觉软件包的名称，并创建具有相同名称的恶意软件包，并可以根据人工智能聊天机器人的建议进行下载。

为了扩大研究规模，Lanyado使用Langchain框架进行交互，询问了四种不同的模型，即GPT-3.5-Turbo、GPT-4、Gemini Pro（以前的Bard）和Coral（Cohere），提出了超过40,000个“如何”问题。

为了检查幻觉的重复性，研究人员使用了20个零样本幻觉问题（模型在第一个答案中推荐了幻觉包）。

所有聊天机器人都产生了超过20%的幻觉，其中Gemini的幻觉达到了 64.5%的峰值。重复性约为15%，Cohere的峰值为24.2%。

然而，这项研究最令人担忧的方面是，研究人员上传了一个空包，根据人工智能的建议，该包已被下载超过30,000次。此外，发现同一软件包被几家大公司使用或推荐。

研究人员解释道：“例如，安装此软件包的说明可以在专门用于阿里巴巴进行研究的存储库的自述文件中找到。”

Lanyado指出，这项研究强调，当从法学硕士那里收到不确定的答案时，特别是在软件包方面，不需要进行交叉验证。

Lanyado还建议开发人员在依赖开源软件时要谨慎，尤其是在遇到不熟悉的软件包时，敦促他们在使用之前验证该软件包的存储库并评估其社区和参与度。

Lanyado指出：“此外，请考虑它的发布日期，并留意任何可疑的内容。在将该软件包集成到生产环境之前，请谨慎执行全面的安全扫描。”

原文始发于微信公众号（河南等级保护测评）：AI幻觉包愚弄毫无戒心的开发人员