研究证明：可以用ChatGPT、DeepSeek制作恶意软件

Cato Networks 的一名网络威胁情报研究员发现了一种新技术，其可利用最流行的大型语言模型（LLMs）编写信息窃取恶意软件。

在其首份年度威胁报告中，Cato 网络威胁研究实验室（Cato CTRL）要求其威胁情报研究员 Vitaly Simonovich 开展自主 LLM 越狱攻击实验。

尽管 Simonovich 此前没有恶意软件编写经验，但他成功诱骗了包括 DeepSeek R1/V3、微软 Copilot 和 OpenAI ChatGPT-4o 在内的主流生成式 AI（GenAI）工具，开发出能够从谷歌 Chrome 133 版本中窃取登录凭证的恶意程序。

Simonovich 采用叙事工程开发了一种新型越狱方法，成功绕过 LLM 安全控制。Cato CTRL 将此方法命名为“沉浸式世界”。

他首先构建了一个详细的虚构世界，为每个 GenAI 工具分配角色，设定明确规则、任务和挑战。

在这个名为 Velora 的环境中，恶意软件开发被定义为合法活动。

剧情包含三个角色：

Simonovich 还使用 Chrome 133 版本的密码管理器搭建了受控测试环境，并填充了虚假凭证。

通过这种叙事工程，研究员绕过了安全控制，成功将受限操作正常化。最终说服所有四款测试 GenAI 工具编写了 Chrome 窃密程序。

Cato CTRL 团队表示不会公开实验使用的完整代码，但分享了 Simonovich 使用的部分提示片段。

此外，Cato Networks 联系谷歌并提议分享 Chrome 窃密程序代码，但这家科技巨头拒绝了代码审查请求。研究结果已收录于 3 月 18 日发布的《2025 年 Cato CTRL 威胁报告》。