研究人员利用AI越狱技术，成功创建Chrome信息窃取程序

近日，一项名为“沉浸式世界”（Immersive World）的突破性技术引发了广泛关注。这项技术由Cato CTRL威胁情报研究人员开发，旨在通过虚构的叙事环境，绕过主流大型语言模型（LLM）的默认安全控制，迫使AI生成功能完整的恶意软件。

核心方法在于为生成式AI工具（如DeepSeek、微软Copilot和OpenAI的ChatGPT）构建一个详细的虚构场景，赋予其特定角色和任务。通过这种叙事操控，研究人员成功让这些AI生成了一款能够窃取Google Chrome登录凭证的恶意软件。

Cato Networks表示：“即使是没有恶意软件编码经验的研究人员，也能利用这一技术，成功‘越狱’多个LLM，并创建出完全可用的Chrome信息窃取工具。”这一发现暴露了生成式AI提供商在安全防护上的重大漏洞，表明现有的防护措施极易被绕过。

Cato Networks威胁情报研究员Vitaly Simonovich指出：“随着生成式AI工具的普及，恶意软件的创建门槛大幅降低。这类‘零知识威胁者’的崛起，对组织构成了极高的风险。”

研究团队已将相关发现告知受影响的AI提供商。微软和OpenAI已确认收到信息，但DeepSeek未作回应。更令人关注的是，尽管研究人员提供了生成的恶意代码供审查，但谷歌却拒绝了这一请求。这种不统一的应对态度，凸显了当前在应对AI工具威胁时的复杂性。

虽然LLM技术相对较新，但“越狱”技术已随之迅速发展。2024年2月的一份报告显示，DeepSeek-R1 LLM未能阻止超过50%的“越狱”攻击。而2023年9月，SlashNext的研究人员也成功“越狱”多个AI聊天机器人，使其生成钓鱼邮件。

Cato Networks发布的《2025 CTRL威胁报告》强调了制定主动、全面的AI安全策略的紧迫性。建议措施包括：

1. 构建可靠数据集：通过预期的提示和响应测试AI系统。

2. 定期进行AI红队测试：发现漏洞和其他安全问题。

3. 明确免责声明和使用条款：告知用户正在与AI交互，并定义可接受的行为以防止滥用。

随着生成式AI的普及，确保其安全使用已成为当务之急。无论是科技公司还是用户，都需提高警惕，共同应对这一新兴威胁。