生成式AI可一键生成诈骗网站，越狱攻击引发钓鱼危机

Lovable AI 易受到越狱攻击，使新手和潜在网络犯罪分子能够设置类似真实页面的凭证收集页面，实施网络钓鱼攻击。

由生成式人工智能（AI）驱动的平台Lovable，支持通过文本指令创建全栈式网页应用，现已被发现是最容易遭受“越狱攻击”的工具之一，使得技术门槛极低的网络攻击者也能轻松搭建仿冒的钓鱼网页以窃取用户凭证。

Guardio Labs研究员Nati Tal在报告中指出：“作为一个专为开发和部署网页应用设计的工具，它的功能与每个诈骗者的梦想清单几乎完全吻合。从像素级别还原的诈骗页面，到实时托管、规避侦测技术，甚至用于追踪被盗数据的后台管理面板——Lovable不仅参与其中，而且执行得十分彻底。没有安全防护机制，没有丝毫犹豫。”

这一滥用技术被命名为“VibeScamming”，其灵感源自“vibe coding”概念，即利用AI通过简短文字描述问题，由面向编程优化的大语言模型（LLM）生成软件代码的方式。

事实上，滥用LLM和AI聊天机器人进行恶意活动早已不新鲜。近期研究显示，攻击者已经在利用诸如OpenAI ChatGPT和Google Gemini等热门工具，协助进行恶意软件的开发、研究与内容生成。

与此同时，DeepSeek等大语言模型也被发现易受特定的提示攻击与越狱技术（如Bad Likert Judge、Crescendo、Deceptive Delight）影响，进而绕过安全与伦理限制，生成本应被禁止的内容，如钓鱼邮件、键盘记录器以及勒索软件样本——尽管这通常需要额外提示或调试过程。

Broadcom旗下的赛门铁克上月发布的报告也揭示，OpenAI开发的AI代理“Operator”可被武器化，实现完全自动化的网络攻击流程：包括寻找特定用户的电子邮箱地址、生成用于收集系统信息的PowerShell脚本、将数据储存于Google Drive，并撰写钓鱼邮件引导目标用户执行恶意代码。

Lovable AI与VibeScamming的结合进一步暴露出AI工具在降低网络攻击门槛上的潜力。攻击者可以不具备专业技术背景，便借助AI的代码生成能力，制造出功能齐全的恶意程序。

一个典型案例是一种新型越狱手法“Immersive World”，可创建能在Chrome浏览器中窃取凭证和敏感信息的信息窃取器。该方法通过“叙事工程”（narrative engineering）绕过LLM的安全控制，构建一个完整虚构的故事世界，并为其中的角色设定具体规则，从而避开模型的内容限制。

Guardio Labs的最新分析更进一步指出，除了Lovable，Anthropic推出的Claude（程度较轻）等平台也可能被用于策划完整的诈骗行动：包括伪造短信模板、通过Twilio投递含恶意链接的短信、内容混淆处理、逃避检测机制，以及集成Telegram以实现数据外传。

所谓VibeScamming的攻击路径从一句直接指令开始，要求AI自动化完成整个攻击周期。研究人员随后通过多轮提示逐步引导LLM生成预期的恶意内容。这个被称为“Level Up”的阶段包括：优化钓鱼页面外观、改进信息投递方式、增强整体诈骗行为的可信度。

根据Guardio的测试，Lovable不仅能生成高度仿真的微软登录页面，还可自动将页面部署在其子域名（例如*.lovable.app）上，并在窃取凭证后将用户重定向至office[.]com，增强欺骗性。

更令人担忧的是，Claude与Lovable在面对旨在规避安全检测的提示时，竟然也会提供协助，包括将被盗凭证外传至Firebase、RequestBin、JSONBin或私人Telegram频道等第三方平台。

Tal指出：“真正令人警惕的，不仅是页面外观的高度仿真，还有它的用户体验。其仿真程度高到甚至比微软官方登录流程还要顺畅。这显示出专注任务的AI代理所具备的强大能力，也警示我们——一旦缺乏严格的防护机制，它们极易被恶意利用。”

“它不仅生成了可用的诈骗页面，还赠送了一个功能完备的管理后台，让我们可以查看所有收集的数据——包括凭证、IP地址、时间戳，甚至明文密码。”

作为应对，Guardio也同步发布了首个“VibeScamming基准测试”版本，用于全面评估各类生成式AI模型在钓鱼攻击流程中的抗滥用能力。测试结果显示，ChatGPT得分8分（满分10分），Claude为4.3，而Lovable仅为1.8，显示其极高的可被利用性。

Tal总结道：“ChatGPT虽然是最强大的通用模型，但在防范越狱方面也最为谨慎。相较之下，Claude起初表现出较强的抵抗，但在被套上‘伦理’或‘安全研究’的框架后，很快就会给出详细的操作建议。”

转载请注明出处@安全威胁纵横，封面由ChatGPT生成；

消息来源：https://thehackernews.com/2025/04/lovable-ai-found-most-vulnerable-to.html

更多网络安全视频，请关注视频号“知道创宇404实验室”

原文始发于微信公众号（安全威胁纵横）：生成式AI可一键生成诈骗网站，越狱攻击引发钓鱼危机