新型LLMjacking攻击:19分钟内劫持AI模型

admin 2025年3月5日20:55:41评论27 views字数 5037阅读16分47秒阅读模式

2025年3月4日,Entro Labs发布的博文披露了其最新研究,揭示了一种名为“LLMjacking”的新型攻击手法,黑客通过暴露的云凭据在19分钟内劫持企业AI系统。攻击者利用非人类身份(NHI),如API密钥和服务账户,绕过传统安全控制,迅速访问并滥用生成式AI模型。研究通过公开AWS密钥模拟攻击,发现攻击模式分为四个阶段:凭证收集、快速验证、模型枚举和漏洞利用。攻击者使用Python脚本扫描公共存储库,9-17分钟内验证密钥有效性,并通过AWS Bedrock枚举可用的大型语言模型(LLM)。实验显示,攻击者每小时尝试1,200多次未经授权的推理调用,可能导致每天高达46,000美元的未经授权费用。此外,攻击者还泄露模型配置和训练数据,造成数据泄露和声誉损害。例如,Storm-2139组织曾利用Azure AI密钥生成14,000多张深度伪造图像。研究强调,实时密钥扫描、自动轮换和最低权限控制是防御此类攻击的关键措施。

新型LLMjacking攻击:19分钟内劫持AI模型

以下内容为Entro Labs发布的博文《LLMjacking in the Wild: How Attackers Recon and Abuse GenAI with AWS NHIs》!

LLMjacking是一种新兴的攻击媒介,威胁者利用窃取的凭证劫持对基于云的AI模型的访问。与针对人类用户和密码的“传统”入侵不同,LLMjacking攻击专注于利用非人类身份(NHI),即使生成式AI(GenAI)服务得以运行的机器账户和机密。被盗用的NHI(如API密钥)允许网络犯罪团伙悄悄滥用昂贵的大型语言模型(LLM)、生成内容,甚至泄露敏感数据,而这一切都是以受害者为代价的。

最近备受关注的事件,例如MicrosoftAzure AI 滥用事件,Storm-2139威胁行为者组织系统地从Microsoft客户那里窃取API密钥以绕过安全控制并在暗网上生成非法内容,以及在用于训练DeepSeek等模型的Common Crawl数据集中发现11,908个暴露的机密,清楚地证明了LLMJacking和NHI暴露的严重风险

为了了解现实世界中的攻击者在发现暴露的NHI和令牌时会如何操作,Entro的安全研究人员在公共平台上暴露了有效的AWS API密钥,然后监控了接下来发生的事情。研究结果揭示了威胁行为者的行动速度、他们的侦察尝试以及他们如何尝试利用GenAI访问权限。

新型LLMjacking攻击:19分钟内劫持AI模型    图1:研究中观察到的LLMJacking杀伤链。一旦NHI被暴露并被发现,攻击者就会迅速进行侦察、模型枚举和最终利用。该过程高度自动化,机器人API调用暴露的机密、验证其权限并尝试未经授权的AI模型调用。

引诱黑客:当AWS机密公开时

EntroLabs安全研究团队首先创建了一些专用的AWS环境,其中包含真实的AWS密钥,并故意将它们泄露到不同的公共服务中。所选网站模仿了意外泄露经常发生的地方:公共GitHub代码存储库、 Pastebin上的代码片段和Reddit上的开发人员子版块。

新型LLMjacking攻击:19分钟内劫持AI模型

图2:pastebin.com上暴露的AWS凭证之一。Entro Labs最近的研究发现,几乎44%的NHI代币通过代码库、聊天日志和协作渠道暴露。

每个密钥都是一个功能齐全的AWS凭证集(访问密钥ID+秘密访问密钥),具有对特定AWS云服务(如S3存储桶、AWSAI模型端点等)的受控访问权限。然后,Entro平台监控暴露的凭证是否存在异常活动,跟踪攻击者试图利用这些NHI的速度和方式。研究捕获了每次访问尝试,包括时间戳、源IP、用户代理字符串以及通过API调用的特定AWS 操作。

这种方法提供了一个罕见的、未经过滤的窥视读者攻击者行为的机会,揭示了谁发现了泄露的机密、他们的行动速度有多快,以及他们使用什么策略来探测和利用NHI的AI模型。

快速而好奇:首次未经授权的访问尝试的几分钟

事实证明,威胁行为者发现和利用暴露的NHI的速度非常快。在我们的EntroLabs实验中,第一次侦察尝试平均在令牌泄露后17分钟内发生-最快的尝试仅用了9分钟。这意味着恶意行为者几乎可以立即探测暴露的云密钥和机密,通常在组织意识到它们公开之前。这样的速度与其他记录的机密泄露研究一致,该研究观察到金丝雀令牌在流行平台上几秒或几分钟内就被抓取。

然而,与金丝雀令牌不同的是,Entro的研究人员使用了具有受控权限的功能齐全的AWS凭证,确保攻击者与“真实”秘密而不是诱饵进行交互。

新型LLMjacking攻击:19分钟内劫持AI模型

图3:攻击者毫不犹豫地访问不同暴露位置的暴露机密的平均时间。来源:cybenari

随后发生的是一系列自动化脚本和人工攻击,揭示了快速侦察和机会主义滥用的策略。这种最短的首次访问时间表明攻击者会持续自动扫描代码共享、论坛和粘贴网站以获取任何凭据。实际上,一旦AWS密钥被意外推送到GitHub或在Reddit上被提及,入侵的倒计时就开始了。

防御者做出反应和补救的时间窗口相对较小,这强调了实时NHI检测和响应以及自动密钥撤销的必要性,以击败攻击者的速度。

侦察方法:自动机器人和手动程序

NHI治理数据揭示了利用泄露的AWS密钥的攻击方法和策略的明显组合。大多数访问尝试都有明显的自动化证据。用户代理字符串表明脚本和工具是用Python编写的-例如,许多请求来自标识为botocore/*(AWS SDK)或流行HTTP库(如python-requests)的客户端。

新型LLMjacking攻击:19分钟内劫持AI模型

这与隐秘机器人爬取公共网站、立即测试找到的任何密钥的想法一致。在一个案例中,攻击者的脚本在暴露后不到10分钟就访问了密钥,这表明从泄漏发现到利用存在一条自动化的管道。

然而,并非所有活动都是由机器人驱动的。Entro 的研究还捕获了手动利用尝试的证据。一部分请求来自“Mozilla”用户代理(Firefox),这是普通浏览器会使用的,而不是AWS SDK。这意味着人类攻击者可能注意到了泄露的密钥并手动尝试使用它,可能是通过加载AWS Web控制台端点或使用开发人员工具。此类手动操作可能是攻击者在浏览器中验证密钥或探索他们可以交互执行的操作。

新型LLMjacking攻击:19分钟内劫持AI模型

快速、脚本化的攻击和较慢、实际操作的尝试相结合,表明机会主义机器人和人类对手都在发挥作用。机器人撒下大网,大规模收集暴露的NHI,而熟练的个人可能会介入,以最大限度地提高特别有趣的凭证的价值(例如,暗示访问AI模型或高云特权的密钥)。

从防御者的角度来看,这些模式至关重要。自动攻击意味着任何暴露的秘密都会全天候被攻击,无论何时何地。同时,手动攻击者会话的存在可能表明更有针对性的入侵意图(一个人探索环境以进行更深入的入侵或滥用)。

在我们的研究中,两种方法接连出现——脚本快速验证AWS密钥的有效性,然后通过浏览器进行手动侦察尝试。攻击策略的这种双重性质表明,迫切需要检测类似机器的异常(不寻常的程序访问)和类似人类的异常,例如通常“无头”的机器身份突然使用网络浏览器。

攻击者的行动手册:LLM滥用前的最后侦察

在攻击者获得NHI后,其行动模式清晰可见。攻击者并没有立即启动资源密集型AI作业,而是先进行额外侦察以评估密钥的功能。事实上,使用窃取的AWS密钥进行的第一次API调用都是看似无害的查询,用于枚举可用的服务和权限。

例如,一名攻击者首先使用暴露的密钥来调用AWS的GetCostAndUsage API,本质上是检查账户上的云支出,很可能是为了评估其价值和进一步利用的潜力。

新型LLMjacking攻击:19分钟内劫持AI模型

图4:攻击者试图调用GetCostAndUsage,可能是为了评估账户价值,以便进一步利用

有趣的是,EntroLabs没有观察到GetCallerIdentity(一种常见的用于初始凭证验证的API调用),这可能是因为攻击者的目的是逃避检测,因为他们知道防御者已经开始期待并监视此API调用。

另一名NHI窃贼连续9次调用GetFoundationModelAvailability命令,成功列出受感染AWS账户中可用的LLM。这些请求来自Mozilla浏览器。这表明攻击者进行了蓄意侦察——在尝试调用模型之前,攻击者首先验证了哪些AI模型(例如GPT-4、Claude、DeepSeek等)可访问。这似乎是一种常见的LLM劫持策略,威胁行为者在发起未经授权的查询或试图将窃取的访问权限货币化之前会评估可用的AI资源和平台。

新型LLMjacking攻击:19分钟内劫持AI模型

图5:一名威胁者成功列出了与被盗AWS密钥相关的可用LLM模型

在初始侦察阶段,攻击者故意不运行实际的AI提示,可能是为了避免产生即时成本或触发使用警报。Entro的研究人员观察到了类似的行为:被盗的AWS密钥首先用于查询模型可用性和获取配置信息。只有在映射出令牌的功能后,攻击者才会尝试实际调用AI模型。

新型LLMjacking攻击:19分钟内劫持AI模型

图6:AWSBedrock提供来自Anthropic、Amazon和DeepSeek等提供商的各种GenAI模型。如果被盗凭证具有足够的权限,拥有被盗AWS密钥的威胁行为者可以使用此目录来识别并可能滥用任何可用模型。

LLMJacking Live:真实生活中的内容生成尝试

我们的数据显示,一旦攻击者确认他们可以通过窃取的AWS密钥调用Anthropic Claude模型等,他们就会尝试使用InvokeModel命令生成内容,本质上是试图将我们“受损”的AWS账户变成他们自己的GenAI游乐场。

新型LLMjacking攻击:19分钟内劫持AI模型

图7:威胁行为者使用我们泄露的AWS密钥调用不同GenAI模型的数百次尝试中的几个样本。

这些并非只是几次随意的尝试——我们的日志显示了威胁行为者的不懈自动化努力,他们系统地测试了各种模型,在劫持我们的人工智能资源的尝试中表现出了持久性和自动化性。

幸运的是,我们无意在我们这边进行无偿的LLMJacking操作,因此我们对暴露的AWS令牌设置了严格的权限,确保虽然攻击者可以尝试侦察和模型调用,但不能执行或滥用任何实际的AI工作负载来生成内容,但我们目睹的尝试清楚地表明了运行非法AI操作的意图。

这种非法使用可能会造成严重的财务影响。一些先进的人工智能模型每次查询要花费数十万个代币,这意味着攻击者可以很快消耗大量云信用或金钱。最近的分析估计,一个未被发现的攻击者每天可能会给受害者造成超过46,000美元的人工智能服务费用——在数小时内耗尽云预算。

除了经济损失外,模型还可能被滥用,利用受害者的凭证生成恶意或有害内容。在上述事件中,微软最近捣毁了一个网络犯罪行动,该行动正是这样做的:他们从公开曝光源抓取暴露的凭证来滥用AzureOpenAI服务,改变AI模型的防护栏并生成有害内容(如深度伪造图像和露骨材料)以牟利。所有这些都是由受损的NHI提供支持的。 

最后的话和建议:保护NHI免受LLMJacking攻击

我们的研究及其发现是LLMjacking威胁形势的一个缩影。我们已经看到暴露的非人类身份如何成为自动侦察和利用的直接目标。利用GenAI服务的组织必须采取主动的安全措施来防止LLMjacking。

您可以执行以下操作:

·实时检测和监控NHI:使用持续扫描检测代码存储库、日志和协作工具中暴露的秘密。

·实施自动密钥轮换:在检测到泄露的凭证时自动轮换或撤销泄露的凭证,以最大限度地减少暴露时间。

·强制执行最小特权:仅将NHI限制为必要的权限并适当调整大小,防止攻击者滥用GenAI服务,即使他们获得了有效密钥。

·监控异常API活动:针对异常NHI行为设置警报,例如意外的模型调用或过多的计费请求。

·对开发人员进行安全的NHI管理教育: 培训团队避免对机密进行硬编码,使用保险库进行凭证存储,并采用机密卫生的最佳实践。

通过实施这些措施,安全团队可以显著加强其组织的非人类身份防御态势。目标是最大限度地减少NHI暴露的机会,并最大限度地提高在被滥用时快速检测的机会。在GenAI和LLMjacking时代,AI访问权对威胁行为者来说是一种热门商品,此类措施不再是可选的。

参考资源

1、https://entro.security/blog/llmjacking-in-the-wild-how-attackers-recon-and-abuse-genai-with-aws-nhis/

2、https://cybersecuritynews.com/hackers-hijacking-access-to-cloud-based-ai-models/        

原文始发于微信公众号(网空闲话plus):新型LLMjacking攻击:19分钟内劫持AI模型

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年3月5日20:55:41
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   新型LLMjacking攻击:19分钟内劫持AI模型https://cn-sec.com/archives/3797116.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息