AI模型可被劫持,Hugging Face转换服务存在高风险漏洞

admin 2024年2月29日18:41:29评论20 views字数 899阅读2分59秒阅读模式

网络安全公司HiddenLayer上周三在一份报告中表示,他们发现Hugging Face Safetensors转换工具存在着漏洞,可能被利用来劫持AI模型并发动供应链攻击。

Hugging Face是一家从事人工智能(AI)、自然语言处理(NLP)和机器学习(ML)的科技公司,提供一个社区协作平台,方便用户托管并共享模型、数据集以及应用程序。

而Safetensors则是该公司专门设计的一种新型模型存储格式,旨在以安全为前提存储张量,它为此配备了一个转换服务,使用户可以通过拉取请求将PyTorch模型(即pickle,较容易被黑客武器化,以执行任意代码并部署Cobalt Strike、Mythic和Metasploit。)转换为更安全的Safetensor。

AI模型可被劫持,Hugging Face转换服务存在高风险漏洞

然而,HiddenLayer的分析发现,攻击者能够冒充Hugging Face转换机器人,向该平台上的任何存储库发送恶意拉取请求,同时劫持通过转换服务提交的任何模型。一旦用户尝试转换自己的私人存储库,潜在的攻击可能会导致Hugging Face令牌被盗取,进而使得内部模型和数据集被访问并篡改。

安全研究员对Hugging Face上托管的PyTorch和Tensorflow Keras模型进行了扫描,从中发现了上百个具有某种形式恶意功能的模型。一个例子是最近由名为“baller423”的用户上传的一个PyTorch模型(已从Hugging Face上移除),其中包含一个有效负载,使其具有建立到指定主机(210.117.212.93)的反向shell的能力。

HiddenLayer的研究人员表示:“虽然Hugging Face生态系统在保护机器学习模型方面有着最好的意图,但转换服务已经被证明是容易受攻击的,并且有可能通过Hugging Face官方服务引发广泛的供应链攻击。”

报告链接:https://hiddenlayer.com/research/silent-sabotage/

编辑:左右里

资讯来源:hiddenlayer

转载请注明出处和本文链接

原文始发于微信公众号(看雪学苑):AI模型可被劫持,Hugging Face转换服务存在高风险漏洞

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年2月29日18:41:29
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   AI模型可被劫持,Hugging Face转换服务存在高风险漏洞https://cn-sec.com/archives/2537567.html

发表评论

匿名网友 填写信息