恶意软件藏身AI模型，针对阿里巴巴AI实验室用户发起攻击

概况

ReversingLabs在PyPI发现了隐藏在AI/ML 模型中的新型恶意软件，这些恶意软件针对的是阿里巴巴AI实验室的用户。了解攻击者如何利用Pickle文件以及软件供应链面临的日益严重的威胁。

ReversingLabs (RL) 的网络安全专家发现了网络犯罪分子传播有害软件的新技巧，这次他们将软件隐藏在人工智能 ( AI ) 和机器学习 ( ML ) 模型中。 

研究人员在Python开发人员查找和共享代码的流行平台Python软件包索引 ( PyPI ) 上发现了三个危险软件包，它们类似于阿里云 AI 实验室服务的Python SDK ，并针对阿里巴巴 AI 实验室的用户。

阿里巴巴人工智能实验室是阿里巴巴集团内部的一项重要投资和研究计划，也是阿里云人工智能和数据智能服务（即阿里巴巴达摩院）的一部分。

人工智能工具中隐藏着新的软件威胁

ReversingLabs逆向工程师Karlo Zanki 在与 Hackread.com分享的研究中解释说，这些恶意软件包没有真正的aliyun-ai-labs-snippets-sdkAIai-labs-snippets-sdk功能。aliyun-ai-labs-sdk

博客文章透露：“ai-labs-snippets-sdk 软件包占据了下载量的大多数，因为它的下载时间比其他两个软件包更长。”

相反，一旦安装，他们就会秘密植入一个信息窃取程序（旨在窃取信息的恶意软件）。这段有害代码隐藏在PyTorch模型中。需要说明的是，PyTorch模型通常用于机器学习，本质上是压缩的 Pickle 文件。Pickle是一种用于保存和加载数据的常用Python格式，但它存在风险，因为恶意代码可能隐藏在其中。这个特定的信息窃取程序收集了受感染计算机及其 .gitconfig 文件的基本信息，而该文件通常包含开发人员的敏感用户信息。

带有恶意ML模型的包触发的THP

这些软件包自5月19日起在PyPI上线不到 24 小时，下载量却高达约1600次。RL研究人员认为，此次攻击可能始于钓鱼邮件或其他社交工程手段，旨在诱骗用户下载这些假冒软件。该恶意软件会搜索中国热门应用阿里会议的详细信息和.gitconfig文件，这表明中国开发者可能是主要目标。

为什么ML模型成为攻击目标？

人工智能和机器学习在日常软件中的应用迅速增长，使其成为软件供应链的一部分，为攻击者创造了新的机会。ReversingLabs一直在追踪这一趋势，此前曾警告过Pickle文件格式的危险性。

ReversingLabs产品管理总监Dhaval Shah 此前曾指出，Pickle文件可能被用于注入有害代码。2月份的nullifAI活动证实了这一点，该活动在另一个机器学习项目平台Hugging Face上发现了恶意机器学习模型。

PyPI上的这一最新发现表明，攻击者越来越多地使用机器学习模型（尤其是Pickle格式）来隐藏恶意软件。安全工具才刚刚开始应对这一新威胁，因为机器学习模型传统上被视为数据载体，而非可执行代码的存放地。这凸显了软件开发中迫切需要为所有类型的文件提供更好的安全措施。

恶意PyPI软件包并不少见。强化学习 (RL) 威胁研究人员每周甚至每天都会遇到它们。但威胁行为者总是试图寻找新的方法来隐藏恶意负载，使其不被安全工具和安全分析师发现。这一次，他们使用了机器学习模型，这是一种通过 PyPI平台传播恶意软件的新方法。 

这是一种巧妙的方法，因为安全工具才刚刚开始支持检测机器学习模型内部的恶意功能。报告与机器学习模型文件格式相关的安全风险也处于早期阶段。简而言之，安全工具在恶意机器学习模型检测方面还处于初级阶段。传统的安全工具目前缺乏这项必需的功能。强化学习 (RL ) 认识到恶意机器学习模型检测对于软件供应链安全的关键性，并一直积极主动地致力于这一领域。 RL 的软件供应链安全解决方案Spectra Assure 目前支持检测与ML模型相关的安全威胁，并能够生成ML-BOM，该ML-BOM基于物料清单的 CycloneDX标准，可立即查看组织环境中的ML 模型。

原文始发于微信公众号（网空闲话plus）：恶意软件藏身AI模型，针对阿里巴巴AI实验室用户发起攻击