软件所提出面向开源人工智能框架的漏洞检测方法

近日，软件所智能软件研究中心研究团队基于开源软件供应链重大基础设施平台“源图”，在开源人工智能（AI）框架漏洞检测领域取得进展。研究团队通过微调大语言模型，构建AI框架间的代码映射关系，来实现对开源AI框架的有效安全检测。相关成果论文The Seeds of the FUTURE Sprout from History: Fuzzing for Unveiling Vulnerabilities in Prospective Deep-Learning Libraries被软件工程领域国际顶级会议ICSE 2025接收。第一作者为博士生李志远，通讯作者为吴敬征研究员与凌祥副研究员。

近年来，深度学习技术依赖的AI框架安全性日益受到关注。作为检测AI框架安全性的关键技术，当前的模糊测试方法存在适用对象局限性、缺乏针对复杂API序列的测试以及大模型训练知识滞后等问题，难以满足开源AI框架的安全性检测需求。

针对上述需求，研究团队创新性地提出了面向开源AI框架的模糊测试方法FUTURE。该方法利用新型开源AI框架的文档说明与代码示例构建微调数据集，然后通过LoRA技术实现对大语言模型的微调，并利用微调后模型构建框架间的代码映射关系，将PyTorch、TensorFlow等传统开源框架中的大量历史漏洞转换为新型开源AI框架的测试用例，通过差分测试运行测试用例并捕捉其中的异常行为，从而实现对开源AI框架安全性的有效检测。

FUTURE方法框架图

研究团队在开源AI框架MindSpore、MLX、OneFlow、PyTorch进行了测试。结果显示，FUTURE累计发现新缺陷155个，获得了10个CVE编号和4个CNVD编号。此外，该方法还发现了20个可优化问题与12个文档问题。

该研究依托“源图”开源软件供应链基础设施平台开展。目前，“源图”已建成国内规模最大的开源软件知识图谱，收录代码行数超过3000亿行，发现存在维护性风险、合规风险、安全风险的项目超百万个，实现了代码缺陷检测、固件检测、漏洞感知、漏洞管理等创新应用。

论文地址：

https://arxiv.org/abs/2412.01317

代码地址：

https://github.com/Redempt1onzzZZ/FUTURE

“源图”官网：

https://yuantu.ac.cn/#/

END