【论文速读】| 大语言模型是边缘情况模糊测试器：通过FuzzGPT测试深度学习库

原文作者：Yinlin Deng, Chunqiu Steven Xia, Chenyuan Yang, Shizhuo Dylan Zhang, Shujing Yang, Lingming Zhang

作者单位：伊利诺伊大学厄巴纳-香槟分校

关键词：模糊测试、深度学习库、大语言模型、程序合成

原文链接：

https://arxiv.org/abs/2304.02014v1

开源代码：暂无

论文简介：这篇论文提出了一种名为FuzzGPT的新方法，它利用大语言模型（LLMs）生成非常规程序来测试深度学习（DL）库。通过对历史中引发错误的程序的研究，FuzzGPT能够生成更有效的测试程序，检测出多达76个错误，其中49个被确认为新的错误，包括11个高优先级错误或安全漏洞。

研究目的：为了解决传统fuzzing技术在自动生成有效测试程序方面存在的挑战，本文通过整合大语言模型的生成能力，提出了一个新颖的方法来增强软件测试的效率和覆盖范围，尤其是针对复杂的深度学习库。

研究贡献：

1.本文首次提出利用大语言模型（LLMs）生成异常输入程序以提高模糊测试的有效性。FuzzGPT作为一种新型的自动化模糊测试工具，能够根据历史错误触发程序或直接遵循人类指令生成不寻常的测试程序，适用于多种应用领域。

2.研究者们实现了FuzzGPT的三种变体：少样本学习、零样本学习和微调，基于Codex和CodeGen等先进的GPT风格模型，并特别开发了直接利用ChatGPT指令跟随能力的零样本变体。

3.通过在PyTorch和TensorFlow两个深度学习库上的广泛测试，FuzzGPT在提高代码覆盖率方面显著优于现有的TitanFuzz工具，并成功发现了49个新错误，包括多个高优先级的安全漏洞。

深度学习（DL）已在多个领域得到广泛应用。然而，由于这些应用依赖于复杂的DL库，库中的错误可能会导致严重后果，包括对安全关键应用的影响。尽管传统Fuzzing方法很有力，但在生成适用于DL库的输入程序时，它面临多个挑战。这些程序不仅需要符合编程语言的语法和语义，还必须满足构建有效计算图的张量和操作符约束。TitanFuzz是一个先前的尝试，它通过利用预训练的大语言模型来生成有效的DL程序。然而，这些模型通常只生成常规程序，不足以探索库的边缘行为。与此相对，FuzzGPT引入了一种新策略，通过对大语言模型（LLMs）进行“微调”和“上下文学习”，生成更多的异常程序，以探索DL库中未覆盖的路径。

在开发深度学习（DL）应用时，常用的库如PyTorch和TensorFlow功能虽强大，但仍存在许多潜在错误。针对这些库的fuzzing研究通常集中在模型级和API级。然而，现有方法，无论是复用和变异现有种子模型，还是依赖手动编写的规范，均仅能覆盖有限的API和程序模式。为此，FuzzGPT被提出以通过自动化技术生成更多样化的输入程序，从而提升Fuzzing的效果和效率。

FuzzGPT是基于大语言模型（LLM），如GPT和Codex，利用这些模型学习历史错误触发代码片段来自动化生成测试代码的工具。首先，从开源项目中抓取bug报告和错误代码，以建立包含错误触发代码的数据集。然后，采用微调（Fine-tuning）和上下文学习（In-context Learning）方法来调整LLM，从而使其能够生成可能触发深度学习库潜在错误的代码。在微调过程中，通过梯度下降法调整模型参数，以最大化预测错误触发代码的准确性。上下文学习则是通过分析历史错误示例来优化生成逻辑，无需更改模型权重。这两种策略共同增强了模型在寻找新bug方面的实际应用能力。

通过整合大语言模型和历史错误触发程序，FuzzGPT在深度学习库的模糊测试领域显著提升了效能。这项研究不仅揭示了多个之前未识别的错误，包括关键的安全漏洞，而且还显著提高了代码覆盖率，从而证明了其在探测深度学习库潜在缺陷的有效性。此外，FuzzGPT展示了大语言模型在自动生成高风险测试输入方面的巨大潜力，为该领域的未来研究和实践提供了新的方向和方法，特别是在提升软件测试的自动化和智能化水平方面。