G.O.S.S.I.P 学术论文推荐 2021-8-5

今天的论文推荐来自2021年刚刚结束的Let's GoSSIP暑期学校中由汤战勇老师介绍的议题《智能软件与系统交互安全分析初探》中提及的PLDI 2021录用论文Automated Conformance Testing for JavaScript Engines via Deep Compiler Fuzzing，该研究提出了Deep Compiler Fuzzing的技术，应用于各个不同的JavaScript引擎上发现大量的bug

【研究背景】

JavaScript (JS)编程语言是目前使用最广泛的编程语言之一，被广泛应用于智能化、个性化、跨平台等交互系统的设计。JS程序通常需要通过JS引擎在具体的硬件平台上进行动态解释和即时编译执行。然而，JS引擎作为一种特殊的软件，难免会存在缺陷甚至漏洞，这会导致编译所产生的JS应用程序存在缺陷（如性能问题、在不同的平台执行结果不一致等），给程序设计、维护与使用带来诸多不必要的麻烦。此外，JS引擎需要持续不断地更新，以满足日益增长的前端交互新需求、新功能，这也是导致JS引擎缺陷的主要原因之一。

Fuzzing技术作为一种最有效的软件测试方法，被普遍应用于检测软件中的缺陷甚至漏洞，其在不需要过多的人工参与的情况下，能够自动地对被测软件进行长时间持续测试。现有的Fuzzing方法通常关注测试用例生成的随机性，试图通过生成大量随机的测试用例，来实现对被测软件的全面覆盖。然而，当前主流的JS引擎如Google V8、Microsoft ChakraCore等均有数百万行代码规模，并且随着新需求的出现，其代码规模将持续增加。因此，若仅仅通过测试用例生成的随机性来实现在有限的测试时间内覆盖如此海量规模的软件，是不可能实现的任务，导致测试效果大打折扣。

【主要研究内容】

针对上述问题，作者提出了一种自动化差分测试框架COMFORT，其利用JavaScript标准文档ECMA-262指导生成更加有效的测试用例，进而提高测试效率，增加缺陷发现的机率。具体来说，首先利用深度学习模型GPT-2自动生成测试程序，然后通过分析ECAM-262标准文档解析出测试程序中API参数所对应的边界条件值，生成高质量的测试用例。其次，利用差分测试的思想，将生成的测试用例在不同的JS引擎中执行，并根据投票机制确定异常的输出行为。最后，为过滤因相似的测试用例所导致的大量重复的测试结果，作者提出了一种层级的过滤机制，有效地降低了人工分析的成本，提高了测试自动化程度。

【实验结果】

为验证COMFORT的有效性，作者测试了包括Google Chrome V8、Microsoft Edge ChakraCore、Mozilla Firefox SpiderMonkey、Apple Safari JavaScriptCore等10种主流的JS引擎，共发现并向各厂商提交了158个缺陷报告，其中被官方确认了129个Bug，辅助修复了115个Bug，涵盖了JS引擎在功能的正确性与标准一致性、优化性能、解析器等方面的缺陷。同时，21个COMFORT生成的测试用例被ECMA-262官方一致性测试套件Test262收纳。

为了评估测试效率，作者还与五种SOTA测试方法进行了比较，在72小时的测试时间内，COMFORT所发现的bug数量至少是其他方法的2倍：

同时，在所生成测试用例的有效性方面，COMFORT所生成测试用例的语法正确率、整体代码覆盖率均优于其它方法。

论文地址：https://dl.acm.org/doi/abs/10.1145/3453483.3454054

该论文的源码已经通过PLDI会议的AE环节，并且已经在GitHub中公开源码和详细的代码说明文档：https://github.com/NWU-NISL-Fuzzing/COMFORT

汤老师团队同时还在Zenodo公开了AE的Docker，

地址：https://zenodo.org/record/4678051

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 学术论文推荐 2021-8-5