原文标题：Expected Exploitability: Predicting the Development of Functional Vulnerability Exploits
原文作者：Octavian Suciu, Connor Nelson†, Zhuoer Lyu†, Tiffany Bao†, Tudor Dumitras
*发表会议：Usenix Security Symposium(USENIX Security ) *
原文链接：https://arxiv.org/abs/2005.05607
主题类型：漏洞可利用性评估
笔记作者：MJXV
主编：黄诚@安全学术圈

研究背景

漏洞可利用性评估主要是针对在CVE，NVD等漏洞披露平台披露的漏洞，评估其被黑客等恶意人员或组织利用的可能性，从而做出针对性措施，避免自动化的漏洞利用程序在互联网上大规模传播

以往研究

过去的研究方法一般是一种二分类方法，通过提取漏洞的信息特征以及其他的一些辅助信息，将漏洞标记为可利用与不可利用。但作者通过WannaCry and NotPetya两个例子说明了基于专家一次性评判的漏洞可利用性标签并不准确，因此作者放弃了这种方法

文章方法

作者提出了一种名为预期可利用性(Expected Exploitability EE)的度量方法，与以往方法和CVSS等漏洞利用性评估方法不同的是，作者发现在漏洞发布后出现的相关信息可以很好的预测漏洞的利用和发展。也就是说，评估漏洞要有一种考虑时间变化的方法，而不是一种静态方法。

文章贡献

• 提出了一个考虑时间变化的可利用性观点，设计了期望可利用性度量，一个用来学习和连续估计功能性利用随时间变化的可能性的度量。
• 系统地描述了影响漏洞利用性预测的噪声产生过程，并提出了一种在标签噪声存在的情况下学习EE的领域特定技术
• 探索各种信息的时效性和预测效用，从PoCs中提出新的和互补的特征，并为它们开发可扩展的特征提取器。
• 使用了两个案例研究来调查EE的实际效用，表明它可以定性地改进基于可利用性的优先级策略。

所用方法

使用特征

文章使用了大量的特征，主要是来自于POC，Write-ups和漏洞数据库(文中为NVD)三个部分，并且最后会进行基于频率的剪枝操作

特征提取系统

特征提取主要是程序分析和NLP分析两种方法，程序分析主要是提取PoC代码中的特征，而NLP分析则是对PoC info，漏洞描述信息等多方面的信息进行自然语言处理，得到相关的文字特征

漏洞利用可能性预测

使用有两个隐藏层，分别大小为500和100，具有ReLU激活函数的前馈神经网络

损失函数

BCE损失

主要就是用于计算标签和模型输出值之间的距离，用于拟合网络

为标签, 是输入，为分类器的预测结果

LR损失

该损失被证明可以将分类器对噪声类的预测推向期望的噪声先验，而超参数则控制正则化强度。作者主要使用该损失来观察现有的相关安全任务的噪声校正方法在多大程度上适用于我们的问题

FFC损失

作者修改了在计算机视觉任务中被广泛认为可以增加鲁棒性的FC损失，提出了更适用于特征依赖噪声的FFC损失，FC损失如下：

而经过作者的改进，转移方程发生了变化，的计算也发生了变化

实验

数据集

作者创建了三个数据集来评估EE。首先是DS1，包含了作者收集的所有103，137个漏洞，这些漏洞在公开后的一年内至少发布了一个部件。我们以此来评估各种伪迹的时效性，比较EE与现有基线的性能，并衡量不同类别特征的预测能力。第二个数据集DS2包含了21，849个漏洞，这些漏洞在一年内覆盖了所有不同类别的漏洞。用于比较各种特征类别的预测能力，观察它们随时间的改善效用，并测试它们对标签噪声的鲁棒性。第三个漏洞，DS3包含了3，119个漏洞中的924个漏洞，作者估计了这些漏洞的漏洞出现日期。

特征依赖修复实验

首先作者设置了噪声的模拟情况，主要针对8种漏洞类型，分别使用8种CWE ID代表，具体分布如下表所示

作者对损失函数在存在模拟噪声的情况下的效果进行了测试，结果表明，BCE在大多数噪声情况下具有鲁棒性，而LR并不能带来更好的效果，无法起到减少噪声的作用。而在BCE不受噪声影响的情况下，FC同样表现良好，但在BCE受到明显影响的情况下，FC不能起到减缓噪声影响的效果，相反，作者提出的FFC起到了重要作用。

漏洞预测有效性实验

首先，作者评估了漏洞发布30天后EE模型与基线的召回率曲线对比(a)，可以看出EE显著优于基线。同时，作者还给出了不同特征的效果(b)

之后，作者还对比了EE相比特征子集的效果(a)，以及模型预测的延迟情况(b)，可以看出从10天左右，模型已经接近了真实的情况漏洞利用情况

如下图，作者通过实验表明，EE方法随着漏洞发布时间的变化(a)，而在(b)图中，作者测试了不同比重的功能性PoC对模型效果的影响，并且发现即使有70%PoC都是功能性的模型在漏洞发布13天后仍然可以取得良好效果

论文总结

在方法性层面，文章提出了一个考虑时间变化，并利用相关信息预测其期望可利用性的方法。并系统地描述了影响漏洞利用性预测的噪声产生过程，并提出了自己的解决这一噪声的FFC损失，

在实验性层面，文章探索了各种信息的时效性和预测效用，从PoCs中提出新的和互补的特征，并为它们开发可扩展的特征提取器。还使用了两个案例研究来调查EE的实际效用，证明了其有效性。