【顶会论文分享】未知模式加密恶意流量实时检测

流量加密技术已经被广泛应用于保护互联网信息的传递，但同时也会被一些攻击者利用，用于隐藏其恶意行为，如恶意软件、漏洞利用、数据泄露等。现如今，大多数加密流量检测方法都依赖于已知攻击的先验知识，而无法检测未知模式的攻击。

本文介绍一篇来自Network and Distributed System Security Symposium (NDSS) 的文章《Detecting Unknown Encrypted Malicious Traffic in Real Time via Flow Interaction Graph Analysis》[1]，主要介绍一种实时无监督恶意流量检测系统HyperVision，旨在通过分析流之间的交互模式来检测模式未知的恶意流量。

通常情况下，加密恶意流量与良性流量流的特征极其相似，而在攻击者与受害者交互模式中出现的恶意行为与良性行为差异较为明显。HyperVision检测系统正是利用紧凑图维护各种流之间的交互模式，并通过学习图的特征来检测异常交互，可以在不了解已知攻击流量的前提下分析图结构特征，从而实现对各种攻击的无监督检测。图1展示了HyperVision的三个关键部分：图构建、图预处理和异常交互检测。

这一部分用于维护各种流之间的交互模式。由于网络中大多数数据包都存在在长流中，而短流信息量较少且数量较多，因此将流量分为长流和短流进行处理。具体信息如图2。

这一部分的主要目标是对图进行规范化，以便后续的使用。从而帮助实现后续对未知加密恶意流量基于图学习的实时检测。

顶点处理：通过深度优先搜索方式获得连接组件，并进行聚类排除异常来获得关键组件。

边预聚类处理：并不对所有的边进行聚类，只对连接到关键顶点的边聚类。

HyperVision通过图神经网络学习流量交互图的深层特征，通过自编码器重构原始图，并与原始图对比判断流量是否异常。图4展示了检测异常流的过程。

流记录熵模型，旨在定量评估HyperVision图中保留的信息，使用三个指标来对恶意流量检测的数据表示：(i)信息量，即通过记录一个数据包获得的平均香农熵;(ii)数据的规模，即用来储存信息的空间;(iii)信息的密度，即单位存储器上的信息量。

基于此模型，对HyperVision使用的基于图的流量记录模式以及三种典型的流量记录模式进行了建模，即:(i)记录和存储整个数据包特征序列的理想化模式;(ii)基于事件的模式(例如，Zeek)，记录特定事件;(iii)基于采样的模式(如NetFlow)，记录粗粒度流信息。具体记录信息可参考文章内容，最终通过数值研究来比较真实环境中的流量记录模式。通过选取协议、长度和到达间隔三个数据包特征作为实例，得到结果：(1) HyperVision使用图形能够维护更多的信息。(2) HyperVision使用图维护了接近最优的信息。(3) HyperVision具有更高的信息密度。

表1总结了HyperVision相对于现有方法的检测精度和改进。HyperVision在80个数据集上的平均F1范围在0.927 ~ 0.978之间，平均AUC范围在0.974 ~ 0.993之间，比基线的最佳精度提高了35%和13%。此外，HyperVision不仅能检测加密恶意流量，还能够检测传统攻击类型，能够检测出其他五种方法检测不到的攻击，说明HyperVision有效。

图5展示的是图检测的吞吐量信息。分别表示：（a）1.0s时间窗口内的平均吞吐量分布;(b) 每个时间窗口的最大吞吐量;(c) 平均吞吐量;(d)系统性能稳定时的吞吐量。

由于图检测引起的延迟在图6中展示，图片分别表示：1.0s窗口内构建每条边的最大延迟，HyperVision的平均构建延迟为1.09s ~ 1.04s；(b)延迟的组成：流量分类、短流聚合和长流分布拟合的延迟分别占50.95%、35.03%和14.0%。(c)平均检测延迟;(d)每个步骤中的延迟, 75.8%的延迟来自于预聚类，然而预聚类步骤主要是为了减少后续处理，即选择关键顶点和聚类。

本文介绍了一个实时恶意流量检测系统HyperVision，通过紧凑的内存图保留流交互模式，利用图的连通性、稀疏性和统计特征来检测加密流量，同时，Hypersion以高吞吐量和低延迟方式分析流量，实现未知类型的攻击检测。