高鲁棒性恶意流量识别研究

admin 2022年9月25日20:42:13安全闲碎评论28 views2009字阅读6分41秒阅读模式

今天为大家介绍一篇清华大学计算机系徐恪老师团队在ACM CCS‘21上发表的文章,其解决了智能恶意流量识别系统中实时性鲁棒性不可兼得的难题。

高鲁棒性恶意流量识别研究

Realtime Robust Malicious Traffic Detection via Frequency Domain Analysis

Chuanpu Fu, Qi L, Meng Shen, *Ke Xu

In the Proceedings of ACM Conference on Computer and Communications Security (CCS), 2021.

高鲁棒性恶意流量识别研究


本项目为MIT许可证开源,讲解短视频、原文链接、源码仓库地址见文末。下面我们从被解决的科学问题出发进入正题。



1. 科学问题:互联网恶意流量识别

高鲁棒性恶意流量识别研究

随着互联网的高速普及,网络流量规模日益上升。截至2022年,互联网交换中心的流量规模已突破100Tb/s。这些洪水般的互联网流量中,不仅包含了正常用户流量(例如,抖音/快手视频流),还包含了各类攻击流量(例如,DDoS 攻击,网络扫描,恶意软件流量),这些攻击流量严重损害我国互联网用户的安全。


若能在流量转发设备上分离出攻击流量,即可保护大量合法用户。但从海量合法流量中分离少量攻击流量是一个“大海捞针”般的困难任务规,模庞大的互联网流量要求算法具备良好的的处理效率。此外,近年来新型攻击的产生对检测精度提出更严格的要求。



2. 现有方案:智能恶意流量识别

高鲁棒性恶意流量识别研究

传统固定规则恶意流量检测严重依赖深度包检测技术。其计算开销大,对加密流量彻底失效,而且仅能检测被规则描述的已知攻击,无法检测新型攻击。


约十年前,研究人员开始尝试使用人工智能算法自动地从互联网流量当中分离出恶意流量。


在智能恶意流量识别系统当中最重要的是特征提取模块,它将二进制形式的网络数据转换成为数值形式的特征向量,才能输入机器学习算法。



3. 局限性:鲁棒性/实时性不可兼得

高鲁棒性恶意流量识别研究

现有流量特征提取方案有两种:包级别 / 流级别特征:


  1. 包级别特征对每一个数据包抽取一个特征。海量的数据包导致其特征规模过大,机器学习算法无法进行实时处理

  2. 流级别特征对一组数据包序列抽取特征,但其粒度粗糙,导致检测准确率低,无法应对攻击者逃逸检测行为,其鲁棒性不足



4. 解决方案:将流量当作语音信号处理

受到现代语音处理研究的启发(例如,人声识别),我们将流量当作时域信号变换到频域空间,得到流量频域特征进行处理。


一方面,流量频域特征冗余性低,特征规模小,可以进行实时处理。另一方面,频域特征可以提取细粒度的序列信息,显著提升鲁棒性,防止攻击者各种逃逸行为。

高鲁棒性恶意流量识别研究


具体而言,该系统包含了三个主要的组成部分:

  1. 数据包解析模块:从高带宽流量当中抽取得到数据包的原始特征,例如,数据包长度,到达时间等。

  2. 频域特征抽取模块:首先对原始特征进行编码,而后进行一次离散对数变换,将编码得到的时域序列变换到频域。最后进行对数变换,消除极端值产生的影响。

  3. 轻量级机器学习模块:最后进行无监督聚类,学习流量的频域特征,不依赖已知的攻击训练,可以检测未知的攻击。



5. 理论分析:微分熵模型

我们基于信息论建立了流量特征的微分熵模型,证明了流量的频域特征相比传统流/包级别特征包含的信息量更大,因此实现了鲁棒/实时的检测。

高鲁棒性恶意流量识别研究

传统方法无法实现实时且鲁棒的检测的原因在于无法权衡特征规模信息损失.

高鲁棒性恶意流量识别研究

本质上,频域特征设计的动机是:


更好地权衡特流量征抽取时的信息损失特征冗余

高鲁棒性恶意流量识别研究
高鲁棒性恶意流量识别研究



6. 实验验证:精度/效率提升

绘制频域特征:频域特征可以显著区分正常异常流量(下图蓝色为正常,白色为异常)

高鲁棒性恶意流量识别研究


准确度提升:我们采用DPDK完全实现本系统。我们重放了42种攻击流量测试其准确度,平均情况下,该方案相比于最先进方案提升了18%的检测准确度。

高鲁棒性恶意流量识别研究
高鲁棒性恶意流量识别研究


鲁棒性提升:我们构造了28种具备逃逸行为的攻击,现有方案均无法有效检测,而这些逃逸攻击均无法逃逸本方案。

高鲁棒性恶意流量识别研究


效率提升:我们在高速网络实验平台上测试系统吞吐。结果显示,系统达到了13.22Gb/s的吞吐,相比最先进方案是两个数量级的提升。此外,系统的延迟也达到了十毫秒级别。

高鲁棒性恶意流量识别研究


高鲁棒性恶意流量识别研究

7. 未来工作:流量交互图

识别加密攻击流量一直是困难的开放性科学问题。

我们的方案:流量交互图

Flow Interaction Graph, to appear, NDSS 2023.

高鲁棒性恶意流量识别研究




结束语

最后,让我们通过一个短视频快速回顾一下该项目:


点击边框调出视频工具条
   


高鲁棒性恶意流量识别研究就先介绍到这里了,欢迎大家阅读论文原文。

如果您觉得我们做的还不错,就请给我们的Github代码仓库点个Star吧,谢谢!


原文链接:

https://dl.acm.org/doi/pdf/10.1145/3460120.3484585

视频讲解:

https://dl.acm.org/doi/10.1145/3460120.3484585

代码仓库:

https://github.com/fuchuanpu/Whisper


原文始发于微信公众号(赛博新经济):高鲁棒性恶意流量识别研究

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年9月25日20:42:13
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  高鲁棒性恶意流量识别研究 http://cn-sec.com/archives/1313737.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: