加拿大网络安全研究所 | DIDarknet:一种利用深度图像学习检测和表征暗网流量的现代方法

原文标题：DIDarknet: A Contemporary Approach to Detect and Characterize the Darknet Traffic using Deep Image Learning原文作者：Arash Habibi Lashkari, Gurdip Kaur and Abir Rahali发表会议：ICCNS '20原文链接：https://dl.acm.org/doi/abs/10.1145/3442520.3442521笔记作者：孙汉林@安全学术圈主编：黄诚@安全学术圈

1、引言

2020年之前，加密流量检测主要依赖于人工提取特征和传统机器学习方法，对于深度学习方法的使用较少，本文提出了一种名为DeepImage的新方法。DeepImage使用深度学习检测暗网流量，通过随机森林进行特征筛选，挑出重要特征，并用这些特征生成灰度图输入到二维卷积神经网络（CNN）中进行训练和测试。

为了评估该方法的有效性，作者将两个现有加密流量数据集（ISCXVPN2016 [1]和ISCXTor2017 [2]）合并，创建了一个暗网流量数据集（同时包含VPN和Tor流量）。实验结果表明，该方法分类暗网流量的准确率为86%，为实时流量检测提供了一种新颖的解决方案。

本文主要贡献如下：

• 提出了DeepImage检测方案，用于同时检测和表征VPN与Tor应用流量；
• 结合两个公开加密流量数据集，创建了一个完整的暗网流量数据集；
• 展示了二维卷积神经网络（CNN）在检测和表征暗网流量方面的有效性。

2、技术背景

当前的流量检测技术主要涵盖以下几个领域：

• 暗网流量：暗网流量检测主要集中在通过收集流量和连接的参数来识别恶意样本。关于特征提取、用户画像和攻击模式的研究较少。此外，揭露暗网市场提供的隐藏服务仍然是一个值得研究的领域。

• 加密流量：一些研究使用基于流量和包头特征的方法对加密应用（如Skype、SSH）和实时应用（如社交网络、搜索引擎、笔记、媒体）进行分类。然而，大多数研究未涵盖诸如浏览、聊天、电子邮件、文件传输、视频流、VOIP和种子下载等多种应用和协议。

• VPN流量：大多数研究主要集中在通过流量标签和数字证书对VPN流量进行分类，但没有深入研究分析VPN和Tor流量的特征。

• Tor流量：研究Tor服务和应用的主要方向包括应用层和协议层攻击、识别隐藏服务器、分类和窃听。然而，关于揭露提供隐藏服务IP地址的研究较少。

本文提出的DeepImage方法致力于解决流量多样性、隐藏服务检测以及Tor和VPN流量混合的问题，该方法基于CNN模型，利用ISCXVPN2016和ISCXTor2017数据集，通过将特征向量转换为灰度图来检测隐藏服务，并对暗网（VPN和Tor）中多种应用进行特征分析和分类。

3、数据集

本文详细介绍了目前可用的公开数据集，并提出了评估标准。数据集介绍如下：

• DARPA (1998-99) ：涵盖了27种攻击类别，包含FTP、Telnet等活动和多种攻击。数据集基于模拟网络，缺乏实时攻击流量。
• CTU-13 (2011) ：收集了13种恶意软件样本的真实Botnet流量，包含背景流量与正常流量，使用Windows虚拟机执行恶意软件并记录网络流量。
• Malware Capture Facility Project (2013) ：捕获了真实恶意软件网络流量，并进行了标记，防止DDoS和垃圾邮件。
• Anon17 (2014-17) ：包含Tor、I2P和JonDonym三个匿名工具的数据，标注了流量来源。
• ISCXVPN2016 (2016) ：捕获了VPN流量，包括浏览、聊天、文件传输、邮件等应用，且数据进行了标注。
• ISCXTor2017 (2017) ：捕获了Tor流量，涵盖浏览、聊天、FTP、视频流等应用，数据标注齐全。
• DUTA-10K (2019) ：包括25个合法与非法活动类别，标记了10,367个洋葱域名，专注于Tor上的最新隐藏活动，如CryptoLocker勒索病毒。

同时，作者提出了六项数据集评估标准，用于筛选最适合实施该实验的数据集：

• 覆盖不同连接（CDC）：数据集是否包含Tor、VPN或Tor over VPN（TV）流量。
• 完整流量（CT）：数据集是否包括多样的协议（DP）和应用（DA），以捕获到完整的网络流量。
• 完整交互（CI）：是否涵盖不同协议的完整交互，包括音频（A）、视频（V）、文件传输（FT）、聊天（T）、电子邮件（E）、VOIP（Vo）、浏览（B）和P2P（P2）等。
• 完整捕获（CC）：捕获数据包的头部（H）和加密负载（P），不进行匿名化（A），即不修改IP和端口，确保研究人员能够访问所有捕获的信息。
• 特征集（FS）：数据集中存储的特征，分为头部特征（H）和负载特征（P）。
• 元数据（M）：提供数据集的详细信息，如捕获的流量、攻击场景、协议类型等。

基于这些标准，作者对比以上7个公开数据集，虽然大多数数据集涵盖了协议和应用的多样性，且不匿名化捕获流量，但除了ISCXVPN2016和ISCXTor2017外，其他数据集在检测和表征暗网流量方面都不完整。故实验整合了ISCXVPN2016和ISCXTor2017数据集，创建了一个新的两层流量数据集作为该实验的数据集。具体数据如下：

• 第一层：标记为Benign和Darknet，代表常规流量和暗网流量。
• 第二层：标记为8类隐藏服务，代表与暗网相关的加密流量。

4、方案设计与实验结果

本方案使用了CICFlowMeter[3]提取特征，并用随机森林为80个特征进行重要性排序，最终选择了61个特征，构建了8*8*1的图片。将构造好的特征图输入的如上图所示结构的CNN中进行训练和测试。下面将从特征筛选与CNN模型表现两个方面详细展开。

4.1 特征筛选

作者在特征提取过程中排除了诸如流ID、时间戳、源目标IP等特征，得到特征重要性排序如下，并得出结论：

• 所有筛选的特征对训练暗网流量检测器的贡献几乎相等。
• 在 22 个筛选出的特征中，有 15 个特征在两层中都出现，这表明这些特征在从正常流量中检测暗网流量（层1）和表征匿名化的暗网流量（层2）时至关重要。

4.2 CNN模型表现

在上一阶段选择了最佳特征后，这些特征被用来创建二维灰度图，并输入到CNN模型中进行训练和测试。为了监控 DeepImage 的性能，研究者绘制了不同训练和测试轮次（epoch）下，层1和层2的训练与测试准确率和对数损失曲线，结果如下：

同时，作者也将该模型与一维CNN模型（即不将特征转为图片）做了对比，结果如下：

4.3 实验结果

最终，DeepImage的分类结果如下所示：

References

[1] Draper-Gil, Gerard, et al. "Characterization of encrypted and vpn traffic using time-related." Proceedings of the 2nd international conference on information systems security and privacy (ICISSP). 2016.[2] Lashkari, Arash Habibi, et al. "Characterization of tor traffic using time based features." International Conference on Information Systems Security and Privacy. Vol. 2. SciTePress, 2017.[3] CICFlowMeter. Access February 2017. Ethernet Traffic Flow Meter. https://github.com/ahlashkari/CICFlowMeter.