基于对比学习的加密流量分类系统

admin 2023年3月9日00:17:23评论67 views字数 18017阅读60分3秒阅读模式


基于对比学习的加密流量分类系统

引言


     与学术界常见的有监督模型不同,本文提出的基于对比学习的加密流量分类系统是一个半监督模型。二者的主要区别在于,有监督模型多是端到端的,即从数据的输入到结果预测全部由一个完整的模块来完成,而本文的半监督模型则是将该过程分为两个阶段。端到端的有监督模型对有标签的数据十分依赖,因为损失函数的优化离不开真实标签与预测标签之间的比较。相比于更加普遍的无标签加密流量数据,有标签数据在规模上显得十分微小。


     正因如此,有监督模型能够学习到的信息也十分有限。半监督模型在某种程度上可以克服这个问题。在本文的工作中,半监督模型的预训练阶段,即上游阶段,主要任务就是利用大量无标签数据训练一个编码器来得到数据的表征向量。而它的微调阶段,即下游阶段,则是利用训练好的编码器指导下游有监督分类器的学习,提升分类效果。这种训练方式在NLP 领域得到了非常广泛的应用,很多语言模型[62-67] 都采用了这种方式。


     本文将在预训练阶段的编码器的基础上进一步完善微调阶段的各个模块,最终构建一个完整的基于CL(对比学习)的加密流量分类系统CL-ETC(Contrastive Learning-Encrypted Traffic Classification,基于对比学习的加密流量分类系统)。同时,本文还将进行一系列实验验证该系统在分类效果上的优越性并尝试给出合理的解释。最后,本文还尝试对该系统做进一步的实验分析,尝试挖掘影响其表现效果的其他因素。本文的贡献有以下几点:


  1. 本文搭建了完整的CL-ETC。该系统可以利用在预训练阶段训练好的编码器来指导微调阶段的分类器来进行训练,最终使分类效果得到提升。

  2. 为了验证CL-ETC的有效性,本文将其与更丰富的基线分类模型(包括有监督模型和半监督模型)进行对比,并尝试分析基于CL的编码器给整个分类模型带来的优势。实验结果证实无标签数据同样可以提供有价值的信息用于分类,同时还证明了基于CL的编码器可以更好地指导分类器的学习。

  3. 在已构建的CL-ETC的基础上,本文做出更加深入的探索性实验并尝试找到能够进一步优化系统的方法。


基于对比学习的加密流量分类系统

系统框架


     整个系统的框架如图1所示。图1中的预训练阶段参见文章“基于对比学习的加密流量编码器”。本文将重点介绍微调阶段和测试阶段的具体流程。


基于对比学习的加密流量分类系统

1       CL-ETC的系统框架


基于对比学习的加密流量分类系统

数据预处理


     由于在微调阶段使用的数据是有标签的数据,各个类别的数据规模是可以确定的,因此就很有可能会出现各类别数据在规模上分布不均衡的问题。对于机器学习和深度学习模型而言,训练数据在类别上的不均衡很有可能会导致模型对占多数的数据更加敏感但同时对占少数的数据不那么敏感,最终影响模型的泛化能力。目前在加密流量分类领域,除了使用GAN[38,42] 生成人工样本,更简单的处理方法包括过采样和欠采样[40]。过采样和欠采样都是面向数据来解决数据分布不均衡的方法。其中,过采样指的是对次要类别数据进行重复采样进而扩充次要类别数据的规模,而欠采样则是对主要类别数据进行部分采样进而削减主要类别数据的规模。在加密流量数据按照第3.3节中的方法转化成灰度图后,本文对于主要类别数据将采用欠采样,而对于次要类别数据则采用过采样,最终得到各类别较为均衡的有标签训练数据集。


基于对比学习的加密流量分类系统

分类器原理


     在这里我们将采用MLP作为分类器。我们选择MLP主要出于以下考虑:第一,以MLP作为后续处理模型是很多NLP领域的语言模型经常采用的方法。这种做法值得借鉴。第二, 作为一种十分简单的神经网络,MLP的分类效果如果表现优异则更能够体现编码器对分类器的指导作用。第三,如果考虑到实际部署,MLP相对于其他模型更加轻量级,可以节约更多资源。分类器的具体结构参数如表1所示。其中,Softmax函数是一种经常用于多分类模型的最后一层神经网络中的激活函数。该函数会将最后一层神经网络的输出映射到[0, 1]的区间中,类似于输入数据对应不同标签的概率。


表1  分类器的结构参数

基于对比学习的加密流量分类系统


基于对比学习的加密流量分类系统

实验与结果分析


5.1实验目的


     本文根据本文所述的内容搭建完整的CL-ETC。为了验证CL-ETC的有效性,这里会将 CL-ETC 与其他基线模型进行对比实验。对比实验包括有监督模型与半监督模型之间的对比,还有不同半监督模型之间的对比。通过对比实验,一方面可以验证半监督模型可以更好地利用无标签数据提取有效信息,另一方面还可以证明基于CL的编码器可以更好地指导分类器学习。除此以外,本文还会对CL-ETC进行探索性实验以挖掘系统的性质并尝试找到可以进一步优化系统的方法。


5.2基线模型


     为了验证半监督模型可以更好地利用无标签数据提取有效信息,本文在此从一些经典的有监督模型中选取了最具代表性的几个作为基线模型。它们分别是一维CNN、二维CNN和MLP。它们各自的结构分别如表2、表3和表4所示。

2       一维CNN模型的结构参数

基于对比学习的加密流量分类系统

3       二维CNN模型的结构参数

基于对比学习的加密流量分类系统表4  MLP模型的结构参数

基于对比学习的加密流量分类系统


     另外,这里还将 CL-ETC 中在微调阶段使用的训练好的基于CL的编码器替换为训练好的基于AE的编码器以对比不同编码器下分类模型的效果。


5.3实验数据集与超参数设置


     本文实验是基于TFB、TFM和 THC 来完成的。在超参数方面,CL-ETC 的增强器中数据随机覆盖的字节长度还是14。优化器仍然选用 Adam。其中梯度指数平均衰减率 𝛽1 取 0.5,梯度平方指数平均衰减率 𝛽2 取 0.99。学习率取 0.00001。训练批次大小全部保证为100。每个分类模型都至多训练 500 个迭代轮次。最后, 为了防止出现过拟合现象,我们采用早停[69] 技巧,即从训练集中额外划出一小部分数据作为验证集并规定当模型在验证集上的效果连续 10 个迭代轮次都没有得到优化时则停止训练。


5.4实验数据集与超参数设置


5.4.1验证 CL-ETC 在分类任务中的有效性

     本文在 3 个数据集上分别对 CL-ETC 和所有基线模型进行了验证,最后得到的实验结果分别如图 2、图  3和图  4所示。其中,AE-ETC 指将CL-ETC 中编码器替换成训练好的基于AE 的编码器的模型,CNN-1D 指一维CNN 模型,CNN-2D 指二维CNN 模型。为了较为全面地评价各个模型的分类效果,这里采用了4 种常见的指标,它们分别是准确率、精确率、召回率和 F1-Score。其中,准确率表示整个测试集中被正确预测的数据的比率。精确率表示被预测为某一类的所有数据中被正确预测的数据的比率。召回率表示某一类的所有数据中被正确预测的数据的比率。F1-Score 则是精确率和召回率的调和平均数。实验结果中显示的精确率、召回率和 F1-Score 都是对所有类别的精确率、召回率和F1-Score 取平均后的结果。


基于对比学习的加密流量分类系统

图2  各种模型在 TFB 数据集上的分类效果


基于对比学习的加密流量分类系统

3 各种模型在TFM数据集上的分类效果


基于对比学习的加密流量分类系统

图4 各种模型在 THC 数据集上的分类效果


分析各图结果可以得到以下结论:

  1. 半监督模型的效果普遍要比有监督模型的更好。导致这一结果的原因有两个。一个是半监督模型使用了有监督模型无法使用的无标签数据。规模庞大且含有丰富信息的无标签数据同样可以指导分类模型的学习。另一个则是半监督模型会按照自己的方式充分挖掘数据的抽象特征并让分类器对这些已挖掘的特征进行进一步学习,而非像有监督学习那样一边提取特征一边将这些特征与一个人工标签进行匹配。


  2. 在两个半监督模型 CL-ETC 和 AE-ETC 中,CL-ETC 是所有实验中表现最好的,而 AE-ETC 表现要不如 CL-ETC。由于 CL-ETC 和 AE-ETC 的神经网络结构是完全一致的,只是编码器的训练方式不同,因此从微调阶段的分类效果上看可以认为基于 CL 的编码器可以提取质量更高的表征向量。


  3. 对比各表的结果可以发现,每个模型在THC 数据集上的表现都明显要比在另外两个数据集上的表现要差。这是因为THC 数据集在规模上是远不如另外两个数据集的。训练数据规模较小的确会对分类效果产生负面影响。但在如此的条件下,CL-ETC 仍然可以达到最好的分类效果,说明基于 CL 的编码器在充分挖掘特征的同时保证留下的特征对于微调阶段的分类模型是更具有学习价值的。


5.4.2 验证基于CL的编码器可以对分类器的训练进行指导

     编码器对分类器的指导作用除了可以体现在分类器的最终分类效果上,还可以体现在分类器的训练过程中。对分类器可以起到更好指导作用的编码器还可以提升分类器的训练速度。因此,我们引入分类器在微调阶段的收敛速度作为参考并且以分类器的平均损失变化来描述收敛速度。我们在 3 个训练数据集上分别监测并记录 CL-ETC 和AE-ETC 的分类器的平均损失变化并将其可视化。可视化结果分别如图 5、图 6和图7所示。


基于对比学习的加密流量分类系统

图5 CL-ETC 和 AE-ETC 在 TFB 数据集上分类器训练的收敛速


基于对比学习的加密流量分类系统

图6 CL-ETC和 AE-ETC 在 TFM 数据集上分类器训练的收敛速度


基于对比学习的加密流量分类系统

图7 CL-ETC 和 AE-ETC 在THC 数据集上分类器训练的收敛速度


     根据 3 个可视化结果的内容,不难发现,无论实验采用的是哪个数据集,CL- ETC 相比较于 AE-ETC 在平均损失曲线上起点更低、下降速率更快、达到最佳收敛状态需要的迭代轮次更少以及到达收敛状态时平均损失值更低。以上几个方面都可以体现出基于 CL 的编码器可以在一定程度上削减分类器的学习压力。


     这是因为基于 CL 的编码器在提取特征的同时会对特征进行过滤和筛选,另外还尽可能地让同类别数据的表征向量尽可能接近而不同类别数据的表征向量尽可能疏离。通过提供这样高质量的表征向量,分类器可以更加容易地把握区分不同类别数据的特征并在此基础上快速学习如何对数据进行分类。而基于AE 的编码器则难以提供这样的表征向量,导致分类器不得不花更多的时间训练。


5.5探索性试验


5.5.1数据随机覆盖的最佳长度

     数据随机覆盖是 CL-ETC 独有的一种处理过程。该过程力图在对数据做最小程度破坏的基础上生成多个相似但不完全相同的增强数据。其中,如果随机覆盖的长度太小,对于编码器而言可能难以捕获增强样本之间的区别。但如果随机覆盖的长度太大,则可能破坏掉大量关键特征。因此,本文在此尝试让增强器对数据做不同长度的随机覆盖。然后再将训练好的编码器迁移到微调阶段以检验分类效果。这里我们只统计了准确率,得到的结果如图8所示。

基于对比学习的加密流量分类系统

图8 不同数据随机覆盖长度对 CL-ETC 准确率的影响


     显然,从图 8中可以看出,对于每一个数据集,CL-ETC 准确率的变化总体上是呈先增大后减小的趋势的。由于不同的数据集数据分布情况不同,因此使分类器到达最佳分类效果的随机覆盖长度也不相同。不过,每个数据集的最佳随机覆盖长度都在数据全长的 25% 之内,即小于 196个字节。另外,尽管之前的实验已经证明了 CL-ETC 可以达到相比较于其他模型更好的分类效果,但是本实验的结果也说明整个分类系统的能力还可以得到进一步的提高。不过,不同的数据集上分类器准确率的提升幅度也不相同,最大的约为 0.3,而最小的约为 0.005。


5.5.2增强样本的最佳个数

     CL 模型在应用于其他领域时多是对一个输入数据生成两个增强样本。考虑到增强样本的存在可以让编码器学习到哪些特征对数据增强不敏感进而提取这些特征,那么尝试为一个输入数据生成超过两个的增强样本的做法也应该是一个合理的优化方向。因此,本文还额外进行了多次实验。实验控制的唯一变量就是增强样本的个数,而且数据随机覆盖长度仍为 14。实验结果如图 9所示。


基于对比学习的加密流量分类系统

图9 不同增强样本个数对 CL-ETC 准确率的影响


     从实验结果中不难发现,增加增强样本的个数是可以提升 CL-ETC 的分类效果的。但是这种提升收益很低,即便是在提升效果最明显的THC 数据集上,准确率的最大提升也不超过 0.01。而且,为同一个输入数据生成更多的增强样本也意味着在训练编码器的时候需要消耗更多的计算资源和时间。因此,增加增强样本的个数是一种得不偿失的优化方式。增强样本只要有两个就足够了。


5.5.3用随机丢弃神经元的方式实现数据增强

     数据随机覆盖虽然是一种有效并且很容易实现的方法,不过该方法需要额外的操作,而且这种数据增强方式与神经网络的学习存在一种割裂。因此,本文还考虑了另外一种数据增强方式,就是将数据增强融入到神经网络处理当中。依靠在训练过程中随机丢弃神经元,即 Dropout[70] 操作,来保证同一个数据只需要重复输入神经网络多次就可以产生多个不同的结果。


     Dropout 操作原本是神经网络中经常用来防止过拟合的一种训练技巧。如图10所示,在搭建神经网络的过程中,可以指定某个隐藏层中的所有神经元在训练阶段按照设置好的概率被保留或者暂时被丢弃。暂时被丢弃的神经元将不再 参与此次正向传播和反向传播。由于每一次数据输入时被暂时丢弃的神经元都会 发生变化,因此可以认为每次数据都是被输入到一个结构不太一样的神经网络中。所以即便是同一个输入数据,反复输入多次得到结果也是不完全相同的。


基于对比学习的加密流量分类系统

图10 Dropout 原理示意图


     这种基于 Dropout 的数据增强方法的CL 模型在学术界已经有过成功的先例。在 NLP 领域中,SimCSE[71] 就是这一做法的经典代表。该模型就是通过这样的方式很好地学习到一个句子的表征向量。考虑到加密流量数据自身也具有文本属性, 因此本文也会尝试用这样的方式进行数据增强。


     本文尝试对编码器的最后一层全连接层设置 Dropout 并进行实验。实验结果如图 11所示。从结果中不难发现,采用 Dropout 的数据增强方法对CL-ETC 的准确率提升并没有什么帮助,反而还限制了系统的最终表现。即便是其中表现最好的结果,也不如同等条件下原来的 CL-ETC 得到的结果。这一结论与我们的预期是大相径庭的。我们分析之所以会产生这样的结果主要原因在于同一批次的训练数据不够多。


     理论上,基于 CL 的编码器一次比对的数据越多,其学习到的信息就更加准确。同时,Dropout 本身也会对编码器学习到的抽象特征进行破坏,而且这种破坏是毫无规律的。当同一批次的训练数据不够多的时候,即使 Dropout 的概率值设置的很小,也会对编码器学到的有效信息造成大幅度的破坏,进而干扰编码器的进一步学习。


基于对比学习的加密流量分类系统

图11 不同 Dropout 概率对 CL-ETC 准确率的影响


基于对比学习的加密流量分类系统

小结


     本文设计了一种半监督的加密流量分类系统CL-ETC。该系统会利用有标签数据和训练好的编码器指导分类器的学习并提升最终的分类效果。本文在验证性实验部分通过将 CL-ETC 与其他基线模型进行对比发现 CL-ETC 可以在所有实验数据集上都取得更好的分类效果,同时还利用收敛速度这一指标验证了基于 CL 的编码器确实可以明显减轻分类器的学习压力。以上结果也从侧面证明了基于CL 的编码器相对于基于AE 的编码器可以提取质量更高的表征向量。最后,在探索性实验部分,本文还尝试了其他可能进一步优化 CL-ETC 的改进方案。


参考文献:

[1]Google.Google透明度报告[EB/OL].2022[2022-03-06].https://transparencyreport.google.com/https/overview.

[2]陈良臣, 高曙, 刘宝旭, . 网络加密流量识别研究进展及发展趋势[J].信息网络安全,2019(3):7.

[3]Anderson B, McGrew D. Identifying encrypted malware traffic with contextual flow data[C]//Proceedingsofthe2016ACMworkshoponartificialintelligenceandsecurity.2016:35-46.

[4]De Haan P, Jayaraman D, Levine S.Causal confusion in imitation learning[J].Advances inNeuralInformation Processing Systems,2019,32.

[5]Dainotti A, Pescape A, Claffy K C. Issues and future directions in traffic classification[J/OL].IEEENetwork,2012, 26(1):35-40.DOI: 10.1109/MNET.2012.6135854.

[6]ConstantinouF,MavrommatisP.Identifyingknownandunknownpeer-to-peertraffic[C/OL]//FifthIEEEInternationalSymposiumonNetworkComputingandApplications(NCA’06).2006:93-102.DOI: 10.1109/NCA.2006.34.

[7]ThayC,VisoottivisethV,MongkolluksameeS.P2ptrafficclassificationforresidentialnetwork[C/OL]//2015 International Computer Science and Engineering Conference (ICSEC).2015:1-6.DOI: 10.1109/ICSEC.2015.7401433.

[8]HafeezS.Deeppacketinspection[J].EetimesCom,2016(11):585-589.

[9]HaffnerP.Acas:Automatedconstructionofapplicationsignatures[C]//SIGCOMM’05Work-shops,Augst.2005.

[10]Wright C, Monrose F, Masson G M. Hmm profiles for network traffic classification[C]//AcmWorkshoponVisualization&DataMiningforComputerSecurity.2004:9.

[11]WrightCV,MonroseF,MassonGM.Oninferringapplicationprotocolbehaviorsinencryptednetworktraffic[J].JournalofMachineLearningResearch,2006,6(4):2745-2769.

[12]Alshammari R, Zincir-Heywood A N. Machine learning based encrypted traffic classification:Identifying ssh and skype[C/OL]//2009 IEEE Symposium on Computational Intelligence forSecurityand DefenseApplications.2009:1-8.DOI:10.1109/CISDA.2009.5356534.

[13]Alshammari R, Nur Zincir-Heywood A. A flow based approach for ssh traffic detection[C/OL]//2007 IEEE International Conference on Systems, Man and Cybernetics. 2007: 296-301. DOI:10.1109/ICSMC.2007.4414006.

[14]Dusi M, Este A, Gringoli F, et al. Using gmm and svm-based techniques for the classification ofssh-encrypted traffic[C/OL]//2009 IEEE International Conference on Communications. 2009:1-6.DOI: 10.1109/ICC.2009.5199557.

[15]Sun G L, Xue Y, Dong Y, et al. An novel hybrid method for effectively classifying encryptedtraffic[C/OL]//2010 IEEE Global Telecommunications Conference GLOBECOM 2010. 2010:1-5.DOI: 10.1109/GLOCOM.2010.5683649.

[16]Gu R, Wang H, Ji Y. Early traffic identification using bayesian networks[C/OL]//2010 2nd IEEEInternationalConference on Network Infrastructure and Digital Content. 2010: 564-568. DOI:10.1109/ICNIDC.2010.5657833.

[17]TabatabaeiTS,KarrayF,KamelM. Earlyinternettrafficrecognitionbasedonmachinelearningmethods[C/OL]//2012 25th IEEE Canadian Conference on Electrical and Computer Engineer-ing(CCECE).2012:1-5.DOI: 10.1109/CCECE.2012.6335034.

[18]HuijunC,HongS,HongZ.Earlyrecognitionofinternetserviceflow[C/OL]//201322ndWire-less and Optical Communication Conference. 2013: 464-468. DOI: 10.1109/WOCC.2013.6676412.

[19]Draper-GilG,LashkariAH,MamunMSI,etal.Characterizationofencryptedandvpntrafficusingtime-related features[C]//ICISSP.2016.

[20]Yamansavascilar B, Guvensan M A, Yavuz A G, et al.Application identification via net-work traffic classification[C/OL]//2017 International Conference on Computing, NetworkingandCommunications (ICNC).2017:843-848.DOI: 10.1109/ICCNC.2017.7876241.

[21]Lashkari A H, Draper-Gil G, Mamun M S I, et al.Characterization of tor traffic using timebasedfeatures[C]//ICISSP.2017.

[22]Shahbar K, Zincir-Heywood A N.How far can we push flow analysis to identify encryptedanonymity network traffic?[C/OL]//NOMS 2018 - 2018 IEEE/IFIP Network Operations andManagementSymposium.2018:1-6.DOI: 10.1109/NOMS.2018.8406156.

[23]ShahbarK,Zincir-HeywoodAN.Packetmomentumforidentificationofanonymitynetworks[C/OL]//Journal of Cyber Security and Mobility: volume 6. 2017: 27-56. DOI: https://doi.org/10.13052/jcsm2245-1439.612.

[24]Wang Z. The applications of deep learning on traffic identification[C]//Black Hat USA 2015.2015.

[25]LotfollahiM,SiavoshaniMJ,ZadeRSH,etal.Deeppacket:Anovelapproachforencryptedtrafficclassificationusingdeeplearning[J].Soft Computing,2020,24(3):1999-2012.

[26]Wang W, Zhu M, Wang J, et al. End-to-end encrypted traffic classification with one-dimensionalconvolution neural networks[C]//2017 IEEE International Conference on Intelligence and Se-curity Informatics(ISI).IEEE, 2017:43-48.

[27]Wang W, Zhu M, Zeng X, et al. Malware traffic classification using convolutional neural net-workforrepresentationlearning[C]//2017InternationalConferenceonInformationNetworking(ICOIN).IEEE, 2017:712-717.

[28]Lim H K, Kim J B, Heo J S, et al. Packet-based network traffic classification using deep learning[C/OL]//2019InternationalConferenceonArtificialIntelligenceinInformationandCommuni-cation(ICAIIC).2019:046-051.DOI: 10.1109/ICAIIC.2019.8669045.

[29]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings oftheIEEE conferenceon computer vision and pattern recognition.2016:770-778.

[30]Rezaei S, Liu X.How to achieve high classification accuracy with just a few labels: A semi-supervisedapproachusing sampledpackets[J].ArXiv,2019, abs/1812.09761.

[31]ZhangJ,LiF,YeF,etal.Autonomousunknown-applicationfilteringandlabelingfordl-basedtraffic classifier update[C/OL]//IEEE INFOCOM 2020 - IEEE Conference on Computer Com-munications.2020:397-405.DOI: 10.1109/INFOCOM41043.2020.9155292.

[32]薛文龙, 于炯, 郭志琦, . 基于特征融合卷积神经网络的端到端加密流量分类[J].计算机工程与应用, 2021, 57(18):8.

[33]Lopez-Martin M, Carro B, Sanchez-Esguevillas A, et al.Network traffic classifier with con-volutional and recurrent neural networks for internet of things[J/OL].IEEE Access, 2017, 5:18042-18050.DOI: 10.1109/ACCESS.2017.2747560.

[34]Liu C, He L, Xiong G, et al. Fs-net: A flow sequence network for encrypted traffic classifica-tion[C/OL]//IEEE INFOCOM 2019 - IEEE Conference on Computer Communications. 2019:1171-1179.DOI: 10.1109/INFOCOM.2019.8737507.

[35]Wang X, Chen S, Su J.App-net: A hybrid neural network for encrypted mobile traffic clas-sification[C/OL]//IEEE INFOCOM 2020 - IEEE Conference on Computer CommunicationsWorkshops (INFOCOM WKSHPS). 2020: 424-429. DOI: 10.1109/INFOCOMWKSHPS50562.2020.9162891.

[36]Wang M, Zheng K, Luo D, et al. An encrypted traffic classification framework based on con-volutionalneuralnetworksandstackedautoencoders[C/OL]//2020IEEE6thInternationalCon-ference on Computer and Communications (ICCC). 2020: 634-641. DOI: 10.1109/ICCC51575.2020.9344978.

[37]Goodfellow I, Pouget-Abadie J, Mirza M, et al.Generative adversarial nets[J].Advances inneuralinformation processing systems, 2014, 27.

[38]WangP,LiS,YeF,etal.Packetcgan:Exploratorystudyofclassimbalanceforencryptedtrafficclassification using cgan[C/OL]//ICC 2020 - 2020 IEEE International Conference on Commu-nications(ICC).2020:1-7.DOI: 10.1109/ICC40277.2020.9148946.

[39]MirzaM,OsinderoS.Conditionalgenerativeadversarialnets[J].arXivpreprintarXiv:1411.1784,2014.

[40]JapkowiczN,etal.Learningfromimbalanceddatasets:acomparisonofvariousstrategies[C]//AAAI workshop on learning from imbalanced data sets: volume 68. AAAI Press Menlo Park,CA,2000:10-15.

[41]ChawlaNV,BowyerKW,HallLO,etal.Smote:syntheticminorityover-samplingtechnique[J].Journal of artificial intelligenceresearch,2002, 16:321-357.

[42]Guo Y, Xiong G, Li Z, et al. Combating imbalance in network traffic classification using ganbased oversampling[C/OL]//2021 IFIP Networking Conference (IFIP Networking). 2021: 1-9.DOI:10.23919/IFIPNetworking52078.2021.9472777.

[43]Li C, Xu T, Zhu J, et al. Triple generative adversarial nets[J]. Advances in neural informationprocessingsystems,2017, 30.

[44]Aouedi O, Piamrat K, Bagadthey D. A semi-supervised stacked autoencoder approach for net-worktrafficclassification[C/OL]//2020IEEE28thInternationalConferenceonNetworkProto-cols(ICNP).2020:1-6.DOI: 10.1109/ICNP49622.2020.9259390.

[45]Xing J, Wu C.Detecting anomalies in encrypted traffic via deep dictionary learning[C/OL]//IEEE INFOCOM 2020 - IEEE Conference on Computer Communications Workshops (INFO-COMWKSHPS).2020:734-739.DOI:10.1109/INFOCOMWKSHPS50562.2020.9162940.

[46]Van den Oord A, Li Y, Vinyals O. Representation learning with contrastive predictive coding[J].arXiv e-prints, 2018:arXiv-1807.

[47]He K, Fan H, Wu Y, et al.Momentum contrast for unsupervised visual representation learn-ing[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2020:9729-9738.

[48]Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visualrepresentations[C]//Internationalconferenceon machinelearning.PMLR, 2020:1597-1607.

[49]Chen X, Fan H, Girshick R, et al. Improved baselines with momentum contrastive learning[J].arXivpreprint arXiv:2003.04297,2020.

[50]Chen T, Kornblith S, Swersky K, et al. Big self-supervised models are strong semi-supervisedlearners[J].Advancesinneuralinformationprocessingsystems,2020,33:22243-22255.

[51]Le-Khac P H, Healy G, Smeaton A F.Contrastive representation learning: A framework andreview[J/OL].IEEEAccess,2020,8:193907-193934.DOI:10.1109/ACCESS.2020.3031549.

[52]Yang Y, Kang C, Gou G, et al.Tls/ssl encrypted traffic classification with autoencoder andconvolutional neural network[C/OL]//2018 IEEE 20th International Conference on High Per-formance Computing and Communications;IEEE 16th International Conference on SmartCity;IEEE4thInternationalConferenceonDataScienceandSystems(HPCC/SmartCity/DSS).2018:362-369.DOI: 10.1109/HPCC/SmartCity/DSS.2018.00079.

[53]Wei J, Zou K. Eda: Easy data augmentation techniques for boosting performance on text clas-sificationtasks[J].ArXiv,2019, abs/1901.11196.

[54]Glorot X, Bordes A, Bengio Y.Deep sparse rectifier neural networks[C]//Proceedings of thefourteenthinternationalconferenceonartificialintelligenceandstatistics.JMLRWorkshopandConferenceProceedings, 2011:315-323.

[55]GutmannM,HyvärinenA.Noise-contrastiveestimation:Anewestimationprincipleforunnor-malizedstatisticalmodels[C]//Proceedingsofthethirteenthinternationalconferenceonartificialintelligenceandstatistics.JMLRWorkshopandConferenceProceedings,2010:297-304.

[56]LampingU,WarnickeE.Wiresharkuser’sguide[J].Interface,2004,4(6):1.

[57]KingmaDP,BaJ.      Adam:  Amethodforstochasticoptimization[J].              arXivpreprintarXiv:1412.6980,2014.

[58]LittlechildS C, OwenG.A simple expressionfor the shapley valuein a specialcase[J].Man-agementScience, 1973, 20(3):370-372.

[59]ZhangQs,ZhuSC.Visualinterpretabilityfordeeplearning:asurvey[J].FrontiersofInfor-mationTechnology& ElectronicEngineering, 2018, 19(1):27-39.

[60]Choo J, Liu S. Visual analytics for explainable deep learning[J/OL]. IEEE Computer GraphicsandApplications, 2018, 38(4):84-92.DOI: 10.1109/MCG.2018.042731661.

[61]WangT,IsolaP.Understandingcontrastiverepresentationlearningthroughalignmentanduni-formity on the hypersphere[C]//International Conference on Machine Learning. PMLR, 2020:9929-9939.

[62]Devlin J, Chang M W, Lee K, et al.Bert: Pre-training of deep bidirectional transformers forlanguageunderstanding[J].arXiv preprint arXiv:1810.04805,2018.

[63]LiuY,OttM,GoyalN,etal.Roberta:Arobustlyoptimizedbertpretrainingapproach[J].arXivpreprint arXiv:1907.11692,2019.

[64]Lan Z, Chen M, Goodman S, et al. Albert: A lite bert for self-supervised learning of languagerepresentations[J].arXiv preprint arXiv:1909.11942,2019.

[65]Yang Z, Dai Z, Yang Y, et al. Xlnet: Generalized autoregressive pretraining for language un-derstanding[J].Advancesinneural informationprocessingsystems,2019,32.

[66]Song K, Tan X, Qin T, et al.Mass: Masked sequence to sequence pre-training for languagegeneration[J].arXiv preprint arXiv:1905.02450,2019.

[67]Dong L, Yang N, Wang W, et al.Unified language model pre-training for natural languageunderstanding and generation[J].Advances in Neural Information Processing Systems, 2019,32.

[68]LinTY,GoyalP,GirshickR,etal.Focallossfordenseobjectdetection[C]//ProceedingsoftheIEEEinternational conference on computer vision.2017:2980-2988.

[69]PrecheltL.Earlystopping-butwhen?[M]//NeuralNetworks:Tricksofthetrade.Springer,1998:55-69.

[70]SrivastavaN,HintonG,KrizhevskyA,etal.Dropout:asimplewaytopreventneuralnetworksfromoverfitting[J].Thejournalofmachinelearningresearch,2014,15(1):1929-1958.

[71]GaoT,YaoX,ChenD.Simcse:Simplecontrastivelearningofsentenceembeddings[J].arXivpreprint arXiv:2104.08821,2021.

[72]Konečnỳ J, McMahan B, Ramage D. Federated optimization: Distributed optimization beyondthedatacenter[J].arXiv preprint arXiv:1511.03575,2015.

[73]McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networksfromdecentralizeddata[C]//Artificialintelligenceandstatistics.PMLR,2017:1273-1282.

[74]ZhaoY,LiM,LaiL,etal.Federatedlearningwithnon-iiddata[J].arXivpreprintarXiv:1806.00582,2018.

[75]LiX,HuangK,YangW,etal.Ontheconvergenceoffedavgonnon-iiddata[J].arXivpreprintarXiv:1907.02189,2019.

[76]WHDY.Fedavg[EB/OL].2022[2022-04-07].https://github.com/WHDY/FedAvg.




基于对比学习的加密流量分类系统

点击二维码,关注我们

基于对比学习的加密流量分类系统


原文始发于微信公众号(湘雪尘奕):基于对比学习的加密流量分类系统

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年3月9日00:17:23
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   基于对比学习的加密流量分类系统https://cn-sec.com/archives/1234420.html

发表评论

匿名网友 填写信息