清华大学|基于单向Mamba的高效网络流量分类预训练模型

admin 2024年6月3日09:30:55评论227 views字数 1411阅读4分42秒阅读模式
清华大学|基于单向Mamba的高效网络流量分类预训练模型

原文标题:NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba
原文作者:Tongze Wang, Xiaohui Xie, Wenduo Wang, Chuyi Wang, Youjian Zhao, Yong Cui
原文链接:https://arxiv.org/pdf/2405.11449v2
发表会议:arXiv预发布
笔记作者:张强@安全学术圈
主编:黄诚@安全学术圈

1 介绍

《NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba》这篇论文的核心贡献在于提出了一个针对网络加密流量分类的新型预训练模型NetMamba(图1所示),它通过单向Mamba架构和全局流量和步长字节分割表示策略,有效地提高了模型的效率和分类性能。

清华大学|基于单向Mamba的高效网络流量分类预训练模型
图1 预训练 & 微调

2 本文方法

2.1 数据集

本论文在多个公开数据集下进行了下游任务的微调:

  • CrossPlatform (Android & iOS): 包含254和253个应用,用于加密应用分类。
  • ISCXTor2016: 包含8个通信类别的Tor流量数据,用于加密流量分类。
  • ISCXVPN2016: 包含7个通信类别的VPN流量数据,同样用于加密流量分类。
  • CICIoT2022: 用于攻击流量分类,构建了6个数据类别。
  • USTCTFC2016: 用于恶意软件流量分类,包含20个数据类别。

2.2 流量特征

按照如下图所示的流量将原始数据包转换一系列字节数组后,按照一个合适的步长对其进行切割,再加入每个流中前面某几个包作为全局信息,以实现降低内存消耗的同时保留序列信息和字节间潜在的关系。

清华大学|基于单向Mamba的高效网络流量分类预训练模型
图2 原始流量处理流程

2.3 方法的创新点

  • NetMamba: 一个高效的线性时间状态空间模型,配备全局流量和步长字节分割表示策略。
  • 流量表示: 保留有效信息,去除有偏信息,如全局流量和基于步幅的数据切割。
  • 使用单向Mamba架构代替Transformer(如图3所示),以解决效率问题。
  • 预训练策略: 使用掩码自编码器(MAE)结构在大量未标记数据集上通过重建mask过的分割步长的方式进行自监督预训练,学习加密流量数据的通用表示。
清华大学|基于单向Mamba的高效网络流量分类预训练模型
图3 单向mamba

2.4 实验结果

  • 在所有分类任务中,NetMamba几乎达到了99%的准确率(有些超过99%)。
  • 相比于现有的基线,NetMamba在推理速度上提高了高达60倍,同时保持了较低的内存使用。
  • 在少样本学习方面,NetMamba表现出色,即使在标记数据较少的情况下也能实现更好的分类性能。

3 作者团队介绍

论文通讯作者为清华大学计算机科学与技术系-计算机网络研究所谢晓晖助理研究员(邮箱:[email protected]),其研究领域为互联网体系结构,网络安全,人工智能。

4 其他

  • 论文代码的公开访问链接:https://github.com/wangtz19/NetMamba
重点推荐专题笔记征稿 | 暗网抑制前沿技术(SecDr-Darknet) 2024,专题开放中,有兴趣研讨或者发表论文笔记的请发送个人资料secdr#qq.com。
安全学术圈招募队友-ing 
有兴趣加入学术圈的请联系 secdr#qq.com

原文始发于微信公众号(安全学术圈):清华大学|基于单向Mamba的高效网络流量分类预训练模型

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年6月3日09:30:55
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   清华大学|基于单向Mamba的高效网络流量分类预训练模型https://cn-sec.com/archives/2807963.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息