浅谈全流量分析的运营探索

admin 2023年1月4日05:34:38评论43 views字数 2842阅读9分28秒阅读模式





点击蓝字 关注我们

免责声明

本文章只用于技术交流,若使用本文章提供的技术信息进行非法操作,后果均由使用者本人负责。

浅谈全流量分析的运营探索

序言

网络流量分析技术(NTA - Network Traffic Analysis),最早在2013年被提出,是一种威胁检测的新兴技术。2017年6月,网络流量分析NTA技术入选了Gartner《2017年11大顶尖信息安全技术》。这个国际知名的权威咨询机构是这样解读NTA技术的:NTA解决方案通过监控网络流量、连接和对象来识别恶意的行为迹象。对于那些试图通过基于网络的方式去识别绕过边界安全的高级攻击的企业而言,可以考虑使用NTA技术来帮助识别、管理和分类这些事件,作出辅助决策。

本篇文章仅阐述本人在日常运营NTA产品时的心得体会,如有不对之处,敬请各位师傅不吝指正。

 

浅谈全流量分析的运营探索

技术介绍

        不同于主机层、应用层是以日志、请求等作为分析对象,全流量分析面对的是更底层的网络数据包,信息元素更多,分析更复杂。全流量分析技术(NTA)聚焦于网络层,被行业人士认为是传统网络IDS/IPS的升级版,通常采取旁路部署的模式,部署在关键的网络区域对东西向和南北向的流量进行分析,通过边界核心交换机的端口镜像功能将镜像流量聚合到TAP再打到NTA设备,以下是一个简单的逻辑架构图:


浅谈全流量分析的运营探索

流量采集器在采集到原始流量后,会对流量数据包解析还原,当中使用了多种技术,包括端口匹配、流量特征检测和行为特征分析。

1、 端口匹配

在网络协议发展的过程当中,已经形成了一系列的标准协议规范, 其中规定了不同协议使用的端口如80、443端口的HTTP(S)协议、53端口的DNS协议等等。端口匹配就是根据这些标准或非标准的对应关系,根据TCP/UDP的端口来识别应用。这种方式具有检测效率高的优点,弱点是容易被绕过,因此在端口检测的基础上,还需要增加一些特征检测的判断和分析,来进一步分析这部分数据。

2、 流量特征检测

对于流量特征的识别,大致分为两种:一种是有标准协议的识别如HTTP、DNS,TCP/IP作为标准的通信协议,在对数据包链路层、网络层、传输层进行解码时,只需要参照标准格式规范进行解码分析即可;另一种是私有协议的识别,如果协议基于TCP或UDP协议采用的标准接口格式,只需要参照标准的格式进行解码分析即可,否则可能需要通过逆向工程分析协议机制,直接或解密后通过报文流的特征字段来识别该通信流量。

3、 行为特征分析

针对一些不便于还原的数据流量,可以采用行为特征的方法进行分析。这种方法不试图分析出每条连接上面的数据,而是使用连接的统计特征,如特定的特征字段、连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。如分析RDP或者SSH登陆等加密流量,可能无法完全还原流量通信内容,但是通过流量报文中的特定字段可以识别出该报文是主机登陆行为,一旦这类行为的报文异常高频出现,就能够判断可能出现登陆爆破的行为。还有某些数据包虽然不能准确识别协议还原流量,但是在它的TCP载荷里,经过ASCII解码后我们常常能看到一些具备明显攻击行为特征的payload如/etc/passwd、whoami等。

近年来,业界则主要使用 DPI(深度包检测)和 DFI(深度流检测)来进行流量分析,尤其是 DPI 技术可以大幅增强流量识别的精度。总体来说,DFI 注重量的统计、DPI 注重内容的分析。

浅谈全流量分析的运营探索

浅谈全流量分析的运营探索

运营场景

将全流量分析技术应用于企业安全运营上,除了在网络层具备对异常流量行为的实时监测能力外,对于端点安全和应用层资产识别来说也能起到不错的增强补充作用。

场景一:威胁检测

        NTA产品的异常流量检测应该说是其最核心的安全能力,但在笔者所接触的几家产品里,告警事件误报、漏报出现的次数都不在少数,这也是NTA常常受人诟病的地方。尽然这样,每年国家攻防演练活动期间,NTA产品都发挥出了不错的作用。运营人员可借助BAS(入侵防护模拟系统),去检验产品的检出率,针对NTA产品无法检测出来的payload,自定义检测规则补全其检测能力的缺陷。同时在日常运营中,亦可通过内部红蓝对抗等攻防活动去查缺补漏,针对性地提升产品的检测能力。

场景二:多源分析

端点安全类产品HIDS及EDR,通过安装Agent的方式采集端上的登录日志、命令执行日志等信息,再上报到管控台进行威胁检测,从而发现主机入侵威胁。比如JAVA服务命令注入执行,仅有主机上的进程服务调用日志便能准确判断是否误报,若我们想找出攻击者的攻击链路是怎样的,这时便要借助NTA的全流量调查取证功能了。此外,流量层的检测能力,也能与主机层发现互补,如主机层更侧重于进程间的调用链关系,流量层更侧重于网络数据包中是否包含恶意payload,但是对于TLS的加密木马通信,流量层也仅能依赖于IOC情报,更多地得靠主机层的异常行为检测能力。

场景三:资产识别

安全工作的前置步骤是对资产大盘的全面搜集和掌控。对于安全部门来说,各个主机的组件、中间件及框架等版本信息是需要收集的,这在应急响应排查漏洞情报受影响资产时会排得上用场。一般来说,这些资产信息会由CMDB或HIDS的Agent采集并上报存储。NTA采集了全网的南北向和东西向流量,只要它的资产特征库做到足够精准,流量层的资产识别功能亦可作为补充,若能具备资产间的访问关系模型,那将更有利于应急响应时的下一步处置动作该如何进行。

因此,高危端口、高危服务对外开放这个风险监控场景放在流量层来做是再适合不过了,同时梳理对外开放服务资产,收敛互联网暴露面,将测试系统统一收缩到零信任网关去访问,降低暴露风险。

场景四:SOAR联动

SOAR(安全编排自动化与响应)在近两年可谓是大展身手,作为一个剧本编排平台,它对接了公司里所有的安全系统,将一些比较费时费力的活都通过自动化的方式去拉取,推送。SOAR与NTA联动的几个典型例子就是:

1、 邮箱、Web弱口令自动下发工单给对应负责人处理;

2、 未授权访问告警自动下发工单给对应负责人处理;

3、 每日自动添加威胁情报IOC;

4、 每日自动化巡检;




浅谈全流量分析的运营探索

展望

    目前国内市面上的网络流量分析产品良莠不齐,大多主打概念性,实则落地时威胁检测能力不过关,告警漏报误报多,资产、协议识别能力差,流量丢包等情况频繁出现,NTA产品未来还有很长的一段路要走,任重而道远。


【参考文献】

1、流量分析在安全攻防上的探索实践 https://mp.weixin.qq.com/s/xz9v7cxQiGdsCUWbl5Lp1A

2、 网络流量分析之流量采集到流量还原https://blog.csdn.net/liushulin183/article/details/112669200

3、 网络流量分析技术(NTA)- 你不知道的事 

https://zhuanlan.zhihu.com/p/273278035



浅谈全流量分析的运营探索
浅谈全流量分析的运营探索

 

浅谈全流量分析的运营探索

公众号|A9 Team


作者|桜忒戾

原文始发于微信公众号(A9 Team):浅谈全流量分析的运营探索

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年1月4日05:34:38
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   浅谈全流量分析的运营探索https://cn-sec.com/archives/1498395.html

发表评论

匿名网友 填写信息