如何在公有云中部署NDR

Gartner在4月份发布了《新兴技术：安全—网络威胁检测与响应（NDR）采用增长洞察》（Emerging Tech: Security — Adoption Growth Insights for Network Detection and Response, Nat Smith, Christian Canales, Jeremy D'Hoinne, April 4, 2023）和《新兴技术：网络威胁检测与响应（NDR）最佳用例》（Emerging Tech: Top Use Cases for Network Detection and Response, Nat Smith, Christian Canales, Jeremy D'Hoinne, Dan Ayoub, April 5, 2023）。

这两份报告现在还需要付费获取，笔者家境清寒买不起，其中感兴趣的是这个“最佳用例”，哪位小伙伴有的话share一下😅。恰逢最近做了几个云上流量检测的项目，有一点小总结，于是翻了翻Gartner去年发布的NDR市场指南（Market Guide for Network Detection and Response）温习一下，其中指出，“网络检测和响应市场稳步增长，并扩展到新的用例，如IaaS。安全和风险管理负责人应该优先考虑NDR，将其作为其他检测工具的补充，专注于低误报率和检测其他控制没有涵盖的异常。”

那么，如何在IaaS中应用NDR呢？至少需要考虑以下三件事。

1、你可以拿到IaaS环境中的原始网络流量

公有云中无法像物理环境中一样使用交换机的镜像流量接入到NDR设备的监听口，也没有办法像私有云中一样操作虚拟交换机，你需要一些特别的操作。有些公有云厂商会提供原生的流量镜像服务，业内支持比较好的是AWS，提供了灵活、可靠的流量镜像服务，用户可以根据实际的网络架构按需选择合适的镜像位置，如GWLB，ENI，或第三方Agent、第三方WAF、第三方Proxy、第三方防火墙等设备作为流量镜像源，下面分别介绍这几种方案的特点。

• GWLB（Gateway Load Balancer）流量镜像方案。该方案于2020年推出，这项服务使部署、扩展和管理第三方虚拟设备（如防火墙​、入侵检测和防御系统​、云中的深度数据包检测系统）的可用性变得简单且经济高效。除了安全设备之外，GWLB 还为数据分析、电信、物联网 (IoT) 和自定义设备提供同样的好处。AWS 合作伙伴网络​和 AWS Marketplace​ 合作伙伴还可以为 AWS 客户提供虚拟设备即服务，而无需解决规模、可用性和服务交付等复杂问题。在此之前AWS已经有比较简单的ENI流量镜像方案（elastic networking interfaces）的方案（有时也叫做VPC Traffic Mirroring），GWLB镜像方案的好处是支持用户集中对 AWS 账户以及 VPC 的网络流量进行带外监控和检查，支持跨VPC和跨账户，支持多对多的流量镜像复制。

  如下图所示，GWLBe（e=endpoint，它相当于VPC Traffic Mirroring的服务端，也同时作为GWLB的客户端）作为VPC Traffic Mirroring的目标，再把流量送往GWLB，最后到达GWLB后面的检测设备，即镜像流量->GWLBe->GWLB->检测设备，GWLB方案提供镜像源和检测设备之间的私有连接。GWLBe配置在应用VPC的一个子网内，VPC到GWLBe流量无需启用ENI镜像服务，但需要修改现有的应用所在私有子网的路由表，将默认路由指向到GWLBe，再把GWLBe所在子网的路由指向原来的IGW（Internet gateway）出网。因此可能会涉及网络架构的变动，对于现网中没有使用GWLB的用户，投入工作量会比较大。Tips：GWLB不仅可以把流量给旁路的NDR，也可以给到串联的防火墙，然后再原路返回给GWLBe出网也是可以的，见下面第二个图。

• ENI直接镜像的方案。这个方案比较简单，AWS本身就支持把ENI（可以理解为云主机的网卡）镜像到指定云主机的ENI、指定的NLB(Network Load Balancer，注意，都叫LB，但不同于GWLB)、指定的GWLBe，不需要额外安装Agent，区别于传统物理网卡或虚拟网卡，ENI是一个云原生的服务，在ENI捕获数据包，不会像以前在网卡上执行tcpdump一样影响主机的性能，也不用担心攻击者在用户空间禁用或篡改。借助此功能，客户可以复制来自 EC2 实例的网络流量并将其转发到安全和监控设备，用于内容检查、威胁监控和故障排除。所有的镜像策略（包括GWLB方式）都可以像传统数据中心中使用的TAP一样做镜像流量的过滤，包括流量出入站方向、协议、源目端口、源目IP地址范围等，用户可以按需选择，在检测深度和成本之间取得较好的平衡。

国内厂商阿里云走的比较前，腾讯云技术上也可以支持，只是一直处于内测状态，受限提供给他的用户，用户需要和腾讯云的BD/SA沟通，这两家的支持路线和AWS类似，只是场景丰富度和部署经验还需要些积累，此处不再赘述，下附链接。

https://help.aliyun.com/document_detail/207512.html?spm=a2c4g.207514.0.0.55f3c76dL78axO

https://cloud.tencent.com/document/product/215/44338

Azure的该项服务叫做虚拟网络TAP，虽然做了一定的开发支持，但现在属于暂停状态。

https://learn.microsoft.com/en-us/azure/virtual-network/virtual-network-tap-overview

第三方流量采集Agent。如果你使用的云厂商无法支持原生的流量镜像服务，那你可能得选择第三方基于Agent的商业方案或者开源方案，比如Pktminerg。这个工具是Netis（天旦）维护的开源项目，内核基于libpcap和winpcap，支持CentOS 6/7, RedHat 7, SUSE 12, Ubuntu 18.04 LTS, Windows 7/8/10 x64。通过安装Agent的方式把所在主机的网卡流量走GRE隧道复制到远程主机(流量检测设备)。因为，它理论上适用于物理环境、私有或公有云虚拟环境。但需要注意，使用libpcap和winpcap的流量采集方式必然会影响所在主机的性能。同理，业内第三方基于Agent的流量采集方案可能都会遇到相同的挑战。

https://github.com/Netis/packet-agent

• 第三方专用虚拟设备镜像。假设在你的IaaS环境中有合适的虚拟防火墙、虚拟WAF、虚拟TAP等专业设备，可以看一下它们是否支持外吐镜像流量，这些设备可能是已经逻辑串联在虚拟网络中的，也可能是GWLB后面的检测设备，但不管是哪种形式，它们都有可能把处理的流量额外吐出一份给新上的NDR设备，它本身需要有这个功能，并且它所在的位置刚好是需要给NDR进行深度检测的流量，比如“南北向边界”。如下图所示，使用GWLB后面的Virtual Appliance再把流量复制给额外的绿色盒子。

• 第三方Proxy代码。以Nginx举例，这个强大的软件经常被用在互联网边界处作为代理、负载均衡、WAF等角色，Nginx 1.13.4及后续版本内置了ngx_http_mirror_module模块，提供流量镜像的复制功能，支持在不影响对后端服务请求的情况下，复制一份流量到其他检测设备，同时 mirror 模块会丢弃 mirror 的响应。需要在http_mirror_module模块中做一些简单配置即可启用。
  https://nginx.org/en/docs/http/ngx_http_mirror_module.html

2、NDR厂商需要支持公有云部署

NDR厂家对公有云的支持力度不一，需要和厂商了解，厂商至少需要支持虚拟化部署NDR设备，且NDR设备需要能解包VXLAN（UDP 4789）或者GRE，甚至GENEVE协议（UDP 6081），看选择的是何种镜像方案。

GWLB 方案使用GENEVE协议封装原始IP流量，并通过UDP端口6081将其转发到虚拟检测设备，该封装允许 GWLB 保留原始流量的内容，相当于在原始流量的基础上加了VXLAN和GENEVE两层。

ENI直接镜像的方案使用VXLAN协议封装和传输流量。

如果NDR产品不支持上述解析，那只能退而求其次，用Agent收集流量的方式、第三方软件、第三方镜像设备的方式等等，弊端也很明显。

此外，还需要考虑NDR产品和云端虚拟硬件、OS的兼容性、稳定性等因素，除了产品技术上的支持外，厂商还需要能提供成熟的云端部署的商务支持，一般来讲会按照设备数量、需要检测的流量大小、功能模块、授权时间、存储容量等因素计算费用，并不是所有的流量检测设备厂家都会提供公有云上部署的产品，即便解决了前述技术问题。

比较简单的方法是在 AWS Marketplace 中找到得到云厂商官方认可的产品，请注意，中国大陆境内的宁夏和北京Region使用一个单独的marketplace，下面列出了境内和境外两个世界的入口。

选择相应的产品可以进去看到技术规格和参考报价，迄今为止，境内两个Region唯一入选的国产NDR产品只有微步在线的TDP。

https://aws.amazon.com/marketplace/search/results?searchTerms=NDR&prevFilters=

境外Region上架的NDR产品则很多，然而这些厂商大多数在国内没有相应的服务人员，支持起来会比较麻烦。

AWS也提供了一项叫做FTR的技术审核（Foundational Technical Review）认证，FTR 根据安全性、可靠性和卓越运营方面的 AWS 最佳实践提供具体指南，以降低工作负载的风险，如 AWS Well-Architected Framework 定义，相当于是AWS认证的官方合作伙伴了，也可以选择通过FTR认证的供应商。

https://aws.amazon.com/cn/partners/foundational-technical-review/

https://partners.amazonaws.com

3、IT投资需要能支持部署NDR方案

如果需要镜像多个位置到多个检测设备的情况下（包括一对多，多对一，多对多），使用GWLB方式可能会更适合，它本身支持从多个VPC采集镜像流量，集中发送到GWLB后的多个检测设备，虽然GWLB方案不需要计算ENI流量镜像的费用，但同样需要按照GWLBe的个数、GWLBe私有连接的流量、GWLB处理流量的大小、时间等多个因素计费。

如果架构比较简单、规模比较小，比如说只有个位数的互联网出口，在出口位置有一个流量汇集位置（角色相当于传统数据中心的南北向核心交换机上联口），如一个部署在EC2的WAF或者一个Proxy，那也可以选择ENI直接镜像方式，不会涉及网络架构的变动，在ENI个数不多的情况成本较低，这种方案只按ENI数量和时间计费。

对于NDR设备本身的部署，需要按照NDR设备性能要求新建额外的一台或多台EC2，以及相配套的存储，这也是一笔费用。

涉及跨AZ（Availability Zones），跨Region的情况下计费会更加复杂，大家可以参考下面的计费器大概估算，最好是协调AWS厂商和NDR厂商共同出谋划策，根据合理的方案选择和成本控制选择相对理想的方案。

https://calculator.aws/#/addService

在公有云上应用安全产品一定要对云厂商的专业术语有较好的了解，每一个英文名称代表特定的服务，比如Network load balancer和Gateway load balancer是两个不同的服务，虽然都可以做LB，但收费模式和功能场景是不一样的，此外，不同的云厂商类似的服务名字也不一样，AWS的EC2对应阿里云的ECS，相信各位小伙伴通过上面的基础了解，再加以实践一定可以让NDR成功上云。

本文由于篇幅有限，在公有云上配置的具体步骤本文不再贴图细述，可以参考云厂商官方帮助文档，下面附上一些AWS上的指导说明，仅供参考。后面有时间的话再整理一篇公有云上使用NDR的注意事项（Bi Keng Zhi Nan）。

参考链接：

• https://www.gartner.com/doc/reprints?id=1-2C08X0XR&ct=221214&st=sb
• https://aws.amazon.com/cn/blogs/aws/new-vpc-traffic-mirroring/
• https://aws.amazon.com/cn/blogs/china/gateway-load-balanceruse-implement-centralized-network-traffic-depth-detection/
  
• https://docs.aws.amazon.com/vpc/latest/mirroring/what-is-traffic-mirroring.html
• https://aws.amazon.com/blogs/networking-and-content-delivery/introduction-to-traffic-mirroring-to-gwlb-endpoints-as-target/
• https://aws.amazon.com/cn/blogs/networking-and-content-delivery/scaling-network-traffic-inspection-using-aws-gateway-load-balancer/
• https://aws.amazon.com/cn/blogs/china/introducing-aws-gateway-load-balancer-easy-deployment-scalability-and-high-availability-for-partner-appliances/
  

原文始发于微信公众号（无限手套Infinity Gauntlet）：如何在公有云中部署NDR