图解 Kubernetes 网络模型

Underlay Network Model

什么是 Underlay Network

底层网络 Underlay Network 顾名思义是指网络设备基础设施，如交换机，路由器, DWDM 使用网络介质将其链接成的物理网络拓扑，负责网络之间的数据包传输。

underlay network 可以是二层，也可以是三层；二层的典型例子是以太网 Ethernet，三层是的典型例子是互联网 Internet。

而工作于二层的技术是 vlan，工作在三层的技术是由 OSPF, BGP 等协议组成。

k8s 中的 underlay network

在 kubernetes 中，underlay network 中比较典型的例子是通过将宿主机作为路由器设备，Pod 的网络则通过学习路由条目从而实现跨节点通讯。

这种模型下典型的有 flannel 的 host-gw 模式与 calico BGP 模式。

flannel host-gw 模式中每个 Node 需要在同一个二层网络中，并将 Node 作为一个路由器，跨节点通讯将通过路由表方式进行，这样方式下将网络模拟成一个underlay network。

Notes：因为是通过路由方式，集群的 cidr 至少要配置 16，因为这样可以保证，跨节点的 Node 作为一层网络，同节点的 Pod 作为一个网络。如果不是这种用情况，路由表处于相同的网络中，会存在网络不可达

BGP（Border Gateway Protocol）是去中心化自治路由协议。它是通过维护 IP 路由表或前缀表来实现 AS （Autonomous System）之间的可访问性，属于向量路由协议。

与 flannel 不同的是，Calico 提供了的 BGP 网络解决方案，在网络模型上，Calico 与 Flannel host-gw 是近似的，但在软件架构的实现上，flannel 使用 flanneld 进程来维护路由信息；而 Calico 是包含多个守护进程的，其中 Brid 进程是一个 BGP 客户端与路由反射器(Router Reflector)，BGP 客户端负责从 Felix 中获取路由并分发到其他 BGP Peer，而反射器在 BGP 中起了优化的作用。在同一个 IBGP 中，BGP 客户端仅需要和一个 RR 相连，这样减少了AS内部维护的大量的 BGP 连接。通常情况下，RR 是真实的路由设备，而 Bird 作为 BGP 客户端工作。

IPVLAN & MACVLAN

IPVLAN 和 MACVLAN 是一种网卡虚拟化技术，两者之间的区别为， IPVLAN 允许一个物理网卡拥有多个 IP 地址，并且所有的虚拟接口用同一个 MAC 地址；而 MACVLAN 则是相反的，其允许同一个网卡拥有多个 MAC 地址，而虚拟出的网卡可以没有 IP 地址。

因为是网卡虚拟化技术，而不是网络虚拟化技术，本质上来说属于 Overlay network，这种方式在虚拟化环境中与 Overlay network 相比最大的特点就是可以将 Pod 的网络拉平到 Node 网络同级，从而提供更高的性能、低延迟的网络接口。本质上来说其网络模型属于下图中第二个。

Notes：术语

• NIC：network interface card，网卡
• SR-IOV：single root I/O virtualization，硬件实现的功能，允许各虚拟机间共享 PCIe 设备。
• VF：Virtual Function，基于 PF，与 PF 或者其他 VF 共享一个物理资源。
• PF：PCIe Physical Function，拥有完全控制 PCIe 资源的能力
• DPDK：Data Plane Development Kit

DANM 是诺基亚开源的 CNI 项目，目的是将电信级网络引入 kubernetes 中，与 multus 相同的是，也提供了 SR-IOV/DPDK 的硬件技术，并且支持 IPVLAN.

Overlay Network Model

什么是 Overlay

常见的网络隧道技术

这种工作在 overlay 模型下典型的有 flannel 与 calico 中的的 VxLAN, IPIP 模式。

IPIP

Notes：公有云可能不允许 IPIP 流量，例如 Azure

VxLAN

$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent

Notes：VxLAN 使用的 4789 端口，wireshark 应该是根据端口进行分析协议的，而 flannel 在 linux 中默认端口是 8472，此时抓包仅能看到是一个 UDP 包。

通过上述的架构可以看出，隧道实际上是一个抽象的概念，并不是建立的真实的两端的隧道，而是通过将数据包封装成另一个数据包，通过物理设备传输后，经由相同的设备（网络隧道）进行解包实现网络的叠加。

weave vxlan

weave 也是使用了 VxLAN 技术完成的包的封装，这个技术在 weave 中称之为 fastdp (fast data path)，与 calico 和 flannel 中用到的技术不同的，这里使用的是 Linux 内核中的 openvswitch datapath module，并且 weave 对网络流量进行了加密。

Notes：fastdp 工作在 Linux 内核版本 3.12 及更高版本，如果低于此版本的例如 CentOS7，weave 将工作在用户空间，weave 中称之为 sleeve mode

本文版权归原作者所有，若所引用的图片、数据、文字等来源标注有误或涉及侵权或内容不完整，请及时联系处理。

原文始发于微信公众号（全栈网络空间安全）：图解 Kubernetes 网络模型