如何在 Kubernetes Pod 内进行网络抓包

admin 2022年6月2日00:02:33评论60 views字数 4026阅读13分25秒阅读模式

使用 Kubernetes 时,经常会遇到一些棘手的网络问题需要对 Pod 内的流量进行抓包分析。然而所使用的镜像一般不会带有 tcpdump 命令,过去常用的做法简单直接暴力:登录到节点所在节点,使用 root 账号进入容器,然后安装 tcpdump。抓到的包有时还需要拉回本地,使用 Wireshark 进行分析。而且整个过程非常繁琐,跨越几个环境。

正好前几天也做了一次抓包问题排查,这次就介绍一下快速进行网络抓包的几种方法。

TL;DR

几种方法各有优缺点,且都不建议在生产环境使用。假如必须使用,个人倾向于 kubectl debug 临时容器的方案,但这个方案也有不足。

  • 使用额外容器:这种方案为了 Pod 添加一个额外的容器,使用了静态编译的 tcpdump 进行抓取,借助了多容器共享网络空间的特性,适合 distroless 容器。缺点是需要修改原来的 Pod,调式容器重启会引起 Pod 重启。
  • kubectl plugin ksniff:一个 kubectl 插件。支持特权和非特权容器,可以将捕获内容重定向到 wireshark 或者 tshark。非特权容器的实现会稍微复杂。
  • kubectl debug 临时容器:该方案对于 distroless 容器有很好的支持,临时容器退出后也不会导致 Pod 重启。缺点是 1.23 的版本临时容器才进入 beta 阶段;而且笔者在将捕获的数据重定向到本地的 Wireshark 时会报数据格式不支持的错误。

环境

使用 k3d 创建 k3s 集群,这里版本选择 1.23:

$ k3d cluster create test --image rancher/k3s:v1.23.4-k3s1

抓包的对象使用 Pipy[1] 运行的一个 echo 服务(返回请求的 body 内容):

$ kubectl run echo --image addozhang/echo-server --image-pull-policy IfNotPresent

为了方便访问,创建一个 NodePort Service:

$ kubectl expose pod echo --name echo --port 8080 --type NodePort

挂载容器

在之前的文章我们介绍调试 distroless 容器的几种方法时曾用过修改 Pod 添加额外容器的方式,新的容器使用镜像 addozhang/static-dump 镜像。这个镜像中加入了静态编译tcpdump

修改后的 Pod:

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: echo
  name: echo
spec:
  containers:
  - image: addozhang/echo-server
    imagePullPolicy: IfNotPresent
    name: echo
    resources: {} 
  - image: addozhang/static-dump
    imagePullPolicy: IfNotPresent
    name: sniff
    command: ['sleep', '1d']
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

重新部署后,就可以使用下面命令将抓取网络包并重定向到本地的 Wireshark:

$ kubectl exec -i echo -c sniff -- /static-tcpdump -i eth0 -U -w - | wireshark -k -i -
如何在 Kubernetes Pod 内进行网络抓包
debug-container

kubectl plugin ksniff

ksniff[2] 是一个 kubectl 插件,利用 tcpdump  和 Wireshark 对 Pod 中的网络包实现远程抓取。使用这种方法既可以借助 Wireshark 的强大功能,又能降低对 Pod 的影响。

ksniff 的实现是上传一个静态编译的tcpdump 到 Pod 中,然后将 tcpdump 的输出重定向到本地的 Wireshark 进行调试。

核心可以理解成 tcpdump -w - | wireshark -k -i -,与前面使用 debug 容器的方案类似。

安装

通过 krew[3] 安装:

$ kubectl krew install sniff

或者下载发布包,手动安装:

$ unzip ksniff.zip
$ make install

特权模式容器

使用说明参考 ksniff 官方说明[4],这里我们只需要执行如下命令,默认就会重定向到 Wireshark,不需要显示地指定:

$ kubectl sniff echo -n default -f "port 8080"
如何在 Kubernetes Pod 内进行网络抓包
ksniff

除了使用 Wireshark,可以使用其命令行模式的 tshark

$ kubectl sniff echo -n default -f "port 8080" -o - | tshark -r -

非特权模式容器

对于无特权的容器,就无法使用上面的方法了,会收到如下的错误提示:

INFO[0000] command: '[/tmp/static-tcpdump -i any -U -w - port 8080]' executing successfully exitCode: '1', stdErr :'static-tcpdump: any: You don't have permission to capture on that device
(socket: Operation not permitted)

不过,Ksniff 对此类容器也提供了支持。通过添加 -p 参数,ksniff 会创建一个新的可以访问节点上 Docker Daemon 的 pod,然后将容器附加到目标容器的网络命名空间,并执行报文捕获。

注意,笔者使用的是 k3s 的环境,执行命令时需要通过参数指定 Docker Daemon 的 socket 地址 --socket /run/k3s/containerd/containerd.sock

$ kubectl sniff echo -n default -f "port 8080" --socket /run/k3s/containerd/containerd.sock -p | wireshark -k -i -
如何在 Kubernetes Pod 内进行网络抓包
ksniff-priviledged

kubectl debug 临时容器

接下来也是之前介绍过的 kubectl debug ,也就是为 Pod 添加临时容器[5]

同样我们可以通过这种方法对 Pod 的网络进行抓包,临时容器我们使用 addozhang/static-dump 镜像。

$ kubectl debug -i echo --image addozhang/static-dump --target echo -- /static-tcpdump -i eth0 
如何在 Kubernetes Pod 内进行网络抓包
ephermeral-sniff-stdout

大家能发现这里将捕获的内容直接输出在标准输出中了,而不是重定向到本地的 Wireshark。

原本临时容器应该是其中最接近完美的方案:不需上传任何文件目标容器、无需修改 Pod、无需重启、无需特权、支持 distroless 容器。然而,当尝试重定向到 Wireshark 或者 tshark 的时候,会遇到 Data written to the pipe is neither in a supported pcap format nor in pcapng format. 问题。

最后经过一番折腾,也未能解决该问题。有解决了问题的朋友,也麻烦评论告知一下。感谢!

参考资料

[1]

Pipy: https://github.com/flomesh-io/pipy

[2]

ksniff: https://github.com/eldadru/ksniff

[3]

krew: https://github.com/GoogleContainerTools/krew

[4]

ksniff 官方说明: https://github.com/eldadru/ksniff#usage

[5]

临时容器: https://kubernetes.io/zh/docs/concepts/workloads/pods/ephemeral-containers/


推荐阅读 点击标题可跳转


《Docker是什么?》

《Kubernetes是什么?》

《Kubernetes和Docker到底有啥关系?》

《教你如何快捷的查询选择网络仓库镜像tag》

《Docker镜像进阶:了解其背后的技术原理》

《教你如何修改运行中的容器端口映射》

《k8s学习笔记:介绍&上手》

《k8s学习笔记:缩扩容&更新》

《Docker 基础用法和命令帮助》

《在K8S上搭建Redis集群》

《灰度部署、滚动部署、蓝绿部署》

《PM2实践指南》

《Docker垃圾清理》

《Kubernetes(k8s)底层网络原理刨析》

《容器环境下Node.js的内存管理》

《MySQL 快速创建千万级测试数据》

《Linux 与 Unix 到底有什么不同?》

《浅谈几种常见 RAID 的异同》

《Git 笔记-程序员都要掌握的 Git》

《老司机必须懂的MySQL规范》

《Docker中Image、Container与Volume的迁移》

《漫画|如何用Kubernetes搞定CICD》

《写给前端的Docker实战教程》

《Linux 操作系统知识地图2.0,我看行》

《16个概念带你入门 Kubernetes》

《程序员因接外包坐牢456天,长文叙述心酸真实经历》

《IT 行业老鸟,有话对你说》

《HTTPS 为什么是安全的?说一下他的底层实现原理?



免责声明:本文内容来源于网络,所载内容仅供参考。转载仅为学习和交流之目的,如无意中侵犯您的合法权益,请及时联系Docker中文社区!




如何在 Kubernetes Pod 内进行网络抓包

如何在 Kubernetes Pod 内进行网络抓包

原文始发于微信公众号(Docker中文社区):如何在 Kubernetes Pod 内进行网络抓包

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年6月2日00:02:33
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   如何在 Kubernetes Pod 内进行网络抓包http://cn-sec.com/archives/1074409.html

发表评论

匿名网友 填写信息