K8s Network: 容器网络实现.md

诸如 containerd 这样的容器运行时在 Linux 上通过网络命名空间 (Network Namespace) 实现容器之间的网络隔离.

为了让容器和容器之间, 容器和宿主机之间可以互相通信, 我们需要借助 veth 和 network brdige. veth 的全称是 Virtual Ethernet Device, 即虚拟网卡, 用于在容器网络和宿主机网络之间架起桥梁. bridge 则是链接着所有容器的交换机, 简化路由逻辑.

当 containerd 创建新的容器时, 其新建一个 veth, 连接容器和宿主机的网络空间. 类似命令 ip link add <p1-name> netns <p1-ns> type veth peer <p2-name> netns <p2-ns>.

我们在一个测试集群中寻找一个容器, 并确定其 veth 对应的 if.

~ k get -n dev -l app=signin pods NAME READY STATUS RESTARTS AGE signin-test-a-8bcd5db69-9z2c5 2/2 Running 0 6d3h ~ k exec -n dev -ti signin-test-a-8bcd5db69-9z2c5 -- ip link show 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 2: eth0@if220: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UP link/ether c2:ce:72:1b:97:6e brd ff:ff:ff:ff:ff:ff ~ k exec -n dev -ti signin-test-a-8bcd5db69-9z2c5 -- cat /sys/class/net/eth0/iflink 220 

随后, 我们可以在宿主机的网络空间中找到对应的设备.

~ grep -l 220 /sys/class/net/veth*/ifindex /sys/class/net/veth12acb4c1/ifindex ~ ip link show dev veth12acb4c1 220: veth12acb4c1@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master cni0 state UP mode DEFAULT group default link/ether be:78:61:7f:a4:25 brd ff:ff:ff:ff:ff:ff link-netnsid 50 

我们可以发现该设备链接到了名为 cni0 的 bridge 上.

~ ls -alht /sys/class/net/veth12acb4c1/ | grep master lrwxrwxrwx. 1 root root 0 12 月 5 21:49 master -> ../cni0 

或者更准确的说, 这台宿主机上和容器绑定的设备都链接到了 cni0.

~ ls -alht /sys/class/net/cni0/ | grep veth | head lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth0c9a5076 -> ../veth0c9a5076 lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth75d5e70a -> ../veth75d5e70a lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth12acb4c1 -> ../veth12acb4c1 lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth25c523a3 -> ../veth25c523a3 lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth54236aab -> ../veth54236aab lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth69d77b1d -> ../veth69d77b1d lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_vethd81e7b63 -> ../vethd81e7b63 lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth2ea2cc31 -> ../veth2ea2cc31 lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_veth534bb0ad -> ../veth534bb0ad lrwxrwxrwx. 1 root root 0 12 月 5 23:44 lower_vethabcf68fe -> ../vethabcf68fe 

此时容器内看路由表, 可以发现:

• 发送给同宿主机上其他容器的数据包, 不需要 cni0 做 gateway
• 其他数据包通过 eth0 发送给 cni0

# k exec -n dev -ti signin-test-a-8bcd5db69-9z2c5 -- ip route default via 172.22.0.1 dev eth0 172.22.0.0/24 dev eth0 scope link src 172.22.0.253 172.22.0.0/16 via 172.22.0.1 dev eth0 # k get -n dev pods signin-test-a-8bcd5db69-9z2c5 -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES signin-test-a-8bcd5db69-9z2c5 2/2 Running 0 6d4h 172.22.0.253 10.30.180.56 <none> <none> 

上文中 172.22.0.0./24 是当前宿主机的 podCIDR, 172.22.0.0/16 是整个集群的 CIDR, 172.22.0.1 是宿主机上 cni0 对应的地址.

# ip addr show dev cni0 7: cni0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether aa:8d:2f:44:14:b0 brd ff:ff:ff:ff:ff:ff inet 172.22.0.1/24 brd 172.22.0.255 scope global cni0 valid_lft forever preferred_lft forever inet6 fe80::a88d:2fff:fe44:14b0/64 scope link valid_lft forever preferred_lft forever 

在宿主机上看路由表, 可以发现:

• 发送给本宿主机上其他容器的数据包转发给 cni0
• 发送给其他宿主机上容器的数据包经 eth0 转发给对应宿主机
  • 10.30.180.55 是维二的宿主机, 其 podCIDR 是 172.22.1.0/24

ip route | grep -v -E "172.1(7|8)" default via 10.30.180.254 dev eth0 proto static metric 100 10.30.180.0/24 dev eth0 proto kernel scope link src 10.30.180.56 metric 100 172.22.0.0/24 dev cni0 proto kernel scope link src 172.22.0.1 172.22.1.0/24 via 10.30.180.55 dev eth0 

Source: https://github.com/j2gg0s/j2gg0s/blob/main/_posts/2023-12-06-k8s%20network%3A%20%E5%AE%B9%E5%99%A8%E7%BD%91%E7%BB%9C%E5%AE%9E%E7%8E%B0.md