正在搭 git 服务， iptables 允许 22 端口，然而策略并没有生效 - V2EX
首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
DoraJDJ
V2EX    问与答

正在搭 git 服务， iptables 允许 22 端口，然而策略并没有生效

  •   
  •   DoraJDJ 2017-05-15 20:22:27 +08:00 3864 次点击
    这是一个创建于 3075 天前的主题，其中的信息可能已经有所发展或是发生改变。

    稍微遇到看上去有些奇怪的 bug 了。

    前几天自己用 docker 搭了个 gogs 服务给团队里的人用，安装时过程顺利，如下是 docker 容器的端口转发：

    yudachi@hostker:~$ sudo docker container port ydcgit 22/tcp -> 0.0.0.0:22 3000/tcp -> 0.0.0.0:60003

    其中 22 端口是用于 ssh 的，而 60003 用于 nginx 反代到其中一个虚拟主机上。

    然后我配置了下 iptables，允许 22 端口入站，然而策略并没有生效。

    如下是 iptables 配置：

    yudachi@hostker:~$ sudo iptables -L -v -n Chain INPUT (policy DROP 0 packets, 0 bytes) pkts bytes target prot opt in out source destination 378 469K ACCEPT all -- lo * 0.0.0.0/0 0.0.0.0/0 0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 546 63053 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED 0 0 ACCEPT all -- * * 127.0.0.1 0.0.0.0/0 state NEW 0 0 ACCEPT all -- * * 172.16.0.0/16 0.0.0.0/0 state NEW 0 0 ACCEPT all -- * * 172.17.0.0/16 0.0.0.0/0 state NEW 0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:22 state NEW 0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:22 state NEW 0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:<服务器的实际 ssh 端口> state NEW 0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:<服务器的实际 ssh 端口> state NEW 2 120 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 state NEW 0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:80 state NEW 7 400 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:443 state NEW 0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:443 state NEW 0 0 invalid_drop all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID 14 1092 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 PKTTYPE = broadcast 0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 PKTTYPE = multicast 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x3F/0x00 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x3F/0x01 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x03/0x03 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x06/0x06 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x05/0x05 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x3F/0x29 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x3F/0x3F 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x3F/0x3F 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x11/0x01 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x18/0x08 0 0 portscan_drop tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp flags:0x30/0x20 13 564 LOG all -- * * 0.0.0.0/0 0.0.0.0/0 LOG flags 0 level 4 13 564 REJECT all -- * * 0.0.0.0/0 0.0.0.0/0 reject-with icmp-port-unreachable Chain FORWARD (policy DROP 0 packets, 0 bytes) pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 29 packets, 1622 bytes) pkts bytes target prot opt in out source destination 378 469K ACCEPT all -- * lo 0.0.0.0/0 0.0.0.0/0 383 138K ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED 0 0 invalid_drop all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID Chain invalid_drop (2 references) pkts bytes target prot opt in out source destination 0 0 LOG all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID limit: avg 1/sec burst 5 LOG flags 0 level 4 prefix "INVALID PACKAGE" 0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID Chain portscan_drop (11 references) pkts bytes target prot opt in out source destination 0 0 LOG all -- * * 0.0.0.0/0 0.0.0.0/0 limit: avg 1/sec burst 5 LOG flags 0 level 4 prefix "PORTSCAN DETECTED" 0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0

    而下面是本人在本机测试的结果：

    λ ssh git@<服务器地址> ssh: connect to host <服务器地址> port 22: Connection timed out

    我稍微有点不能理解，端口号是正确的，配置时自我确定没有任何问题，为何这个规则并没有生效？

    刚才还尝试 Google 了相关关键词，暂时还没有找到自己想要的结果，想在此问问各位大触有什么解决方案？

    谢谢！

    第 1 条附言    2017-05-15 22:39:39 +08:00
    初步确认原因，可能是 iptables 规则的问题。

    刚才尝试放行另外一个容器的 HTTP 端口时同样出现了无法连接的情况，而另外一个非运行在 docker 容器内的服务能够正常连接。
  • TCP
  • 0.0.0.0/0
  • Accept
  • State
    18 条回复    2017-05-16 12:13:34 +08:00
    wdd2007
        1
    wdd2007  
       2017-05-15 20:32:04 +08:00
    service iptables save、service iptables restart 了么？
    DoraJDJ
        2
    DoraJDJ  
    OP
       2017-05-15 20:36:11 +08:00
    @wdd2007 iptables 已经重启很多次了，包括整个系统，甚至连 iptables 规则从头弄了一遍，仍然不行
    tlday
        3
    tlday  
       2017-05-15 21:15:27 +08:00 via Android
    看看 log，确定是入站还是出站的问题？ sshd 进程的状态？不是很懂 iptables 输出的这个东西，只了解一点 iptables 的命令，无责任建议。
    shshilmh
        4
    shshilmh  
       2017-05-15 21:31:46 +08:00
    这个 22 是宿主机的端口还是容器的端口？
    cnnblike
        5
    cnnblike  
       2017-05-15 21:50:36 +08:00 via iPhone
    selinux 的问题？ setenforce 0 试试
    DoraJDJ
        6
    DoraJDJ  
    OP
       2017-05-15 21:50:48 +08:00 via Android
    @shshilmh 容器映射到宿主机的端口，都是 22。

    允许所有端口入站时 22 可以联通，但是当我打开防火墙的时候，即使已经设置允许 22 端口然而还是无法联通。
    DoraJDJ
        7
    DoraJDJ  
    OP
       2017-05-15 21:52:13 +08:00 via Android
    @cnnblike 拒绝无脑关闭 SELinux。

    防火墙关闭的时候可以正常连接 22 端口，所以我可以确定与 SELinux 无关。

    另外，系统用的是 Ubuntu Server 16.04.2 LTS。
    cnnblike
        8
    cnnblike  
       2017-05-15 21:52:20 +08:00 via iPhone
    22 会不会和默认的 ssh 端口冲突？ service sshd stop 试试
    DoraJDJ
        9
    DoraJDJ  
    OP
       2017-05-15 21:53:30 +08:00 via Android
    @cnnblike 服务器的 ssh 端口是另外的四位数字，我可以确定和容器端口不存在冲突。
    cnnblike
        10
    cnnblike  
       2017-05-15 21:53:45 +08:00 via iPhone
    @DoraJDJ 所以我才让你 setenforce 0 啊，重启一下不就开了么？这是在排障，先确定问题在哪里再说
    ryd994
        11
    ryd994  
       2017-05-15 22:09:35 +08:00
    不需要设置入站，docker 是从 bridge 走，算 FORWARD，你设置 publish 就行了
    你的问题是 docker 会有个占端口用的进程，有 selinux 的情况下可能占不到 22
    你可以试试 dockerd 加--userland-proxy=false
    ryd994
        12
    ryd994  
       2017-05-15 22:11:16 +08:00
    你这 iptables 看起来就不对：FORWARD DROP，也没有 DOCKER chain
    你先重启一下 docker 服务
    DoraJDJ
        13
    DoraJDJ  
    OP
       2017-05-15 22:20:34 +08:00 via Android
    @ryd994 重启了下 docker 服务，现在 iptables 里有 DOCKER chain 了，FORWARD 里也有 docker 相关的条目。

    然而 22 端口还是无法联通。
    ryd994
        14
    ryd994  
       2017-05-15 22:26:22 +08:00
    @DoraJDJ 那你是不是忘了重启容器啊？
    shshilmh
        15
    shshilmh  
       2017-05-15 22:54:17 +08:00
    看一下 nat 表 sudo iptables -t nat -nvL
    这是我的一个部署了 gitlab 容器的 nat 表
    ![]( )
    tlday
        16
    tlday  
       2017-05-16 10:04:53 +08:00
    @ryd994 经提醒突然发现 docker 的-p/-P 参数映射的端口原来也是走 bridge 网络的端口转发。我一直以为是本地直接作映射的。也就是说即使使用-p 参数映射端口，这个数据报实际上的路径也是
    外网->eth0->docker0->bridge->container
    而不是
    外网->eth0->container 的咯？
    ryd994
        17
    ryd994  
       2017-05-16 12:04:11 +08:00
    @tlday docker 使用 iptables nat 做的，不过还是有 userland proxy 做备份，同时占端口
    每个 container 必须有自己的网络栈，否则容器的网络隔离会比较麻烦
    tlday
        18
    tlday  
       2017-05-16 12:13:34 +08:00
    @ryd994 以前没有考虑过具体的实现，想当然了，现在再仔细考虑一下确实作 nat 转发才是最简单可靠的方案。感谢回复。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1069 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 18:11 PVG 02:11 LAX 11:11 JFK 14:11
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86