频繁访问某域名后无法继续访问,只能重启 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
bojone
V2EX    Linux

频繁访问某域名后无法继续访问,只能重启

  •  
  •   bojone 2016-03-13 09:34:26 +08:00 4389 次点击
    这是一个创建于 3504 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在服务器 centos7 上(已经关闭防火墙)写爬虫爬取同一个网站的文章(大概一秒访问几次那样,即频繁访问了),经过一段时间后,发现访问不了那个网站了。

    ping 一下那个网站,能够 ping 通。我刚开始以为是那个网站屏蔽了我的 ip ,但是我这时候在同一个内网的另外一个服务器运行是可以访问的,这说明不大像被屏蔽 ip 了;而我在同一台服务器能够正常访问其他网站,这说明不是网络出现问题了。再后来,我发现重启服务器之后就可以了,这说明,确实是本地的问题。重启后正常,可是隔段时间又出现同样问题。

    我尝试过重启网络服务,但是没效。总不能遇到问题就重启吧?大家帮忙想想,这是什么原因所致?感觉应该是服务器本身的问题。

    14 条回复    2016-03-14 14:00:14 +08:00
    ylqjgm
        1
    ylqjgm  
       2016-03-13 09:40:53 +08:00
    会不会是 cookie 什么的?
    littlehz
        2
    littlehz  
       2016-03-13 09:43:01 +08:00
    抓太多,本地端口不够用了吧。出问题的时候执行下,看看用了多少端口。
    ```
    ss -ant | awk '{++s[$1]} END {for(k in s) print k,s[k]}'
    ```
    flynaj
        3
    flynaj  
       2016-03-13 09:45:27 +08:00 via Android
    netstat
    bojone
        4
    bojone  
    OP
       2016-03-13 10:03:53 +08:00
    @littlehz 你这句命令的结果是
    SYN-RECV 15
    LISTEN 6
    ESTAB 80
    CLOSE-WAIT 77
    State 1
    SYN-SENT 1
    TIME-WAIT 4
    bojone
        5
    bojone  
    OP
       2016-03-13 10:04:55 +08:00
    @ylqjgm 这个跟 cookie 无关,爬这个不需要 cookie 。此外,根据问题的分析,应该是机器本身的问题。
    bojone
        6
    bojone  
    OP
       2016-03-13 10:07:51 +08:00
    @flynaj 这是?
        7
    joe1213  
       2016-03-13 10:20:12 +08:00 via Android
    针对同一个 ip+端口做的防攻击策略吧。你重启再连端口换了
    bojone
        8
    bojone  
    OP
       2016-03-13 10:31:33 +08:00
    @joe1213 有什么解决办法吗
    asp
        9
    asp  
       2016-03-13 10:43:51 +08:00
    先看看抓其他站会不会这样,目测是有防火墙
    bojone
        10
    bojone  
    OP
       2016-03-13 10:50:56 +08:00
    @asp 其他站不会,防火墙已经关闭了
    joe1213
        11
    joe1213  
       2016-03-13 12:56:11 +08:00 via Android
    用代理服务器啊。免费的网上可以找到定时更新的列表,也有收费的。一个代理挂了换另一个,就是这个服务器列表要自己去维护了
    bojone
        12
    bojone  
    OP
       2016-03-14 10:02:20 +08:00
    @joe1213 已经说了,在同一个路由器下的另外一个服务器运行正常~说明不可能是封了 ip 的
    joe1213
        13
    joe1213  
       2016-03-14 11:43:44 +08:00
    @bojone 不是说了端口不同吗?另外一个服务器怎么跟这个服务器怎么可能用的同一个端口
    wayslog
        14
    wayslog  
       2016-03-14 14:00:14 +08:00
    屏蔽策略有的是限制来源 ip ,有的是限制 ip+port 的,单凭另一台机器的状况不能判断问题。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5050 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 05:42 PVG 13:42 LAX 22:42 JFK 01:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86