1G1H 的阿里云服务器,用了阿里云的容器服务,网站打不开,应该如何排查呢,各位大哥 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
find456789

1G1H 的阿里云服务器,用了阿里云的容器服务,网站打不开,应该如何排查呢,各位大哥

  •  
  •   find456789 2018 年 10 月 31 日 1696 次点击
    这是一个创建于 2731 天前的主题,其中的信息可能已经有所发展或是发生改变。

    服务器上,我个人没有安装任何软件,都是阿里云自带的

    我直接把这个服务器作为阿里云容器服务的 Swarm 节点

    部署了 7 个容器,

    分别为:

    4 个网站,其中 3 个网站每天 1 个访问量左右,只有一个,每天 200 访客,网站都上了 cdn 的

    1 个 redis,用来做定时任务的消息队列, 每天只会发送 2 个消息

    1 个 celery,用来执行定时任务,每天只会执行 2 个任务,请求某 api,把数据入库到 rds 数据库

    1 个 caddy,作为 4 个网站的反向代理

    网站最近 2 个月,大约死机过 3 次

    症状为,网站全部打不开

    查看后台,的 cpu 历史记录,发现死机的时候,cpu 都从平时的 10%左右,爬到了 60% 70% 80%

    前几次死机我不知道怎么排查,但是今天早上死机的时候,我发现可以正常登陆我的服务器,可以进行 shell,top 等操作, 说明并不是机器死了,而是阿里云的容器服务挂了

    后来我把服务器 sudo reboot 了 1 下, 网站就恢复了

    以下是我截图的性能报表,希望有大神可以帮帮忙看看怎么回事, 我找过阿里云提工单了, 也没有找出原因,最后阿里云找我要密码,说要登陆上去看看,我就没理他们了

    报表截图自 云监控控制台》主机监控 https://cloudmonitor.console.aliyun.com/index.htm

    可以从图上看出有 2 个高峰点,这 2 个点就是最近死机的时间点

    avatar

    avatar avatar avatar

    谢谢大家

    9 条回复    2018-10-31 11:28:04 +08:00
    ZavierXu
        1
    ZavierXu  
       2018 年 10 月 31 日   1
    好歹贴个 top 吧……你这种就相当于去医院拿着心电图问为啥发烧了
    lllllliu
        2
    lllllliu  
       2018 年 10 月 31 日   1
    分析分析日志啦,
    工单密码还是要给的。
    find456789
        3
    find456789  
    OP
       2018 年 10 月 31 日
    @ZavierXu

    谢谢

    这是现在的 top 图 (目前网站已恢复访问)

    ![avatar]( )
    ZavierXu
        4
    ZavierXu  
       2018 年 10 月 31 日   1
    @find456789 现在挺正常的吧……
    find456789
        5
    find456789  
    OP
       2018 年 10 月 31 日
    @ZavierXu 是的,现在网站都可以访问,这张 top 图,是现在 正常情况下的截图
    Acirno
        6
    Acirno  
       2018 年 10 月 31 日
    redis 炸了?(感觉跟我那小破站 redis 内存占用太高服务挂掉之后负载瞬间爆炸挺像的)
    find456789
        7
    find456789  
    OP
       2018 年 10 月 31 日
    @Acirno
    谢谢

    应该不太可能, 因为 redis 我用的很少, 整个系统就 2 个定时任务,也就是只会给 redis 发 2 个任务,redis 我只是作为消息队列, 没有 用别的用途
    yghack
        8
    yghack  
       2018 年 10 月 31 日   1
    目前这个情况,必须要看日志,你排查下日志吧。
    tr>
    find456789
        9
    find456789  
    OP
       2018 年 10 月 31 日
    @yghack

    谢谢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5784 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 42ms UTC 02:19 PVG 10:19 LAX 19:19 JFK 22:19
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86