求教,云服务器的 load average 很高,可是 cpu 使用情况并不严重,应该如何排查 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
domty
V2EX    Linux

求教,云服务器的 load average 很高,可是 cpu 使用情况并不严重,应该如何排查

  •  
  •   domty Aug 18, 2016 8458 views
    This topic created in 3541 days ago, the information mentioned may be changed or developed.

    公司的云服务, load average 之前降到 1 左右。 但是现在 load average 突然就窜到 50+甚至 80+

    top 命令下查看感觉 cpu 的占有情况并不严重

     Tasks: 159 total, 1 running, 144 sleeping, 14 stopped, 0 zombie Cpu(s): 2.0%us, 1.3%sy, 0.0%ni, 96.2%id, 0.1%wa, 0.0%hi, 0.2%si, 0.2%st Mem: 16330820k total, 16169528k used, 161292k free, 1130808k buffers Swap: 0k total, 0k used, 0k free, 10619988k cached 

    只有一个java进程占用15%的cpu和mem。其他进程都不足1%。

    机器是4核cpu。

    14 replies    2016-08-19 12:35:23 +08:00
    hao0088
    &nbs;   1
    hao0088  
       Aug 18, 2016   1
    看下 vmstat 1 的 r 高不高,还有 iostat 也可以看下
    domty
        2
    domty  
    OP
       Aug 18, 2016
    @hao0088
    vmstat 当时是 r1 b0

    感觉是线上的业务有问题,刚刚重启了一次 load average 就下去了。
    但是业务整体的资源占用情况并不严重,虽然 cpu 占用的波动不小,但是平均下来应该不到单核的 20%。
    id4alex
        3
    id4alex  
       Aug 18, 2016   1
    一般这种情况都是 IO
    fcicq
        4
    fcicq  
       Aug 18, 2016   1
    传统 apache 应用 loadavg 几百很正常, 就这一两个因素啥也不是
    ToughGuy
        5
    ToughGuy  
       Aug 18, 2016
    看 iowait, 云服务器如果用的云硬盘性能非常差的。
    superalsrk
        6
    superalsrk  
       Aug 18, 2016   2
    iotop 命令查看哪个进程负载比较高。。。
    luojing
        7
    luojing  
       Aug 19, 2016 via Android   1
    我最近也有碰到这种情况,可能有人采集网站吧
    luojing
        8
    luojing  
       Aug 19, 2016 via Android
    你云主机上放的图片多吗
    luojiyin87
        9
    luojiyin87  
       Aug 19, 2016   1
    查看进程的中有关的 IO 的状态。
    domty
        10
    domty  
    OP
       Aug 19, 2016
    ```shell

    Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
    xvda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
    xvdb 0.00 0.00 1.00 0.00 8.00 0.00 8.00 0.03 33.00 32.00 3.20


    ```
    这是一次 iostat -x

    这台机器整体上就是一个 java 服务,数据库服务器部署在其他地方,存图片主要用七牛,也有少量原始图片存在本机。
    整体感觉 IO 的使用程度比较低的。
    domty
        11
    domty  
    OP
       Aug 19, 2016
    @domty
    现在的 load average 大概是 4.0+ 6.0+ 5.0+ 这个样子。
    acedbs
        12
    acedbs  
       Aug 19, 2016
    @domty 80%是代码问题,或者说是 sql 没写好。
    domty
        13
    domty  
    OP
       Aug 19, 2016
    @ice2016
    不像啊。
    从周一调优之后连跑接近 3 天,整体都保持在 1 以下。而且根据统计这三天的实际业务量是比平常还要多的。
    然后昨天突然坐火箭似的窜上去了。

    数据库方面,慢查询的记录也比较少。
    acedbs
        14
    acedbs  
       Aug 19, 2016
    @domty 只能通过 log 分析了,看下高的时间段的应用 log~~
    在做什么操作,,在分析。
    About     Help     Advertise     Blog     API     FAQ     Solana     3660 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 137ms UTC 10:36 PVG 18:36 LAX 03:36 JFK 06:36
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86