10Gb 网络问题,单线程速度很低 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
aku
V2EX    宽带症候群

10Gb 网络问题,单线程速度很低

  •  
  •   aku 2015-12-09 05:18:51 +08:00 via Android 3802 次点击
    这是一个创建于 3676 天前的主题,其中的信息可能已经有所发展或是发生改变。
    单线程只有 1Gb 左右

    多线程正常
    跟硬盘没关系,跟硬盘没关系,跟硬盘没关系
    跟MTU没关系,跟MTU没关系,跟MTU没关系
    跟巨包没关系,跟巨包没关系,跟巨包没关系

    系统是 smartos ,网卡是 Intel X529

    看邮件列表也有人反应这个问题
    Oracle 的系统也有类似问题
    Freebsd 也有类似问题
    根据 Oracle 的文档推测,是单线程能分配到的 CPU 资源有关
    很可惜 smartos 跟 Solaris 还是有些差别,有的参数没效果

    但是看红帽工程师的一个 10Gb 网络调优演示
    红帽是没有这个问题的
    单线程就能跑满
    br />
    所以我想问各位
    Linux 常见发行版,比如 Ubuntu , Debian , Arch ,是不是单线程跑 10Gb 没有问题
    另外, Windows 有没有问题?

    哪位有相关经验的分享一下
    15 条回复    2015-12-11 06:49:54 +08:00
    ryd994
        1
    ryd994  
       2015-12-09 06:25:08 +08:00 via Android
    这…… U 盘启动自己测一下会比较靠谱
    aku
        2
    aku  
    OP
       2015-12-09 07:12:31 +08:00 via Android
    @ryd994 我要哭了

    上次为了一个兼容性问题

    连续测试了 freenas freebsd omnios smartos ubuntu …

    这才几天……


    人生为何如此艰难…
    geeklian
        3
    geeklian  
       2015-12-09 07:13:57 +08:00 via iPhone
    也没说什么应用,什么环境,怎么测的....
    只能推测是人品问题。
    xbb7766
        4
    xbb7766  
       2015-12-09 07:33:54 +08:00 via Android
    感觉可能是 cpu 单线程瓶颈,毕竟 10G ,不同系统下网卡驱动是不是一样啊?你说红帽没问题是不是红帽的网卡驱动方面有优化.
    lhbc
        5
    lhbc  
       2015-12-09 08:39:32 +08:00 via Android
    iperf ,我们线上测试 10G 是能跑满的。 CentOS 系统。
    另外,我们 MIPS 架构 36 核都能跑 30G 。
    ryd994
        6
    ryd994  
       2015-12-09 11:39:18 +08:00 via Android
    @aku 抽屉里一堆 U 盘,一个一个插上去重启就好了啊,反正 Linux 下同样硬件程序基本可以互换
    aku
        7
    aku  
    OP
       2015-12-09 15:04:45 +08:00 via Android
    @lhbc 你们的 iperf 是单连接测试结果还是多连接测试结果?

    我看红帽在没有任何调优的情况下单连接就好几个 Gb 了
    aku
        8
    aku  
    OP
       2015-12-09 15:07:57 +08:00 via Android
    @geeklian 你大概没有做过 1Gb 以上的网络

    上面的信息已经足够了

    又不是调优
    明显是其它大问题

    我主要是问一下其他人的不同系统的情况而已
    aku
        9
    aku  
    OP
       2015-12-09 15:14:33 +08:00 via Android
    @xbb7766 不知道是不是驱动有优化

    可能性不大

    基本可以肯定是 CPU 资源限制
    感觉还是跟 kernel 有关
    lhbc
        10
    lhbc  
       2015-12-09 17:16:09 +08:00   1
    @aku 默认参数直接跑
    [ 4] local 10.200.1.254 port 5001 connected with 10.200.2.254 port 59704
    [ ID] Interval Transfer Bandwidth
    [ 4] 0.0-10.0 sec 12.3 GBytes 10.6 Gbits/sec
    aku
        11
    aku  
    OP
       2015-12-09 19:27:35 +08:00 via Android
    @xbb7766
    @lhbc
    刚刚试了下,从 Ubuntu 向 smartos 发包,速度正常
    smartos 向 Ubuntu 发包,就只有 1Gb 左右

    看来要换系统了
    Solaris , BSD 太陈旧了
    lhbc
        12
    lhbc  
       2015-12-09 19:46:36 +08:00 via Android
    @aku 驱动问题吧。
    BSD 的网络不比 Linux 差。
    aku
        13
    aku  
    OP
       2015-12-09 20:10:32 +08:00
    @lhbc 很喜欢 BSD , Solaris 的一些特性
    可惜驱动太陈旧了,经常等要从 linux backport 过去
    没办法了,只能割爱了

    不过这次的问题我感觉并非驱动
    oracle 有一篇文章提到
    https://blogs.oracle.com/dlutz/entry/maximizing_nfs_client_performance_on
    虽然文章很老了,但问题依旧
    chinawrj
        14
    chinawrj  
       2015-12-09 20:35:34 +08:00
    开大你的 tcp window
    tifan
        15
    tifan  
       2015-12-11 06:49:54 +08:00
    你可以用 dtrace 跟踪一下。

    http://www.dtracebook.com/index.php/Main_Page
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2359 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 21ms UTC 03:13 PVG 11:13 LAX 19:13 JFK 22:13
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86