C10K-C20K, 每个连接每秒发送 10-30 个消息，每个消息大概 100 个字节左右，长连接
feilaoda feilaoda 2014-07-23 11:15:10 +08:00 9609 次点击这是一个创建于 4104 天前的主题，其中的信息可能已经有所发展或是发生改变。
问题是这样的，需要一个服务器，满足如下要求：
1、并发在10k-20k左右
2、长链接
3、每个链接每秒发送10个到20个消息，大小为100字节左右
4、每个发送消息都有回应消息，回应消息在20字节左右
可以理解成一个echo服务器。
目前不知道哪些程序能尽量满足这样的性能要求；C10K-C20K, Requests 10w/s-40w/s
nginx？haproxy？netty？
测下来还没有能达到的，不知道有没有其他的思路？或者优化的建议？
1、并发在10k-20k左右
2、长链接
3、每个链接每秒发送10个到20个消息，大小为100字节左右
4、每个发送消息都有回应消息，回应消息在20字节左右
可以理解成一个echo服务器。
目前不知道哪些程序能尽量满足这样的性能要求；C10K-C20K, Requests 10w/s-40w/s
nginx？haproxy？netty？
测下来还没有能达到的，不知道有没有其他的思路？或者优化的建议？
 | 1 clino 2014-07-23 11:20:41 +08:00 试试 openresty ? |
 | 2 canesten 2014-07-23 11:23:28 +08:00 硬件条件有什么限制？ 3-4之间有什么特殊的耗时运算吗？ |
 | 4 mengskysama 2014-07-23 11:38:12 +08:00 nginx妥妥不靠谱啊，你在后端又加个东西 折腾libev吧 然后就是带宽了，200*2000=4,000,000字节 50M带宽妥妥的。 |
| 5 canesten 2014-07-23 11:38:25 +08:00 你测试用的硬件什么配置？ i7 8 GB gigabit Ethernet 的情况netty达到50W/秒是没问题的 |
| 6 mengskysama 2014-07-23 11:39:34 +08:00 发现少了个0. |
 | 7 icqdany 2014-07-23 11:44:50 +08:00 swoole+php |
 | 8 feilaoda OP @canesten i5 2.4GHz, 8G, 并发是10K下的50w/s? 我测下来,并发1000,在6w+/s，和你差距好大； @mengskysama 暂时是想找找有没现成的方案，nginx可能不适合这种长链接的案例？ |
 | 9 lsylsy2 2014-07-23 11:46:02 +08:00 @mengskysama openresty性能很高，撑得住的 以及LZ可以试试golang |
| 11 canesten 2014-07-23 11:49:36 +08:00 SORRY 网卡跑满了吗？ |
 | 12 missdeer 2014-07-23 11:53:47 +08:00 前些天在码农周刊看到的 http://blog.csdn.net/ghj1976/article/details/27996095 文中附有不少高质量的参考资料 |
 | 13 dingyaguang117 2014-07-23 12:07:25 +08:00 @canesten C10K 内核参数应该怎么调好呢？求问 |
 | 14 dndx 2014-07-23 12:07:31 +08:00 性能问题出在哪？是内存还是 CPU 不够用？消息处理占用多少资源？ 另外通信协议是什么？是 WebSocket 之类的还是私有协议？ 20k 对 Linux 来说根本就是小菜一碟，应该是哪里没弄好。 |
| 15 feilaoda OP |
| 16 feilaoda OP |
| 19 feilaoda OP |
| 20 canesten 2014-07-23 13:15:38 +08:00 @dingyaguang117 当前系统的全局最大打开文件数 单个进程最大打开文件数 缓冲区内存大小 打开socket快速回收 socket重用 还有就是 net.ipv4.tcp_max_orphans net.ipv4.tcp_synack_retries 一类的 |
 | 21 CMGS 2014-07-23 13:22:53 +08:00 并发吃内存，下发吃CPU。。。 你并发C20K不算多，关键是10w/s-40w/s……这个数值对于大多数CPU来说压力比较大吧 |
 | 23 tjmao 2014-07-23 13:26:35 +08:00 via iPhone @feilaoda 四核才120%占用率啊，剩下的时间不是在等待，就是给同一台物理机上别的虚拟机用去了。 如果程序写access log，你也关掉试试看。曾用此法榨干Apache HTTPd的性能。 |
| 24 feilaoda OP @canesten @tjmao @CMGS 最新进展，找了一台物理机，8核，8Gb CentOS，客户端：i5 2.4Mhz, 8Gb 内核参数： fs.file-max = 999999 net.ipv4.tcp_rmem = 4096 4096 16777216 net.ipv4.tcp_wmem = 4096 4096 16777216 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 15 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.core.netdev_max_backlog = 4096 net.core.somaxcOnn= 4096 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_tw_buckets = 360000 net.ipv4.tcp_no_metrics_save = 1 net.ipv4.tcp_syn_retries = 2 net.ipv4.tcp_synack_retries = 2 [root@sz-monitor ~]# ulimit -n 1000000 [root@sz-monitor ~]# ulimit -Sn 1000000 [root@sz-monitor ~]# ulimit -Hn 1000000 并发10000，ab -n 5000000 -c 10000 Requests per second: 70806.95 [#/sec] (mean) Time per request: 141.229 [ms] (mean) Time per request: 0.014 [ms] (mean, across all concurrent requests) Transfer rate: 5255.20 [Kbytes/sec] received 网卡的速度 05:16:19 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 05:16:24 PM lo 0.20 0.20 0.10 0.10 0.00 0.00 0.00 05:16:24 PM eth0 147588.73 75031.99 14179.64 10316.23 0.00 0.00 0.00 rxkB/s 14179.64 txkB/s 10316.23 CPU在200%-400%左右 内存在3.5%左右 正常速度70806.95/s，离400000/s差距甚远啊 |
| 25 canesten 2014-07-23 17:51:04 +08:00 @feilaoda 这个是你的服务器网卡速度么？ rxkB/s 14179.64 txkB/s 10316.23 算起来和你说的 3、每个链接每秒发送10个到20个消息，大小为100字节左右 比较相符了 10000并发的话差不多是每秒每并发14个消息 也就是说你这个测试就是每秒低于14万的测试 怎么可能得到40万的结果？ 看样子网卡是收到了所有的测试压力 而且发送的数据量远多于你描述的 100字节的五分之一 按说 发送的带宽达到2.xMB应该就是完成所有的请求了吧 是不是你自己的测试客户端有什么问题 另 可以试试多开几个客户端同时压 再另 请使用netty 4.0.21并打开native transport，使用epoll 请尽量使用PooledDerictByteBuf并预先分配好足够多的内存 |
| 26 canesten 2014-07-23 18:07:42 +08:00 另外加上TCP报头什么的 我强烈怀疑你客户端的输出能力也就是7W/秒了 |
 | 27 hellojinjie 2014-07-23 18:13:05 +08:00 @canesten 我也觉得是测试客户端的问题，我测试的时候，ab 运行在不同的机器上得到的数据是不一样的。 ab 运行在性能较差的笔记本上，得到的数据A ab 运行在性能较好的笔记本上，得到的数据B 数据B要比数据A好。。。 |
| 28 canesten 2014-07-23 18:26:03 +08:00 |
 | 29 wecoders 2014-07-23 18:37:32 +08:00 |
| 31 canesten 2014-07-23 18:59:34 +08:00 当然你也可以打开Nagle’s Algorithm来节省TCP头来节省些带宽 |
 | 32 barbery 2014-07-23 21:31:14 +08:00 这种需求，果断openresty啊~ |
| 33 CMGS 2014-07-23 21:48:42 +08:00 - -你这CPU已经扛不住了啊。。。 |
 | 35 nezhazheng 2014-07-24 09:14:11 +08:00 @canesten 请教大神，一直不太明白netty的native transport意义是啥，JDK1.7不已经就是epoll了吗 |
| 36 canesten 2014-07-24 10:10:02 +08:00  1 @nezhazheng 是从1.5 JVM添加了NIO就开始支持了的 具体实现是sun.nio.ch.EPollSelectorImpl http://grepcode.com/file/repository.grepcode.com/java/root/jdk/openjdk/6-b14/sun/nio/ch/EPollSelectorImpl.java 这里具体的select操作还是在JVM内的 Netty的革新在于 io.netty.channel.epoll.Native https://github.com/netty/netty/blob/master/transport-native-epoll/src/main/java/io/netty/channel/epoll/Native.java 这是一个全JNI的设计 所有的操作都是在JVM外的 所以效能和C++一样 它依赖于 sudo apt-get install autoconf automake libtool make gcc-multilib tar |
| 37 nezhazheng 2014-07-24 10:16:50 +08:00 @canesten 明白啦，也就是说Netty的natvie transport epoll实现比JDK原生的epoll性能要好是吧？ |
| 38 canesten 2014-07-24 10:23:54 +08:00 |
| 39 nezhazheng 2014-07-24 10:39:10 +08:00 恩，netty确实是非常牛B的框架，感觉Netty应该是Java世界最优秀的框架了 |
| 40 canesten 2014-07-24 11:00:35 +08:00 @nezhazheng Java世界里网络通信的库肯定是Netty首选了 Netty进步的速度很快 社区也很活跃 库里面有很多对现成协议的支持 很多其他的框架也采用了Netty作为网络层的基础 比如Grizzly，VertX |
Select Language