
1 wy315700 2014 年 7 月 24 日 multiprocess + pool 比较好 multithread + gevent也可以 |
2 heiher 2014 年 7 月 24 日 via iPhone 线程用来使用cpu资源的,像这种基本就是I/O为主,使用异步I/O不就好了。 |
3 binux 2014 年 7 月 24 日 GIL锁是锁语句执行的,IO等待又不会被锁 |
4 bigdude 2014 年 7 月 24 日 gevent |
5 ffffwh 2014 年 7 月 24 日 异步+1 |
6 C0VN 2014 年 7 月 24 日 我之前测试的时候,threading比gevent快耶。 |
7 pandada8 2014 年 7 月 24 日 via Android 处理速度永远大于你的抓取速度 |
8 withrock 2014 年 7 月 25 日 我之前写过抓取糗事百科的虫,我的CPU有4个核,用threading的话,CPU的使用率不会超过25%。 |
9 Zuckonit 2014 年 7 月 25 日 gevent吧 |
10 kingxsp 2014 年 7 月 25 日 gevent 或者 asyncio |
11 lianghui 2014 年 7 月 25 日 prefork span with multithread |