写了个多线程爬虫,感觉自己好无耻呀。。。 之前写了个单线程的,任务丢到 rq 里面去去,真的很慢,两千多个网页,跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py
![]() | 1 ljdawn OP rq 那个没放是因为。。。这个是抓得 CL 呀。哈哈哈哈哈哈 |
![]() | 2 sivacohan PRO 用 gevent 保平安 |
3 je11yfish 2015-09-07 08:05:42 +08:00 楼主,这事儿用 Gevent 是王道啊…… |
6 LeoQ 2015-09-07 09:50:51 +08:00 楼上这么赤裸裸的求 YP ,哈哈哈 |
![]() | 7 cooiky 2015-09-07 11:46:39 +08:00 |
![]() | 11 leeyuzhe 2015-09-07 17:18:22 +08:00 "Referer":"http://cl.loius.biz/" 说!是不是去抓过图片!还是成人文学? |
13 symons 2015-10-02 03:29:31 +08:00 为啥不用多进程,要用多线程,请教一下 |