这是一个创建于 2867 天前的主题，其中的信息可能已经有所发展或是发生改变。
每天爬 1 百万网页，用 1000 个代理（ 50%有效）
获取的是 json 文件，把每个结果输出到同一个 csv 文件里
对于异常或 timeout 的访问，希望自动尝试新代理，最多尝试三次
asyncio+aiohttp 是否比 Scrapy 更快 也更稳定呢？
第 1 条附言 2018-02-20 10:30:12 +08:00
因为所有 URLS 是已知的，所以不用去重
需要在 7 个小时内爬完
需要在 7 个小时内爬完
第 2 条附言 2018-02-20 10:56:08 +08:00
用的这台 VPS 只有 2GB 内存 现在用 concurrent.futures 的 multithreading，max_workers 多点就爆内存 OOM，设少点 7 小时跑不完任务
 | 1 gouchaoer 2018-02-19 23:58:25 +08:00 via Android 首先 100w 数据量并不大，每个爬虫每 5s 访问一次的话只需要 65 个爬虫进程一天就能爬完 100w，假设我拿 200 个爬虫来爬，那这种程度的单机就能扛住，就阻塞的 requests 就 ok 了。。。so 大部分定制爬虫瓶颈不在 cpu |
| 2 gouchaoer 2018-02-20 00:01:05 +08:00 via Android 你输出到 csv 如何去重？结果需要保存到数据库，并且爬数据的时候去数据库看是否重复 |
 | 3 swirling 2018-02-20 10:20:04 +08:00 @gouchaoer 从性能上分析得很好,我从另一个角度说两句. 对于 output 格式的统一处理, 如果你用 scrapy 是可以很容易切换文件或者是 database 的,只需要换 pipline. 对于 timeout 重试这些只需要配置就行了. 部署工具链一套全家桶, 我反正跑了快半年也没挂过. 你用 asyncio 要自己写的东西肯定更多. 除非你觉得你比别人聪明, 不然你出错的概率更大, 也更不稳定. |
| 4 gouchaoer 2018-02-20 10:32:15 +08:00 via Android @swirling 不是我太聪明，是大家把问题复杂化了，爬东西本身就是个简单的问题，scrapy 封装太厉害了，比如实现 lz 这个更换代理 3 次你 scrapy 怎么搞？去读文档写 hook 么？我手写的直接写逻辑就 ok 了。。。算了，反正你用起来爽就行 |
| 7 gouchaoer 2018-02-20 10:39:52 +08:00 via Android @drroot 你不考虑爬虫只是考虑代理和带宽的话，用异步或者半协程的确能提高速度，go 和 php 甚至有 fullstack 的协程 httpclient，在低 cpu 下打满带宽，但是一般情况下搞爬虫的精力还在和反爬搏斗，你这种瓶颈在代理 ip 上，直接堆机器吧 |
 | 8 drroot OP @swirling Scrapy 有没办法把访问每个网址是否成功的状态返回，如果没有成功返回或者 timeout 或者有 exception，就把这个网址放入 pool，下次循环对这个 pool 里没有成功访问的网址重新运行？ |
| 9 swirling 2018-02-20 10:53:59 +08:00 https://github.com/aivarsk/scrapy-proxies 直接撸个 middleware 上去. 如果觉得他不符合需求再自己写. |
| 10 gouchaoer 2018-02-20 11:18:25 +08:00 via Android 看来我干了 2 年全职爬虫还是有积累的 |
 | 11 inflationaaron 2018-02-20 23:45:18 +08:00 这个还是看语言，我用 aiohttp + asyncio + uvloop 写的就是没有 Go 的多线程快。如果资源有限的话用手动管理内存可能更好一点？ |
| 12 drroot OP @inflationaaron 相比 scrapy 呢？ |
| 13 inflationaaron 2018-02-22 23:29:25 +08:00 @drroot 比 scrapy 简单，而且速度更快。说到底 scrapy 是用 Twisted 的，可以看看 uvloop 的 benchmark: https://magic.io/blog/uvloop-blazing-fast-python-networking/ 性能可以赶上单核 Go 了，但是没有办法利用多核就是硬伤。 |
 | 14 rocketman13 2018-08-16 11:16:09 +08:00 你用 asyncio+aiohttp 遇到过什么坑吗？例如没有任何反爬措施的 api 会请求超时，同样的 api 如果用 request 就能随便拿到数据这种。。。。 |
Select Language