V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv
virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide 
This topic created in 4226 days ago, the information mentioned may be changed or developed.
 | 1 mrytsr Oct 4, 2014 via Android Scrapy |
 | 2 mhycy Oct 4, 2014  1 手写.... Requests + re + threading + logging 各种爽~ PS.其实是觉得框架太不灵活了 |
 | 3 paulw54jrn Oct 4, 2014 1 不是很复杂就是楼上说的 requests + re + threading/greenlets 或者是楼上上说的 Scrapy.. |
 | 4 ShiehShieh Oct 4, 2014 有没有什么好点的材料能学习嘛？ 0.0 |
 | 5 |
 | 7 XadillaX Oct 4, 2014 -。 - 为什么没多少人学 node 做爬虫呢？ |
 | 8 chemzqm Oct 4, 2014 1 node异步回调太恶心，占用内存太高，低配机器跑不了几个进程 |
 | 9 R4rvZ6agNVWr56V0 Oct 4, 2014 1 曾经用twisted自己写过一个，后来才知道有scrapy这个爬虫框架，推荐scrapy |
 | 10 Codist Oct 4, 2014 1 scrapy简单又方便，selector用起来也很舒服，不用写正则了 |
 | 11 kenis Oct 5, 2014 1 推荐用Scrapy，比较成熟的爬虫框架，资源也不少。 |
 | 12 cha1 Oct 5, 2014 1 |
 | 13 briefcopy Oct 5, 2014 1 WebCollector: http://www.brieftools.info/document/webcollector/ |
 | 14 imn1 Oct 5, 2014 1 我抓取的量很大，所以分离过程用wget抓取，py做parse，95%用正则，少量用 lxml+xpath 无论用什么，通读http协议+抓包工具是跑不掉的 |
 | 15 ericls Oct 5, 2014 via Android 1 requests pyquery |
 | 16 helloworld00 Oct 5, 2014 1 |
Select Language