
1 yaxin 2015-10-09 08:50:20 +08:00 你熟悉哪种语言就用哪种 |
2 plqws 2015-10-09 09:32:18 +08:00 via Android 都可以,差别不大,熟悉什么用什么,刚开始学的话感觉 Python 坑会比较少 |
3 imdjh 2015-10-09 09:51:25 +08:00 via Android 我推荐用 nodejs 内建的 http.request 模块。 Pro: 相对 request 模块,更少 overhead ,自己管理最大并发量( http.agent),但需要自己处理 cookie(手动设置发出去的 header ,异步(不清楚 py 的 requests 是不是)。 Cons: 但是就像楼上所说, agent , header 会有坑可能要踩,而且国内文档不多。很无奈的是 nodejs 的 api 不太稳定,天晓得哪天发个 6.0.0 。还有就是内存, cpu 占用很高,这些都要考虑到。 |
4 gamexg 2015-10-09 09:55:50 +08:00 node 不熟悉, python Requests 能自动处理 cookie ,比较方便。 http://cn.python-requests.org/en/latest/user/advanced.html#id2 最后网页非常复杂的时候 python 还可以模拟浏览器运行 js ,甚至直接启动浏览器模拟访问。 |
5 imdjh 2015-10-09 10:05:22 +08:00 via Android @gamexg 你最后提到的浏览器相关的感觉好黑科技。能够细说下给个链接,或者给几个 keyword 吗?谢谢 |
6 lei286394973 2015-10-09 10:11:11 +08:00 @imdjh selenium + phantomjs 就可以啊 |
7 aisk 2015-10-09 11:40:33 +08:00 gevent + requests + python |
8 magicdawn 2015-10-09 12:15:24 +08:00 Node.js superagent 自动处理 cookie |
9 icedx 2015-10-09 13:08:01 +08:00 Python 有硬伤 处理不好动态页面 最后还是要挂靠 Node 如果楼主两个水平差不多的话 推荐 Node |