最近打算爬一个网站数据，链接格式自己都有。想找一个好用的爬虫软件，需求是顺利爬下数据，不被网站主发现。
源网站是一个购物网站，流量很大。
======================= 追加： 源网站链接返回的数据是JSON数据，可以直接用。
源链接格式为https://www.xxxxxx.com?a=YY&b=ZZ
爬虫只需要能实现更改不同的a和b就行。其中a是在几个固定的参数里面选，b是page页码。
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3369 days ago, the information mentioned may be changed or developed.
 | 1 yalay Mar 9, 2017 火车头？ |
 | 2 klxq15 Mar 9, 2017 via Android 用 python 循环一下不就搞定了，不过爬虫的难点在于提高爬取速度 |
 | 3 bazingaterry Mar 9, 2017 via iPhone Scrapy |
 | 4 IanPeverell Mar 9, 2017 一个方法是用 Scrapy 框架搭，另一个方法是用 requests 写 问题除了速度还有反爬虫的问题，可以代理+随机改变请求的 HEAD |
 | 5 lovejoy Mar 9, 2017 跟爬虫关系不大吧，你这个自己写脚本抓就好了 |
 | 6 figofuture Mar 9, 2017 |
 | 7 tomasyl Mar 9, 2017 nutch 啊 |
 | 8 voidtools Mar 10, 2017 如果只有 2 位数的页面。。。好像没必要弄爬虫。。。 dtm 通配符搞一下就好勒 |
 | 9 lesxc Mar 10, 2017 srcapy 就不说了，可以试试 webmagic 开箱即用！ |
Select Language