This topic created in 4794 days ago, the information mentioned may be changed or developed.
今天用服务器爬百度，只有几分钟，就被百度给屏蔽了...... 求大牛指导
 | 1 wtser Mar 11, 2013 爬虫也有名字的，在useragent中有显示，通过检测UA就可以知道你是爬虫，当然也可以检测你的行为特征 |
 | 2 scriptkids Mar 11, 2013 频率.. |
 | 3 workaholic OP @scriptkids 恩，少量多次^_^ |
| 4 workaholic OP @wtser 恩，useragent好解决，行为得谨慎一些 |
 | 5 yangruixuan Mar 12, 2013 频度控制 |
 | 6 tysx Mar 13, 2013 同一个IP的并发连接数 |
| 7 workaholic OP @tysx 我用的php，应该是单线程的。不过我发现流量低谷（比如凌晨）的时候比较松，其他时间就得少量多次了 |
Select Language