这是一个创建于 4006 天前的主题，其中的信息可能已经有所发展或是发生改变。
这个爬虫是为阿里巴巴的 sm.cn 服务的吧？
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
 | 1 Livid MOD OP PRO |
| 2 Livid MOD OP PRO 统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。 |
| 3 Livid MOD OP PRO 为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了： 42.156.138.78 42.156.137.78 42.120.160.108 42.156.139.78 42.120.16.108 42.156.137.108 42.156.138.108 42.120.160.78 42.156.139.108 42.156.136.108 42.156.136.83 42.156.137.83 42.156.138.83 42.156.139.83 42.120.160.83 42.120.161.83 |
| 4 Livid MOD OP PRO 盛况如此：  |
 | 5 zjgood 2014-12-10 13:44:22 +08:00 via Android L大不优化，蜘蛛都这么钟爱V站 |
 | 6 xinple 2014-12-10 13:50:54 +08:00 是的，昨天我也遇到了，小站扛不住啊 |
 | 7 macken 2014-12-10 14:14:33 +08:00 直接用nginx把这个spider给干掉 |
 | 8 mikuazusa 2014-12-10 14:27:01 +08:00 |
 | 10 kofj 2014-12-10 19:30:38 +08:00 sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。 |
Select Language