
小弟现在有个 DigitalOcean 的 VPS ,放 blog 的。
看了看 DO 的条款,貌似是禁止用蜘蛛去抓网站的。
难道要用树莓派 24h 在家里挂着?
1 onlyxuyang 2015-09-15 21:28:55 +08:00 买个便宜的独立 server... 另外...DigitalOcran 做 blog 是不是太奢侈了...... |
2 msg7086 2015-09-15 21:31:55 +08:00 蜘蛛爬虫一般都是和灰产挂钩,人家怕你万一干什么坏事他自己要倒楣,所以一般都会禁掉。 可以找那种不管你是否违法的宽松厂商。 (比如 CC 网络的,比如欧洲小国的 |
3 sefemp 2015-09-15 21:35:05 +08:00 限制你流量就行了,还管你爬虫? |
4 ianisme 2015-09-15 21:35:41 +08:00 独服 |
5 Moker 2015-09-15 21:38:01 +08:00 表示 DO 开了爬虫好几个月还没被封 不过可能爬的内容不多吧。。一个是 lofter 某些 BLOG 还有 ins 之类 |
6 onlyxuyang 2015-09-15 21:39:38 +08:00 其实是看爬虫怎么写,一般 VPS 会监视端口数... 爬虫同时开的线程少抓取的线程少的话,服务商根本就不知道是不是爬虫,但是如果想做个高效的话,大量开线程并行抓取是不可避免的,那样端口数就会开很多,会被 vps 服务商 warning... 不过实话实说啊~ 只要做的不是很明显.... vps 服务商鬼知道你是普通程序在 run 还是爬虫啊....除非服务商闲的蛋疼追踪每一个出去的连接的对端 ip |
7 wgf2008 2015-09-16 00:40:14 +08:00 正好 2 欧的不要了,你要不要? |
8 sinxccc 2015-09-16 03:05:44 +08:00 貌似 Linode 管得很松。 |