频繁抓取电商商品的价格会被封吗，怎么解决这个问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐书目

高性能网站建设进阶指南

High Performance Web Sites

Google Hacks: Tips & Tools for Finding and Using the World's Information

关于 Google SEO 最好的一本书

这是一个创建于 3549 天前的主题，其中的信息可能已经有所发展或是发生改变。

学校让做项目，自己想做个关于电商商品价格浮动的项目，听说频繁抓取会被封 ip ，如果出现这种情况怎么解决

电商

频繁

商品

浮动

16 条回复 2016-04-12 19:28:55 +08:00

lxjsmdc

2016-04-12 13:05:16 +08:00

你就抓现成的那几个已经抓好数据的站就行了

dong3580

2016-04-12 13:09:00 +08:00

会.
做项目 ? 做成西贴那种 ? 如果是毕设,可以做出来,有个 demo 就行了,没必要一直抓,原理在这儿.

jedyu

2016-04-12 13:35:01 +08:00

第一步应该先去抓

mahone3297

2016-04-12 13:39:14 +08:00

@lxjsmdc 我擦，好思路。现成抓好数据的站，会公开数据？

binbinyouliiii

2016-04-12 13:45:19 +08:00

@lxjsmdc 哪些网站会公开价格

@jedyu 抓已经找到了些门道，但是我怕抓了没多少我的 ip 就被封了，那不就前功尽弃了

binbinyouliiii

2016-04-12 13:50:13 +08:00

@dong3580 不是网页，是给安卓客户端当服务器的，不过差不多，淘宝我是不敢想了，觉得自己抓抓京东易迅什么的就可以，你说我抓那个西贴可行吗，会被封吗

herozzm

2016-04-12 13:54:21 +08:00

会，所以做爬虫最大的问题是控制抓取频率加上较多代理 ip

dong3580

2016-04-12 14:04:51 +08:00

@binbinyouliiii
这不还是一样...一个是 web 渲染,一个是提供给安卓渲染....
西贴数据太少了,

pubby

2016-04-12 14:25:19 +08:00

淘宝天猫抓价格都还好，麻烦的是抓淘宝评论数据

lxjsmdc

2016-04-12 14:38:34 +08:00

@mahone3297
@binbinyouliiii
http://www.manmanbuy.com/pt_428133.aspx

lianyue

2016-04-12 14:49:10 +08:00 via iPhone

@binbinyouliiii 写个代理脚本就好了呗

Mysdes

2016-04-12 16:15:05 +08:00

网易的惠惠助手，双十一的时候都官方申明“因为众所周知的原因”关闭了历史价格

binbinyouliiii

2016-04-12 16:25:59 +08:00

@Mysdes 他关闭他的。我抓我的
@lianyue 没有这么多 ip 啊

Navee

2016-04-12 16:57:35 +08:00

一般爬虫类应用都会有很多代理，请求的时候会使用不同的代理来保证每次都能抓取到数据

Felldeadbird

2016-04-12 17:05:53 +08:00

找 /买 IP 代理。

lianyue

2016-04-12 19:28:55 +08:00 via iPhone

@binbinyouliiii 在写个脚本抓互联网上的代理