
1 ml1344677 2018-07-26 11:32:27 +08:00 反爬策略仅限于验证码的网站:安居客(拿下某地所有房源数据) 封禁 IP 的网站:房天下(拿下某地所有房源数据) 不封禁 IP 但是传给你错误数据的网站:高德地图(点击某个 POI 点出现某地块轮廓,要求大量爬取轮廓) 通过翻页方式和异步加载限制爬虫的网站:豆瓣(个人认为主要考察爬取策略) |
2 dbow 2018-07-26 11:34:24 +08:00 亚马逊试试? |
3 OpenJerry 2018-07-26 13:22:44 +08:00 via Android 还在上学的话可以试试爬学校教务,做个教务的命令行客户端,或者自动抢课之类的 |
4 XxxxD 2018-07-26 13:43:33 +08:00 目前遇到的挺多都还挺友好的,试试盗版小说网站和图片网站 |
5 tt67wq 2018-07-26 14:04:11 +08:00 |
6 wzwwzw 2018-07-26 15:53:42 +08:00 淘宝,京东,各大电商网站。 |
7 LeungV2 2018-07-26 15:57:16 +08:00 PY 爬虫吗? 好像挺好玩的 |
8 zdnyp 2018-07-26 15:58:54 +08:00 看兴趣呀,比如喜欢玩 LOL 的,把各个英雄的出场率、胜率啥的都抓来,喜欢音乐的就爬音乐站,喜欢电影的爬电影站... 实在没啥兴趣,搞爬虫干啥... |
9 unforgiven 2018-07-26 16:46:30 +08:00 如果你是新手 只是练练手的话 最好的实验对象是色情小网站 |
10 alen 2018-07-26 16:55:41 +08:00 |
11 Lwf1995 2018-07-26 17:58:35 +08:00 via Android @unforgiven 同意,我试过。哇咔咔。 |
12 Lwf1995 2018-07-26 17:59:24 +08:00 via Android @Lwf1995 哎,已经是老油条了,这种事情都不感觉到不好意思了。想当年我还是个看见妹子就脸红的小男生 |
13 yykrlc 2018-07-26 18:13:58 +08:00 搜狗.微信欢迎你。XX 小网站一般需要翻墙爬比较快... |
14 nciyuan 2018-07-26 19:51:28 +08:00 via Android 感觉之前 wget -m 就把 Apache Httpd 整站爬下来了.........是不是我有错片场了? |
15 0x5f 2018-07-26 20:19:21 +08:00 爬电影站 小电影站只要爬的慢一点 不会反爬 |
16 Leigg 2018-07-26 20:27:46 +08:00 via iPhone www.bigcilin.com ,旅途愉快 |
17 dd99iii 2018-07-26 20:58:24 +08:00 按兴趣 |
18 easylee 2018-07-26 21:12:32 +08:00 开着梯子干 91 啊,绝对好爬,兄弟爬到了记得发我一份哈。 |
19 tuding 2018-07-26 21:43:10 +08:00 这车开得猝不及防 |
20 Linxing 2018-07-27 00:31:33 +08:00 今日头条爬一波吧 |
21 ithou 2018-07-27 01:59:21 +08:00 via Android 教务系统吧。期末考试过后成绩还没出完,所以我前几天做了一个爬虫,实时推送教务成绩到邮箱。 链接就不给了,因为每个学校不一样。 |
22 JCZ2MkKb5S8ZX9pq 2018-07-27 02:28:57 +08:00 之前看过几个慈善筹款网站,可以看看资金流量、存量和发起人频度等等的,能有所发现。 |
23 zhangpeter 2018-07-27 07:18:22 +08:00 你可以看一下我的 Python 爬虫项目集合: https://github.com/zhang0peter/spider |
24 MES 2018-07-27 09:17:00 +08:00 |
25 yokon 2018-07-27 09:21:20 +08:00 |
28 sxd96 2018-07-29 19:56:42 +08:00 学校教务处成绩啊课表啊抢课啊,是不错的,入门这个挺好,还可以给同学用,有成就感。 |