
新入职,加这周才 2 周
老大这周一给我一个任务
爬 tmall 店 铺商品列表
我只想说,周一到现在,我感觉我要自闭了
1 wangkun025 2020 年 9 月 25 日 这个……食宿免费? |
2 kop1989 2020 年 9 月 25 日 动物节点可还行,码畜坐实了。 慢慢学习,程序员算是少有的知识就是力量的职业了。 |
3 feiniu OP @wangkun025 晚上还是要回去的 |
5 gou7ma7 2020 年 9 月 25 日 via Android 啥外企啊还爬,话说是不是真的 955 啊?我也在深大地铁站附近。 |
6 wysnylc 2020 年 9 月 25 日 迟早进去 |
7 caicaiwoshishui 2020 年 9 月 25 日 via iPhone Github 没有这种轮子吗?可以查下 |
8 tomczhen 2020 年 9 月 25 日 via Android 淘宝系的正常使用如果浏览快点都给你弹各种验证码,写爬虫还不如多顾几个大学生手工录入。 哦,不对,应该叫大数据实习生。 |
10 feiniu OP @caicaiwoshishui 没找到轮子。。。 |
12 Cooky 2020 年 9 月 25 日 via Android selenium 慢点跑? |
13 TimeRain 2020 年 9 月 25 日 这种爬虫公司蛮危险呀,爬虫一时爽,终身火葬场 |
14 helloworld2010 2020 年 9 月 25 日 就写个爬虫而已,都开始怀疑自己能力了,建议先熟悉下 web 接口的一些规范,json/graphql 等等,html/css/js 也是。 |
OP @helloworld2010 有过一年的前后端开发经验的。这个淘宝这个风控是真的牛皮...... |
16 v2hh 2020 年 9 月 25 日 不要爬,真是经历,一个朋友公司爬的淘宝直播数据,他写的那部分代码,现在还在派出所,已经快有半个月了,公司老板目前还没事。 |
17 zixianlaiye 2020 年 9 月 25 日 这种任务也是 nb,天猫的风控你要是这么容易写一个自动化爬取的,阿里那帮人的工资白开了 |
18 sixway 2020 年 9 月 25 日 这个需要高质量的代理池,不然是无解的。 |
19 LiuJiang 2020 年 9 月 25 日 这不赶紧跑,想啥。。。 |
20 asdf2020 2020 年 9 月 25 日 记得淘宝系的最难抓取,有同事尝试是借了好多账号,然后控制频率才搞定,切换 IP |
21 HFX3389 2020 年 9 月 25 日 爬淘宝天猫说实话,就算能爬,也很难做自动化,分分钟风控,什么验证码就来了 而且 爬虫写的好,牢饭吃到饱 可不是一句空话 |
23 gouflv 2020 年 9 月 25 日 via iPhone 确实不适合,换个正常的公司 |
25 XD2333 2020 年 9 月 26 日 不如去看看官方的接口,我记得这个你这个还是有的,没必要一个树上吊死。 |
26 jon 2020 年 9 月 26 日 建议跑 |
27 TimeRain 2020 年 9 月 26 日 实在不行换个公司吧,离爬虫远点比较好,爬虫个人感觉是离监狱最近的地方,别和我说公开数据可以爬,只要不影响到别人的业务就行,因为最终解释权在人家公司那里,他说你有罪大概率逃不掉,他没说不能做也不要掉以轻心,说不定有些公司就是专门搞这种爬数据的人 |
28 AJQA 2020 年 9 月 26 日 headless chrome 加 上千个类似 aws lambda 他们总不能分辨是爬虫了吧? 因为上千个 lambda 肯定会有很多 ip? headless chrome 真实浏览器? |
29 leafre 2020 年 9 月 26 日 难吗 |
30 huai 2020 年 月 26 日 via iPhone 所以爬取这种相当于公开的数据 也是违法?楼上可以证实?还是也是道听途说(提问 |