在苏州已经裸辞快两个月了，发现爬虫岗位真的约不到什么面试

省钱+耐心

放下身段，降低薪资要求

还有专门的爬虫岗?这东西不都是兼着做的嘛

这玩意都是正儿八经岗位顺带做的，哪里来专职

个人觉得是你的经验太少了，现在这行情很少会招一年的

爬虫专岗要求都很高，这玩意特别吃经验
大部分中小公司的爬虫都是兼着做的，没需求也没必要去招个专人
建议转语言或者找个小公司做后端开发猫着

专门盯着爬虫，很刑。

专职的都要做 APP ，不做 APP 很难

极验 瑞数 加速乐 工商 司法 商标 专利 这几个随便会一个也不可能没公司要啊

爬虫转向岗位都是在地下 见不得光. 大机构 /集团 互相窃取数据 转私活来做的.不是正儿八经的方向.

顶多实现某个功能需要一些数据 然后去窃取.某个领导按时 CTO CTO 自己领会. CTO 也不傻.顺手要没心眼的人顺手做了就是. 万一爬虫写错了把人服务器爬崩了就是另一个故事了.

至于为什么 OP 会认为这是一个专项岗位？可能头铁进入了了头铁的公司 or 有背景的公司.

爬虫岗要求高，要会逆向，你得 java 熟，对 js 熟。

楼上各位说的都是实话，一般都是公司内部兼职的，爬虫专岗发展方向有些受限，如果确实感兴趣，就需要深入研究搞逆向、网安方向了，但那不是“普通人”搞得了的

@zzl22100048 瑞数是扒还是 rpc 、无头这些

@tramm

有的， 数据公司

像楼主在苏州的话， 苏州银行和控股的租赁公司就有很大一部分评估数据是找数据公司买的， 那这些公司就有专门的爬虫岗

实质上就是切割风险啊， 我只要数据， 数据怎么来的我不知道， 你不合规被查了你去坐牢呗........

@xinJang 算法效率高很多

爬虫玩大了可以有稳定一日三餐

转大数据吧，

楼上没见过就是没有吗
我上家公司和现在的公司都有爬虫团队，专门写采集脚本和数据采集平台的，不止一个人哦，是一整个团队。
上家大概 3-5 个人，现在这家数据采集组有 10 来个人。

爬虫违法吧。。。

爬虫写的 6,牢饭吃的快

名硕欢迎你

爬虫门槛太低了。。。

大部分人对爬虫的印象还停留在 web 阶段。
现在的爬虫要求 app 逆向，脱壳，ollvm ，vmp ，风控，是一个技术要求非常高的岗位。
另一方面，能搞定逆向，脱壳，ollvm ，vmp 以后很多人也不愿意做爬虫了。因为再往后就涉及到风控了，现在的风控对抗都是机器学习在高，风控对抗这个东西对技术的提升就没有了，还特别花时间。

@westoy 怪不得 chatgpt 替代不了程序员

之前做过几个公司的爬虫项目,都是大项目空了顺手学了做的,法律风险很大,挺担惊受怕的.你这全职估计要精通 tcp,socket 二进制数据逆向才行吧.

@zpd2009 学习了

如何设计可配置低代码的数据采集平台；
如何上千万上亿的数据如何更新、调度；
如何监控爬取的异常；
任务调度系统如何设计；
如何对很多杂的项目，任务进行管理；
数据常用组件的使用 es kafka hive mongo 等；
如何设计反爬策略，攻防思维

现在这个大环境，要求高，才能抓到符合需求的高质量数据。