三年爬虫需要什么技能树? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
xiao38245
V2EX    程序员

三年爬虫需要什么技能树?

  •  
  •   xiao38245 2020-04-08 13:47:14 +08:00 4269 次点击
    这是一个创建于 2016 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题, 感觉爬虫知识很凌乱, 有什么系统的技能树借鉴一下吗 顺便, 如果想转产品经理的话, 困难吗

    23 条回复    2020-04-10 18:40:14 +08:00
    scukmh
        1
    scukmh  
       2020-04-08 13:53:02 +08:00   14
    三年爬虫经验:
    1. 熟练使用 python 编写爬虫两年
    2. 坐牢一年
    zhanglp888
        2
    zhanglp888  
       2020-04-08 13:56:29 +08:00
    @scukmh 哈!感受了
    renmu123
        3
    renmu123  
       2020-04-08 14:03:10 +08:00
    随便列举一点(我也不是干爬虫的):
    1. 集群下载
    2. app 逆向
    3. js 逆向
    4. js 解密
    5. 不同验证码的破解方法
    6. 各种反反爬的知识
    lhx2008
        4
    lhx2008  
       2020-04-08 14:03:49 +08:00 via Android
    爬虫好像要知道的东西不多,比较难的可能是调度架构,JS 分析,验证码识别,数据清洗之类的吧
    wolfan
        5
    wolfan  
       2020-04-08 14:04:52 +08:00 via Android
    职业律师资格证书
    zcfnc
        6
    zcfnc  
       2020-04-08 14:05:00 +08:00
    不吃三年劳饭的程序员
    不是一个好的爬虫产品经理
    xiao38245
        7
    xiao38245  
    OP
       2020-04-08 14:33:33 +08:00
    @scukmh 太草了
    sakila
        8
    sakila  
       2020-04-08 14:47:19 +08:00
    @scukmh 三年爬虫经验:
    1. 熟练使用 python 编写爬虫两年
    2. 坐牢一年
    ----
    谢谢兄弟, 有被笑到
    yingqi7
        9
    yingqi7  
       2020-04-08 14:51:14 +08:00 via iPhone
    @scukmh 你想来华为上班吗
    yinjy
        10
    yinjy  
       2020-04-08 15:16:23 +08:00
    看成三年爬树了
    forgottencoast
        11
    forgottencoast  
       2020-04-08 15:25:28 +08:00
    吓的瑟瑟发抖。
    幸好我写爬虫的时候还不流行坐牢。
    hugedata
        12
    hugedata  
       2020-04-08 16:15:56 +08:00
    楼上说的职业律师资格证书和坐牢一年这些是备选,主要还是自己要多学习一些法律知识,打铁还需自身硬。一定要知法、懂法、守法。
    murmur
        13
    murmur  
       2020-04-08 16:21:30 +08:00
    现在的爬虫跟爬虫本身已经没多大关联了,首先你得有资源,包括机器和 IP,然后你要能逆向,各种与反扒对抗,最后你要有法律知识,不要越界被制裁
    labulaka521
        14
    labulaka521  
       2020-04-08 16:23:34 +08:00 via Android
    @renmu123 再加一条熟悉法律知识
    masker0817
        15
    masker0817  
       2020-04-08 16:25:09 +08:00 via Android
    会用脚捡肥皂?
    wangyzj
        16
    wangyzj  
       2020-04-08 16:34:05 +08:00
    高级一点逆向工程是必须的
    yprisoner
        17
    yprisoner  
       2020-04-08 16:38:38 +08:00
    一楼笑死哈
    hmxxmh
        18
    hmxxmh  
       2020-04-08 18:33:27 +08:00
    @scukmh 坐牢时间越久,爬虫技术越强???
    Damon154
        19
    Damon154  
       2020-04-08 23:55:54 +08:00
    @scukmh 牛逼牛逼
    levelworm
        20
    levelworm  
       2020-04-09 02:03:28 +08:00 via Android
    @renmu123 感觉和网络安全有点像啊,可惜 js 不会。
    kasper4649
        21
    kasper4649  
       2020-04-09 16:48:32 +08:00
    JS 逆向挺烦的,我还是太菜,打断点找半天。
    lasuar
        22
    lasuar  
       2020-04-09 17:19:31 +08:00
    转的话后端比较方便吧;
    说一些重要的技能点:懂 js 逆向,app 逆向,验证码破解(这个不强求,简单的尽量打码平台),分布式爬虫部署,四选三,逐一而精就够了。
    Cmdhelp
        23
    Cmdhelp  
       2020-04-10 18:40:14 +08:00
    毕业小白,js 调试得会,html 解析得会,分布式得会,docker 得会,ios 逆向找加密~~~,泪奔
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     875 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 21:14 PVG 05:14 LAX 14:14 JFK 17:14
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86