私活,需要抗比较复杂反爬虫策略的爬虫 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
nonesuccess
V2EX    程序员

私活,需要抗比较复杂反爬虫策略的爬虫

  •  
  •   nonesuccess2017-10-03 18:11:40 +08:00 6204 次点击
    这是一个创建于 2940 天前的主题,其中的信息可能已经有所发展或是发生改变。

    工作量不算大,但反爬虫比较复杂

    感兴趣的话,加企鹅私聊:二 431 五零一五 79

    25 条回复    2017-10-04 14:21:18 +08:00
    iiduce
        1
    iiduce  
       2017-10-03 18:31:34 +08:00
    就一句话,还前后矛盾,这活怎么接?
    laoyur
        2
    laoyur  
       2017-10-03 18:35:54 +08:00
    标题和正文需要这么断句:
    私活,需要(做) 「抗-比较复杂反爬虫策略」的爬虫
    工作量不算大,但(实现)反爬虫 比较复杂
    a87150
        3
    a87150  
       2017-10-03 18:38:10 +08:00
    怎么搞的跟犯罪分子接头一样?
    AlwaysBee
        4
    AlwaysBee  
       2017-10-03 18:40:00 +08:00
    比较复杂的反爬虫策略和工作量真的不存在关联吗,哈哈
    nonesuccess
        5
    nonesuccess  
    OP
       2017-10-03 18:40:19 +08:00
    @iiduce 要爬的内容不算多,但是每一个都不太简单
    iannil
        6
    iannil  
       2017-10-03 18:55:01 +08:00
    举个例子看看先?
    ericgui
        7
    ericgui  
       2017-10-03 19:03:02 +08:00
    @iiduce 我现在也遇到要给网站,才 1000 多条信息,但这是一个大牛逼网站的一个小部分,全站的反爬虫策略非常复杂,从来没有完整下载过这 1000 多条信息。br />
    另一个网站 6W+条,反爬虫策略很简单,2 小时搞定。
    ericgui
        8
    ericgui  
       2017-10-03 19:05:24 +08:00
    @AlwaysBee 应该指的是数据量不大。
    jint
        9
    jint  
       2017-10-03 19:06:51 +08:00   5
    工作量不算大。所以没费用或者极少。至于难度,难度也能叫工作量?搞不定是你水平不行。
    hugee
        10
    hugee  
       2017-10-03 19:11:13 +08:00 via Android
    把目标站发出来看看
    HYSS
        11
    HYSS  
       2017-10-03 19:17:39 +08:00
    总有这种逗逗的需求

    ”工作量不算大,但反爬虫比较复杂“
    mxi1
        12
    mxi1  
       2017-10-03 19:21:08 +08:00
    @HYSS 哈哈。都知道工作量了,还找什么人呀,自己做就行了,反正工作量不算大,233。
    steve007
        13
    steve007  
       2017-10-03 19:25:13 +08:00
    能贴下网址吗
    iConnect
        14
    iConnect  
       2017-10-03 19:30:40 +08:00 via Android
    爬虫也知道工作量?还会感觉累?
    torbrowserbridge
        16
    torbrowserbridge  
       2017-10-03 20:51:52 +08:00 via Android
    爬 1 万条和 10 万条对爬虫来说区别很大吗?
    binux
        17
    binux  
       2017-10-03 21:13:54 +08:00   2
    @ericgui #7 找 N 个人手动复制粘贴 1000 次,一次 1 元。
    hcnhcn012
        18
    hcnhcn012  
       2017-10-03 21:21:08 +08:00 via iPhone
    说实话,这句话我读了 10 多遍。。。。
    oszlso
        19
    oszlso  
       2017-10-03 21:33:33 +08:00
    怎么反爬虫的,难道是混淆数据么~~爬出来的数据也是废的~~
    y835L9DyC5XD09kq
        20
    y835L9DyC5XD09kq  
       2017-10-03 21:43:34 +08:00 via iPhone   6
    工作量不大--别指望太多钱
    比较复杂--别指望太简单
    flynaj
        21
    flynaj  
       2017-10-03 22:42:11 +08:00 via Android
    全部转成 JPG
    netChen
        22
    netChen  
       2017-10-03 23:17:36 +08:00
    这个主题的话让我想起了产品道哥的话:这个需求很简单,不需要大改,只要求稍微改一下逻辑就好了。。。哈哈,已笑疯在办公间
    jko123
        23
    jko123  
       2017-10-03 23:42:23 +08:00 via Android
    好了。不嘲讽楼主,底价 500 接你的单
    msg7086
        24
    msg7086  
       2017-10-04 06:42:00 +08:00   1
    @binux 这么贵啊。大学生兼职打字,一小时 30 块打发了……
    nomemo
        25
    nomemo  
       2017-10-04 14:21:18 +08:00
    找几个学生众包一下就完了

    基本策略都没有?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5336 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 48ms UTC 08:10 PVG 16:10 LAX 01:10 JFK 04:10
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86