手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
oceantree

手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫

  •  
  •   oceantree Jul 28, 2016 8268 views
    This topic created in 3562 days ago, the information mentioned may be changed or developed.

    爬虫爱好者一枚,写了两个系列的爬虫教程,分享给有需要的人,后续会不定时更新

    系列一:手把手教你写电商爬虫

    系列二: 互联网金融爬虫怎么写

    大家对什么爬虫最有兴趣,想用爬虫获取什么数据,有什么反馈建议,都欢迎留言

    37 replies    2017-05-14 22:53:41 +08:00
    oceantree
        1
    oceantree  
    OP
       Jul 28, 2016
    不是刚发的帖子,怎么变成 4 小时之前的了
    sanwenshi
        2
    sanwenshi  
       Jul 28, 2016
    支持一个
    oceantree
        3
    oceantree  
    OP
       Jul 28, 2016
    一打开消息

    165 次点击 14 人收藏

    就没人给个意见啥的
    qiayue
        4
    qiayue  
    PRO
       Jul 28, 2016
    90 分钟 16 个收藏很不错了,说明还是有人认可你的教程的
    oceantree
        5
    oceantree  
    OP
       Jul 28, 2016
    @qiayue
    哈哈 多谢支持了
    ango
        6
    ango  
       Jul 28, 2016
    收下了,有时间再看看
    Myflos
        7
    Myflos  
       Jul 28, 2016
    干货,先收了
    qiayue
        8
    qiayue  
    PRO
       Jul 28, 2016
    @oceantree 上传个头像吧
    oceantree
        9
    oceantree  
    OP
       Jul 28, 2016
    @qiayue
    好了,和博客一样的
    harry890829
        10
    harry890829  
       Jul 28, 2016
    不知道评论什么,反正晚点回去看看
    kchum
        11
    kchum  
       Jul 28, 2016
    是不是还可以上一下分布式爬虫,调度之类的。
    Wy4q3489O1z996QO
        12
    Wy4q3489O1z996QO  
       Jul 28, 2016
    有什么办法使用 cacheImg 处理图片数组吗?
    aidoudou
        13
    aidoudou  
       Jul 28, 2016
    先收藏,再慢慢看
    oceantree
        14
    oceantree  
    OP
       Jul 28, 2016
    @kchum
    这个可以有
    oceantree
        15
    oceantree  
    OP
       Jul 28, 2016
    @romotc
    用 for 循环,目前只能一个一个处理
    coolair
        16
    coolair  
       Jul 28, 2016
    这些东西没什么意义吧?主要就是分析链接?
    推广你的“神箭手云爬虫 框架”?
    “神箭手云爬虫 框架”在哪?开源吗?
    abctest
        17
    abctest  
       Jul 28, 2016
    @qiayue
    @ango
    @Myflos
    @harry890829
    @kchum
    @romotc
    @aidoudou
    你们回去都不用看了,我仔细看过了,好大一个安利,全是软文。
    oceantree
        18
    oceantree  
    OP
       Jul 28, 2016
    @coolair
    你觉得没用的话,可以不看,帖子分享给有需要的人
    神箭手云爬虫框架,是一个云端运行爬虫的开发平台,用起来方便,所以才用的
    Wy4q3489O1z996QO
        19
    Wy4q3489O1z996QO  
       Jul 28, 2016
    @oceantree cacheImg 返回了奇怪的东西: shenjianshou://http://image.xx.com/showImage.aspx?t=a1&v=10000A998
    qiayue
        20
    qiayue  
    PRO
       Jul 28, 2016
    文章还是有价值的,不过建议楼主(神箭手 CEO )下次来 V2EX 发帖,就正正当当的在文章开头表明身份表明利益关系更好。
    我玩 V2EX 五六年了,一般来讲真心实意来推广自己产品的,广大 V 友是欢迎的,但是如果遮遮掩掩来推广,反倒不受欢迎。
    比如前几天的 OneAPM 演了一场戏,结果被扒皮了。
    harry890829
        21
    harry890829  
       Jul 28, 2016
    @abctest 我粗略看了一眼文章,大概了解了一下,发现是软文,或者说是推广吧,不过当时没有明说……
    oceantree
        22
    oceantree  
    OP
       Jul 28, 2016
    @qiayue
    好吧,我想问下你怎么看出是神箭手 CEO 的,厉害,对这里情况不太了解
    的确是希望大家多多用下我们的平台,如果写的文章能给爬虫入门的人有帮助更好
    123s
        23
    123s  
       Jul 28, 2016 via iPhone
    已加入豪华午餐
    qiayue
        24
    qiayue  
    PRO
       Jul 28, 2016
    @oceantree 你 csdn 有真名,然后一搜索就从出来了
    vtea
        25
    vtea  
       Jul 28, 2016 via iPhone
    顶楼主,最近写爬虫卡在爬 ajax 类动态网页上了
    oceantree
        26
    oceantree  
    OP
       Jul 28, 2016
    @vtea
    有帮助就好
    oceantree
        27
    oceantree  
    OP
       Jul 28, 2016
    @romotc
    是这样的,通过 cacheImg 给 url 添加标识,这样才能正常将图片云托管到神箭手服务器上
    miao
        28
    miao  
       Jul 28, 2016
    果然是软文. 好在可以防爬虫
    miao
        29
    miao  
       Jul 28, 2016
    @miao 反爬虫
    upczww
        30
    upczww  
       Jul 28, 2016
    神箭手的广告
    nikola
        31
    nikola  
       Jul 28, 2016
    mark
    oceantree
        32
    oceantree  
    OP
       Jul 29, 2016
    @miao
    恩,的确是希望大家多试用我们开发的平台写爬虫,对神箭手有什么意见建议也欢迎大家提出
    对爬虫有兴趣的,可以加入群交流, 56685526
    pheyer
        33
    pheyer  
       Jul 29, 2016
    lz 有试过把淘宝全部商品爬完要多长时间吗?
    oceantree
        34
    oceantree  
    OP
       Aug 1, 2016
    @pheyer
    这个没试过
    不过我们已经写好了淘宝的爬虫,有三种不同的。
    cangbaotu
        35
    cangbaotu  
       Aug 15, 2016
    赞作者,刚好需要,赶紧去拜读一下( ̄ ̄)"
    ssllff123
        36
    ssllff123  
       Sep 9, 2016
    @oceantree 能不能请教怎么处理的 js 啊
    jy00566722
        37
    jy00566722  
       May 14, 2017
    @oceantree 太贵了,不给人入门窥探的机会。 我还充了值,以为市场里那些爬虫可以玩一把。
    仔细一看才发现自己多天真,原来是要会员等才可以用的。随便一个有用的都是个人旗舰版。还是整 scrapy 吧。
    About     Help     Advertise     Blog     API     FAQ     Solana     5428 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 173ms UTC 06:07 PVG 14:07 LAX 23:07 JFK 02:07
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86