人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程 - V2EX
Home Sign Up Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
CriseLYJ

人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程

  •   
  •   CriseLYJ Mar 30, 2019 13167 views
    This topic created in 2606 days ago, the information mentioned may be changed or developed.

    人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程

    [5kstar 项目地址]https://github.com/CriseLYJ/awesome-python-login-model()

    真心感谢 V2EX 上的所有的人，但是就想总结一下发几个小脚本，然后突然有很多人支持我，真的很感谢，如果没你们的支持，可能这个项目就不会一直走下来。所以我还是感谢！谢谢谢

    • 为了不辜负你们的支持，前段时间决定了写一套系统的爬虫教程，用来感谢这里的所有人，当然也有其他支持我的人！

    • 教程包括：js 逆向，xpath，bs4,正则,selenium, tesseract OCR 识别,mongodb 的使用，以及 scrapy 框架

    • 囊括搜有知识：如果你能吸收完，那么你可以爬取市面上 90%的网站，绝对没吹牛！

    • 在学习之前请务必掌握一些蟒蛇基础知识，之后我们就可以开始了！

    • 项目预估时间 20 天左右，平均两天更新一章内容，敬请期待........

    • 项目是免费的，所以你们要是喜欢可以给个 star,或者在 ISSUES 中留言都可以

    最后放项目地址点击此处跳转至 github

  • V2EX
  • 教程
  • 感谢
  • 项目
    100 replies    2019-05-01 14:07:37 +08:00
    CriseLYJ
        1
    CriseLYJ  
    OP
       Mar 30, 2019
    第一个链接多了个括号，访问的时候记得删除掉。。。。失误各位
    Bigglesworth
        2
    Bigglesworth  
       Mar 30, 2019 via Android
    支持一下。
    CriseLYJ
        3
    CriseLYJ  
    OP
       Mar 30, 2019
    @Bigglesworth 多谢了，内容很丰富！
    Willjim
        4
    Willjim  
       Mar 30, 2019 via Android
    @CriseLYJ MD 语法用错，几分钟内还可以改。教程收下了慢慢看，赞一下先！
    CriseLYJ
        5
    CriseLYJ  
    OP
       Mar 30, 2019
    @Willjim 怎么改求教求教
    Willjim
        6
    Willjim  
       Mar 30, 2019 via Android
    @CriseLYJ 文章下面有个 edit 呀
    guog
        7
    guog  
       Mar 30, 2019 via Android
    [地址别名](链接)
    Foreverdxa
        8
    Foreverdxa  
       Mar 30, 2019
    这些网站真是太棒了，新手来学习很舒服
    barrelsoil
        9
    barrelsoil  
       Mar 30, 2019
    看了下第一篇，很详细~
    CriseLYJ
        10
    CriseLYJ  
    OP
       Mar 30, 2019
    @Willjim 没找到 可能我之前放链接的时候没有放到括号里面
    lebcvu
        11
    lebcvu  
       Mar 30, 2019
    赞
    luboyan
        12
    luboyan  
       Mar 30, 2019 via Android
    支持下大佬
    CriseLYJ
        13
    CriseLYJ  
    OP
    &nsp;  Mar 30, 2019
    @Foreverdxa 感谢
    CriseLYJ
        14
    CriseLYJ  
    OP
       Mar 30, 2019
    @barrelsoil 嘿嘿
    CriseLYJ
        15
    CriseLYJ  
    OP
       Mar 30, 2019
    @teslayun 感谢
    sinver
        16
    sinver  
       Mar 30, 2019
    @CriseLYJ 如果可以，教程建议变更为视频版放到 B 站 [单个文件 2G 内保持原画不压缩] 。文字版读起来有些枯燥且内容多了之后会变更成手册，视频版可提高转播属性，给你带来更多 Star :D
    CriseLYJ
        17
    CriseLYJ  
    OP
       Mar 30, 2019
    @luboyan 不是啥大佬啦
    CriseLYJ
        18
    CriseLYJ  
    OP
       Mar 30, 2019
    @sinver 现在时间不是很多啊！我尽可能写详细点，不过还是多谢你的建议，等我有时间我可以尝试尝试
    TKKONE
        19
    TKKONE  
    PRO
       Mar 30, 2019 via Android   1
    果然都喜欢聚合型的东西，即使都是一开始楼主拿来都是网上收集来的旧老代码
    CriseLYJ
        20
    CriseLYJ  
    OP
       Mar 30, 2019
    强烈建议，http 一定要好好看！因为很有用！
    BCy66drFCvk1Ou87
        21
    BCy66drFCvk1Ou87  
       Mar 30, 2019   1
    支持 虽然我不写 python ……
    CriseLYJ
        22
    CriseLYJ  
    OP
       Mar 30, 2019
    @HuasLeung 哈哈 感谢
    capre
        23
    capre  
       Mar 30, 2019
    加油楼主，以前用过一次 selenium 不太深入，期待楼主写的这个
    CriseLYJ
        24
    CriseLYJ  
    OP
       Mar 30, 2019
    @capre selenium 不太好用的其实，一般都是 js 逆向
    miv
        25
    miv  
       Mar 30, 2019
    像这种开源无私的我强烈支持，自己也虽然不是专业搞爬虫的，不过这东西很有价值。另外，也想学习 selenium，所以就期待楼主的教程了！已经 start ！！支持！！
    xiongxiaoyang
        26
    xiongxiaoyang  
       Mar 30, 2019
    感谢
    694169224
        27
    694169224  
       Mar 30, 2019
    加油楼主
    Ehco1996
        28
    Ehco1996  
       Mar 30, 2019
    我前几年写爬虫也搞了一个类似的 repo https://github.com/Ehco1996/Python-crawler
    zhuzhibin
        29
    zhuzhibin  
       Mar 30, 2019 via iPhone
    404 page
    CriseLYJ
        30
    CriseLYJ  
    OP
       Mar 30, 2019
    @miv 好的
    CriseLYJ
        31
    CriseLYJ  
    OP
       Mar 30, 2019
    @zhuzhibin 删掉后面的括号
    CriseLYJ
        32
    CriseLYJ  
    OP
       Mar 30, 2019
    @Ehco1996 很棒，哈哈
    anyuhanfei
        33
    anyuhanfei  
       Mar 30, 2019
    支持支持
    adrianyoung
        34
    adrianyoung  
       Mar 30, 2019
    支持一下，自己也写爬虫，借楼主宝地打个广告 [爬虫监控 demo]( https://github.com/adrianyoung/CrawlerMonitor)
    zhuzhibin
        35
    zhuzhibin  
       Mar 30, 2019 via iPhone
    @CriseLYJ 哦没仔细看 直接点的
    wangchonglie
        36
    wangchonglie  
       Mar 30, 2019
    已 star
    VictorFrank1
        37
    VictorFrank1  
       Mar 30, 2019
    火钳
    spidermansam
        38
    spidermansam  
       Mar 30, 2019
    已 star，加油
    yasumoto
        39
    yasumoto  
       Mar 30, 2019
    支持一下 已 star
    CriseLYJ
        40
    CriseLYJ  
    OP
       Mar 30, 2019
    谢谢各位的支持
    madtwilight
        41
    madtwilight  
       Mar 30, 2019 via Android
    支持
    Snowflakes
        42
    Snowflakes  
       Mar 30, 2019 via iPhone
    感谢。已收藏
    CriseLYJ
        43
    CriseLYJ  
    OP
       Mar 30, 2019
    @lpdy4 谢谢
    CriseLYJ
        44
    CriseLYJ  
    OP
       Mar 30, 2019
    @madtwilight 谢谢
    XiaolinLeo
        45
    XiaolinLeo  
       Mar 30, 2019 via iPhone
    支持支持
    CriseLYJ
        46
    CriseLYJ  
    OP
       Mar 30, 2019
    @XiaolinLeo 感谢感谢
    zz25
        47
    zz25  
       Mar 30, 2019
    萌新感觉不错，先 Star，说不准以后会学到
    aoe2ex
        48
    aoe2ex  
       Mar 30, 2019
    star 为敬
    godgc
        49
    godgc  
       Mar 30, 2019
    学习学习~~
    luckyswag
        50
    luckyswag  
       Mar 30, 2019
    学习
    CriseLYJ
        51
    CriseLYJ  
    OP
       Mar 30, 2019 via iPhone
    多谢支持
    Crayon2022
        52
    Crayon2022  
       Mar 30, 2019
    支持
    kuyuzhiqi
        53
    kuyuzhiqi  
       Mar 30, 2019
    404 代表 5k star 的项目不存在
    nznd
        54
    nznd  
       Mar 30, 2019
    哇 老哥要是有投稿 b 站的计划的话 我可以帮忙做一些吗 录制 后期 剪辑 字幕 啥的 都会一点
    supersadmin
        55
    supersadmin  
       Mar 30, 2019 via iPhone
    已用
    way2create
        56
    way2create  
       Mar 30, 2019
    支持 虽然不是搞这个的
    CriseLYJ
        57
    CriseLYJ  
    OP
       Mar 30, 2019
    @nznd 如果搞得话，我联系你性阿布
    CriseLYJ
        58
    CriseLYJ  
    OP
       Mar 30, 2019
    @kuyuzhiqi 去掉链接后面的括号，我写的时候写错了
    nznd
        59
    nznd  
       Mar 30, 2019
    @CriseLYJ #57 好的哦 ;)
    kodSen
        60
    kodSen  
       Mar 30, 2019 via iPhone
    开源很棒，多谢，学习一下
    CriseLYJ
        61
    CriseLYJ  
    OP
       Mar 30, 2019
    @kodSen 谢谢
    Majeriot
        62
    Majeriot  
       Mar 30, 2019
    支持支持
    CriseLYJ
        63
    CriseLYJ  
    OP
       Mar 30, 2019
    @Majeriot 谢谢
    baicai0817
        64
    baicai0817  
       Mar 30, 2019 via iPhone
    支持
    rosu
        65
    rosu  
       Mar 30, 2019 via Android
    先 watch，等楼主更新了再 star （滑稽
    DJI360
        66
    DJI360  
       Mar 30, 2019 via Android
    支持一下
    chungzhao
        67
    chungzhao  
       Mar 30, 2019
    支持！
    CriseLYJ
        68
    CriseLYJ  
    OP
       Mar 30, 2019
    谢了各位，希望对你们有帮助
    meteor957
        69
    meteor957  
       Mar 30, 2019
    已 start
    JeongReich
        70
    JeongReich  
       Mar 30, 2019 via Android
    已收藏 最近在学。
    CriseLYJ
        71
    CriseLYJ  
    OP
       Mar 30, 2019
    今天应该可以更新
    kotlings
        72
    kotlings  
       Mar 30, 2019
    请问下你的项目都是 python 3 写的吗？怎么 instal 老是失败
    CriseLYJ
        73
    CriseLYJ  
    OP
       Mar 30, 2019
    @mythace 对啊 python3
    Exia
        74
    Exia  
       Mar 30, 2019
    不错，帖主试试花瓣
    ronman
        75
    ronman  
       Mar 30, 2019 via Android
    很好，两个项目都 star 了，平时虽然也在用爬虫，但是都是小打小闹，正需要一个系统的知识，辛苦楼主了。
    Exia
        76
    Exia  
       Mar 30, 2019
    教程很赞，果断 star
    ronman
        77
    ronman  
       Mar 30, 2019 via Android
    对了多问一句，完成更新后会考虑以 git book 的形式整合吗？这样更加方便查阅
    CriseLYJ
        78
    CriseLYJ  
    OP
       Mar 30, 2019
    @ronman 可以尝试
    CriseLYJ
        79
    CriseLYJ  
    OP
       Mar 30, 2019
    @Exia 谢谢
    0x000007
        80
    0x000007  
       Mar 30, 2019
    /t/541855 砸场子的来了
    0x000007
        81
    0x000007  
       Mar 30, 2019
    @0x000007 贴错了 /t/550323
    CriseLYJ
        82
    CriseLYJ  
    OP
       Mar 30, 2019
    @0x000007 不喜欢我也没办法，毕竟我不能满足所有人，这里我想请问一下，你能帮我定义一下爬虫吗？？能帮我定义一下 http 吗？？钢精。。。。。
    Meli55a
        83
    Meli55a  
       Mar 30, 2019
    淘宝的不知道失效没，先 star + 1 再说
    CriseLYJ
        84
    CriseLYJ  
    OP
       Mar 30, 2019
    我就不过多解释了行吧，你们开心就好
    xyb12138
        85
    xyb12138  
       Mar 30, 2019
    支持，想系统的学习一下爬虫知识，已 star~
    0x000007
        86
    0x000007  
       Mar 30, 2019
    @CriseLYJ 我杠你啥了?我只是贴个链接告诉你有人砸你场子,我这就杠了?
    CriseLYJ
        87
    CriseLYJ  
    OP
       Mar 30, 2019
    @0x000007 那不好意思，兄弟，行吧！我误解你了，等我写完所有东西，我新开一个帖子，你们再来发表观点好不好？现在就只是个预备知识！
    chen11
        88
    chen11  
       Mar 30, 2019
    支持一波，感谢
    jarry118
        89
    jarry118  
       Mar 30, 2019
    感谢大佬
    xxx78797084
        90
    xxx78797084  
       Mar 30, 2019
    支持大佬
    EyreFree
        91
    EyreFree  
       Mar 30, 2019
    膜
    cnzzz
        92
    cnzzz  
       Mar 30, 2019
    多谢教程，很详细很多干货，支持大佬
    shuangyeying
        93
    shuangyeying  
       Mar 30, 2019
    用 Java 写过 selenium，确实非常方便。
    persimmon
        94
    persimmon  
       Mar 31, 2019   1
    That's why we cannot have nice things in China now.
    icanfork
        95
    icanfork  
       Mar 31, 2019 via iPhone   1
    不是说 5k 吗？怎么才 660 个 star
    chpiter
        96
    chpiter  
       Apr 1, 2019
    加油
    asus10tu
        97
    asus10tu  
       Apr 2, 2019
    非常感谢大佬！
    wdcrgb
        98
    wdcrgb  
       Apr 3, 2019
    学习了
    iorilu
        99
    iorilu  
       Apr 13, 2019
    厉害了, 爬虫高手啊, 收藏学习了
    liwenbest
        100
    liwenbest  
       May 1, 2019
    期待更快地更新哈 谢谢分享
    About     Help     Advertise     Blog     API     FAQ     Solana     3922 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 319ms UTC 04:24 PVG 12:24 LAX 21:24 JFK 00:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86