请好心人分享一个能现用的 Python 版微博爬虫,使用目的是关注准老婆微博更新,不随时刷微博伤不起啊。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dayupday
V2EX    问与答

请好心人分享一个能现用的 Python 版微博爬虫,使用目的是关注准老婆微博更新,不随时刷微博伤不起啊。

  •  
  •   dayupday 2016-05-13 23:00:44 +08:00 5753 次点击
    这是一个创建于 3476 天前的主题,其中的信息可能已经有所发展或是发生改变。
    其次是想学习下 Python ,觉得爬虫好有趣。
    第 1 条附言    2016-05-14 13:48:55 +08:00
    首先在此谢谢做出有正面意义回复的大家。对于大家指出的问题,确系是自己的不妥。
    但某些楼层说什么是来骗代码的,只能说你们真够可笑的。实际上 Google 后就有很多现成可用的代码,例如 GITHUB ,知乎,简书上面等等
    那些个以己度人给别人贴标签的人,你在无人的角落里摸着自己的良心敢对天发誓,自己造轮子的时候没有去借鉴别人的代码吗?
    诚然自学或者说是自力更生才是最根本的出路,还是怪自己太憨了,结贴了
    67 条回复    2016-05-17 13:28:22 +08:00
    murmur
        1
    murmur  
       2016-05-13 23:05:27 +08:00
    这理由 0 分 把你老婆加到特别关注里新浪就会有更新就推给你
    dayupday
        2
    dayupday  
    OP
       2016-05-13 23:10:27 +08:00
    @murmur 不喜欢渣浪,之前有注册过账号,莫名其妙的给封了,然后不喜欢手机里装这些乱七八糟的软件,再再然后,因为时差,有移动版经常刷不出内容,加上最近感觉爬虫好有趣好有趣,就想在使用中借鉴下各位前辈的经验
    matthewz
        3
    matthewz  
       2016-05-13 23:15:08 +08:00
    没帐号咋爬? 别作了

    而且爬中文互联网一点不有趣, 比如新浪简直哔了狗
    dayupday
        4
    dayupday  
    OP
       2016-05-13 23:19:34 +08:00
    @matthewz 这和中文有趣无趣无关啊,就是爬虫能实现信息的自动采集觉得很有趣,至于账号,问朋友要了个几年前用手机号注册的
    graetdk
        5
    graetdk  
       2016-05-13 23:20:07 +08:00   1
    不得不说, http://www.competehunt.com/ 可以满足你的需求
    df4VW
        6
    df4VW  
       2016-05-13 23:21:33 +08:00   56
    murmur 这么简单好用的办法你他妈说不喜欢渣浪,不喜欢手机里装乱七八糟的 app 这他妈都是什么毛病,要不要告诉你老婆你这些都不喜欢她还逼不逼你关注她
    4. 他妈的你还没有账号你要做爬虫
    5. 你想学 python 就学啊,谷歌搜个 python ,微博,爬虫,会把?会把?会把?

    v2 怎么会有这么多低素质的用户,他妈的现在门槛低了果然什么都有
    dayupday
        7
    dayupday  
    OP
       2016-05-13 23:23:35 +08:00
    @graetdk 谢谢提供解决方案,但是个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆,哈哈哈
    jadecoder
        8
    jadecoder  
       2016-05-13 23:24:24 +08:00
    我想给楼上送上 32 个赞,可惜只能送一个
    murmur
        9
    murmur  
       2016-05-13 23:25:18 +08:00
    @df4VW 说的脏话不好,但是第四点是真的,没微博账号你啥都看不到,点两下就是登录页面
    jadecoder
        10
    jadecoder  
       2016-05-13 23:25:47 +08:00
    我说 6L
    喜欢自我实现就自己写啊,用个开源的程序显摆毛啊
    dayupday
        11
    dayupday  
    OP
       2016-05-13 23:27:11 +08:00
    @df4VW 兄台没必要这样吧,发帖的目的我也说过了,就是使用中借鉴大家的经验,毕竟年纪大了,没有那么多精力,只能空闲时自学下。
    xuwenmang
        12
    xuwenmang  
       2016-05-13 23:28:08 +08:00
    一堆废话理由没什么问题,跑出来秀老婆就是你的不对了
    dayupday
        13
    dayupday  
    OP
       2016-05-13 23:34:25 +08:00
    @xuwenmang 我也苦啊,好不容易有人愿意收留了, vexer 不是 Acer 啊
        14
    zhouxuchen  
       2016-05-13 23:50:48 +08:00 via iPhone
    既然你其次的目的才是学 python ,那还不如别学了,开个微博会员,秒秒钟给你推送你女朋友的微博 [滑稽]
    billion
        15
    billion  
       2016-05-13 23:53:33 +08:00 via iPad
    坚决不能便宜了伸手党。想要爬虫?可以啊,拿钱来。
    zhaojjxvi
        16
    zhaojjxvi  
       2016-05-13 23:58:34 +08:00 via iPhone
    加为“特别关注”,她任何更新, app 上会提示的。
    dayupday
        17
    dayupday  
    OP
       2016-05-14 00:01:52 +08:00
    @zhouxuchen 前面我有说过,就是感兴趣,然而你不觉得有实例能更好的理解所学过程中遇到的疑难问题吗
    dayupday
        18
    dayupday  
    OP
       2016-05-14 00:02:55 +08:00
    @zhaojjxvi 微博的 app 之臃肿,推广之烦大概大家都能感觉到
    Lonely
        19
    Lonely  
       2016-05-14 00:07:02 +08:00
    不如把你老婆的账号公布一下
    你如果不喜欢官方 app 的话也可以用第三方的啊
    tigerstudent
        20
    tigerstudent  
       2016-05-14 00:12:44 +08:00 via Android
    有个 APP 叫 IFTTT 。
    dayupday
        21
    dayupday  
    OP
       2016-05-14 00:12:45 +08:00
    @billion 这为兄台,别动不动就扣帽子,何为伸手党?假设你来到一个陌生的城市,四通八达的道路让你迷惑,你会不会请教路人某某地方该怎么去?那我也可以说你是伸手党啊,你不知道自己驾车 /乘 bus 将全市跑一圈吗,这样就不存在迷路的可能性了,很容易对不?当然这比喻不怎么恰当
    话说回来,学习是一个日积月累的过程,不是一早一夕就能办成的,能借鉴前辈的经验又有何不妥?
    dayupday
        22
    dayupday  
    OP
       2016-05-14 00:14:36 +08:00
    @Lonely 想吧骚年,不过还是谢谢提供解决方案。 IF 我测试过了,不怎么好用,不过同步还可以
    dayupday
        23
    dayupday  
    OP
       2016-05-14 00:19:25 +08:00
    @tigerstudent 回复错了楼层,谢谢提供解决方案,之前有段时间就是用 IF 的,但期间很多次同步不了
    TaMud
        24
    TaMud  
       2016-05-14 00:21:38 +08:00
    骗子,为了套代码,真是用尽脑子呀,有这时间还不如好好学习
    dayupday
        25
    dayupday  
    OP
       2016-05-14 00:35:21 +08:00
    @TaMud 你这话可是赤裸裸的人身攻击啊,不要凭主观去妄断别人,不好。
    10 年前我确实是学习软件工程的,但基本上就没上过课,这些年改行了,但也是有一颗编程的心,一直想着写个自己的小程序用用
    cxd44
        26
    cxd44  
       2016-05-14 01:01:10 +08:00 via Android
    还是直接注册帐号关注得了
    shakespaces
        27
    shakespaces  
       2016-05-14 01:06:41 +08:00 via Android
    六楼火气大了点,然而也不无道理…
    Suclogger
        28
    Suclogger  
       2016-05-14 01:26:18 +08:00
    会员有短信提醒
    love4taylor
        29
    love4taylor  
    PRO
       2016-05-14 01:29:39 +08:00 via Android
    加特别关注,买微博会员实时提醒都是因为她,然后发现微博会员似乎挺有逼格停不下来了
    dayupday
        30
    dayupday  
    OP
       2016-05-14 01:42:14 +08:00
    @Love4Taylor 这些方案我都用过,被封的账号还买了一年的会员,结果说我发广告,我发个毛线啊,一条微博都没发,因此产生了对渣浪的厌恶感也就催生了另寻它路的想法。
    love4taylor
        31
    love4taylor  
    PRO
       2016-05-14 01:50:20 +08:00 via Android
    @dayupday 真惨 没去和官方撕逼么 毕竟 0 微博记录
    dayupday
        32
    dayupday  
    OP
       2016-05-14 02:19:00 +08:00
    @Love4Taylor 和他们交涉了几天,结果就是咬定我的账号大量发送虚假广告,后来也没心情和他们扯淡了就放弃了
    kslr
        33
    kslr  
       2016-05-14 03:27:46 +08:00 via Android
    我记得新浪有个浮动窗,里面的单人的时间线,可以做一个增量的记录。
    第二个是微薄的 Api ,个人可以实名认证然后就好了
    zhaojjxvi
        34
    zhaojjxvi  
       2016-05-14 06:02:12 +08:00 via iPhone
    @dayupday 就是让你看通知,又没有让你刷微博,推广和臃肿和你啥关系
    看来你的 first piority 并不是真正的 first piority 啊
    powerfj
        35
    powerfj  
       2016-05-14 09:15:21 +08:00
    可以使用 ifttt
    pheyer
        36
    pheyer  
       2016-05-14 09:22:26 +08:00 via iPhone
    @dayupday 说不定是账号被盗了大量发垃圾广告
    sxyuqiao
        37
    sxyuqiao  
       2016-05-14 09:25:56 +08:00 via iPhone
    @zhaojjxvi 说白了就是骗代码
    dream7758521
        38
    dream7758521  
       2016-05-14 09:42:58 +08:00 via Android
    @df4VW 骂的真他妈的太好了, 100 个赞
    v2gba
        39
    v2gba  
       2016-05-14 09:43:18 +08:00 via iPhone   1
    1 点了感谢 6 楼

    2 注册微博账号 然后看微博官方 api 你这简单的需求基本就是里面的例子稍微改一下(改下例子里的 uid , 做个 cron 每隔多少时间运行一遍,嫌麻烦直接 python 里 for+sleep 就行)如果你这都嫌麻烦 那还是花钱找人买代码吧 根本不是自己想做一个
    Sakura
        40
    Sakura  
       2016-05-14 10:00:40 +08:00
    总结一下就是,既不想学,还想显摆,被诘问后强行甩锅给新浪
    waltcow
        41
    waltcow  
       2016-05-14 10:31:03 +08:00 via iPad
    ifttt
    xiamx
        42
    xiamx  
       2016-05-14 10:31:38 +08:00
    400USD , 3 天,有兴趣 PM
    gimp
        43
    gimp  
       2016-05-14 10:35:14 +08:00
    @df4VW 话糙理不糙
    zhangbohun
        44
    zhangbohun  
       2016-05-14 10:59:26 +08:00
    看了一些,贴主所有的主题帖都在“求助”。
    snowman
        45
    snowman  
       2016-05-14 11:06:09 +08:00 via iPhone
    嗨呀,我佛
    allenlee7c9
        46
    allenlee7c9  
       2016-05-14 11:28:26 +08:00 via Android
    刚开始没细看贴,还想为啥这么多人喷,拉上去一看“能现用的 Python 版微博爬虫”,“个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆”。。。 tm 想直接要套代码还能有成就感了,抱歉误会了回帖的各位,大家继续
    hinkal
        47
    hinkal  
       2016-05-14 11:51:00 +08:00
    别人的代码不能满足需求那不就应该自己动手造轮子吗?自己不愿动手还 bb 就有点矫情了
    publicAdmin
        48
    publicAdmin  
       2016-05-14 12:04:39 +08:00
    @zhangbohun 习惯是慢慢养成的?
    crazylinus
        49
    crazylinus  
       2016-05-14 12:04:58 +08:00
    @zhangbohun 其实求助贴本身没啥问题,你看现在首页上一大半都是求助帖。
    Alex5G
        50
    Alex5G  
       2016-05-14 12:09:30 +08:00 via Android
    重点是你说了准老婆,你要是说准老公就不一样了。好吧,自己谷歌
    crayygy
        51
    crayygy  
       2016-05-14 12:20:12 +08:00
    @crazylinus 求助帖也是要有意义的,比如说代码出现什么问题了, Google 搜索过了,代码贴上来,给出重现方式, log 信息,我觉得这种求助是有意义的,别人也会愿意去帮助。

    LZ 这样的,我不觉得有什么意义。
    chairuosen
        52
    chairuosen  
       2016-05-14 12:28:05 +08:00
    点赞脚本 : https://github.com/ccbikai/likefordear
    app :报告主人
    menc
        53
    menc  
       2016-05-14 13:46:11 +08:00   2
    都不愿意为了女朋友下载注册一个微博,你真的爱她么
    dayupday
        54
    dayupday  
    OP
       2016-05-14 13:49:35 +08:00
    @menc 是注册过被无故封号了
    YIem
        55
    YIem  
       2016-05-14 14:10:35 +08:00
    又看见一群吃瓜"群众" 好好的吃你的瓜就完事了呗! 怎么一天事事的这么多!
    sxyuqiao
        56
    sxyuqiao  
       2016-05-14 16:12:35 +08:00 via iPhone
    果然到处都不缺不要脸的人
    “结贴了唉我真是太憨厚了”
    这种话真的说的出口哦,话说发现了 emoji 没有吐的表情。
    dayupday
        57
    dayupday  
    OP
       2016-05-14 18:47:49 +08:00
    @sxyuqiao 请尽管放心你大胆的吐,看看你的嘴脸,你有什么资格站在道德制高点批评我?我拿你一分了还是翘了你的妹子了?再者憨和憨厚能等价使用吗?尽干些站着说话不腰痛的事
    Rand01ph
        58
    Rand01ph  
       2016-05-14 20:18:47 +08:00
    问题是,爬虫做好了,接下来就需要服务器了,得一直跑着对吧,服务挂了怎么办,得考虑用个守护进程,要是守护也挂了怎么办,得加个邮件提醒。。。
    我觉得还是下个微博加入特别关注吧,又快又准。。。
    Exin
        59
    Exin  
       2016-05-14 20:29:29 +08:00
    楼主是程序员吗
    这种典型的程序员思维真的要改改
    dayupday
        60
    dayupday  
    OP
       2016-05-14 21:21:01 +08:00
    @Rand01ph 哈哈哈,确实有道理
    dayupday
        61
    dayupday  
    OP
       2016-05-14 21:26:09 +08:00
    @Exin 正因为我不是程序员,所以感觉楼里某些同学的思维就是一根筋
    aaronzjw
        62
    aaronzjw  
       2016-05-14 21:30:13 +08:00 via iPad
    @df4VW 话糙理正
    Exin
        63
    Exin  
       2016-05-14 22:00:03 +08:00
    @dayupday
    这样啊。其实我的意思是“我有个需求->我可以通过创造某某工具简化我的步骤->创造工具”这种方式在工作上蛮有用,可以有滚雪球的效应,但是在其他领域里(比如你这里的关注女朋友),往往让人忘了最初的目的误入歧途。
    dayupday
        64
    dayupday  
    OP
       2016-05-14 22:02:39 +08:00
    我本着实事求是的想法发帖,告知是因为什么发帖,求来的代码打算怎么用,结果触动了某些同学的 G 点
    6L 的言辞也仅有第四条是指出的问题,第五条是建议
    第一,二条完全就是强行拉仇恨,我是求着去关注我老婆了吗?还是我秀恩爱了?重点是求爬虫代码好吗
    第三条,每个人都有自己的一些稀奇古怪的癖好,我就不喜欢装渣浪的 app 碍着谁什么了?渣浪的 app 有几人用过是点赞的?我不装就是我矫情我有毛病?况且这又和我喜不喜欢我老婆有什么关系?这一点的逻辑本身就很奇怪

    人生观不要太奇怪了
    sxyuqiao
        65
    sxyuqiao  
       2016-05-14 22:27:36 +08:00 via iPhone
    @dayupday 你自 high 好了无所谓 反正大家的态度你都看到了 你要觉得众人皆醉你独醒 那就继续憨厚下去好了
    lazydao
        66
    lazydao  
       2016-05-15 16:01:45 +08:00 via Android
    的确找骂
    Kilerd
        67
    Kilerd  
       2016-05-17 13:28:22 +08:00 via Android
    看了楼主的发帖记录,只能说,何必自找麻烦呢?

    再者,发帖内容与回帖内容极其不负,何来公信力?

    最后,去看看提问的艺术。


    ps:憎恨伸手党!!!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1241 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 91ms UTC 23:39 PVG 07:39 LAX 15:39 JFK 18:39
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86