求微博历史数据 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
Pore

求微博历史数据

  •  
  •   Pore Dec 21, 2017 7708 views
    This topic created in 3048 days ago, the information mentioned may be changed or developed.

    本人小硕, 想用最近比较热的大数据呀语义分析写个论文混毕业。 略懂计算机皮毛, 自己扒微博历史数据这个对我来说操作性太强。 有没有程序员有相关数据可以提供? 或者可实施的解决方案可以提供?

    鄙人将感激不尽,可送出闲置 Nexus 6. 其他形式有偿也可以的。谢谢!

    28 replies    2017-12-26 00:02:50 +08:00
    Pore
        1
    Pore  
    OP
       Dec 21, 2017
    刚才盘点了一下身边的东西,可送出以下产品。
    1. 闲置 Nexus 6
    2. 闲置 iPhone 5s (有锁,就当 iPod 玩儿吧)
    3. Office 365 半年以上有效期的分享( 2018/07/20 过期)
    zchlwj
        2
    zchlwj  
       Dec 21, 2017
    微博数据没有,但是有一份其他的数据,希望对楼主有帮助
    http://note.youdao.com/noteshare?id=2934610dc48391b0b5d09a0025474124&sub=756DBC0FAF1B4510B37E9BA4FF84C9E1
    p2pCoder
        3
    p2pCoder  
       Dec 21, 2017
    你这需求不够清楚
    fishdoubleearly
        4
    fishdoubleearly  
       Dec 21, 2017   1
    同求!可赠送北展演出门票一张~
    wibile
        5
    wibile  
       Dec 21, 2017
    具体要啥数据?哪方面的?
    Pore
        6
    Pore  
    OP
       Dec 21, 2017
    @p2pCoder 2014~2016 年的微博数据,包含用户名,时间,微博文就可以了。
    tisboy
        7
    tisboy  
       Dec 21, 2017 via iPhone
    具体微博什么数据?
    Pore
        8
    Pore  
    OP
       Dec 21, 2017
    @wibile 2014~2016 年的微博数据,包含用户名,时间,微博文就可以了。没有做过相关的东西,暂时想到这么多。
    Pore
        9
    Pore  
    OP
       Dec 21, 2017
    @fishdoubleearly 可以搞一个众筹咧,哈哈。
    Pore
        10
    Pore  
    OP
       Dec 21, 2017
    @tisboy 2014~2016 年的微博数据,包含用户名,时间,微博文就可以了。越全约好。
    linuxchild
        11
    linuxchild  
       Dec 21, 2017   1
    应该挺大的数据了。。一般人没有,可以尝试联系一下微博?
    wibile
        12
    wibile  
       Dec 21, 2017   1
    额,数据量太大,帮不了了。。。。估计得几百 T 不止吧。。。数据细化点,我还能帮忙爬一下。
    PythonKGB
        13
    PythonKGB  
       Dec 21, 2017
    你居然想要两年期间的微博用户的昵称 id 和所有的博文数据?

    首先你比公安局网信办还牛逼,

    其次你真没这么大的硬盘,

    最后你这硕士读的不光没学习,大数据的含义范畴都没搞懂

    白玩儿。
    Pore
        14
    Pore  
    OP
       Dec 21, 2017
    @PythonKGB 前两年确实看到有人这么做了,他还提供原始数据,主要是现在找不到那文章的链接了。
    BangBang
        15
    BangBang  
       Dec 21, 2017   1
    啊,我之前上铺毕业论文也是这个哇,不过他是写爬虫自己爬的哇,估摸着有 2kw 条够你做毕业设计的吧?

    结论:找个(自己写个)爬虫爬。
    Pore
        16
    Pore  
    OP
       Dec 21, 2017
    @BangBang 个人技术不是太行阿。听说现在微博封的比较紧,爬虫可行吗?
    golmic
        17
    golmic  
       Dec 21, 2017
    楼主可以先找其他人试试,实在不行了加我微信 lujqme 可以帮你爬,数据量看硬盘大小了。
    mamtou
        18
    mamtou  
       Dec 21, 2017   1
    awolfly9
        19
    awolfly9  
       Dec 21, 2017   1
    微博数据,没有。但是有汽车之家所有口碑的语料数据。
    TimePPT
        20
    TimePPT  
    PRO
       Dec 21, 2017   2
    这数据除了微博自己有全量,其他公司或个人根本不可能有,要全爬取了早被告了。
    微博之前就告过多家商业公司。

    真想取到,正规途径就是以科研名义找微博合作,但一般个人科研项目估计没戏,之前微博跟几家高校有过合作,但数据也不是全量给,现在还有没有合作不清楚。

    非正规途径就是找爬过的公司和个人要或者买,商业公司有哪些有数据我不清楚。个人的话,亚二爬梁斌(微博 @梁斌 penny )那肯定有大量数据,但也不可能是全量,且理不理你另说。


    话说回来,你真就仅仅是写论文,难道不应该是抽样数据研究就行了么,干嘛要全量。或者考虑换个方向数据也好找啊,比如新闻什么的
    Pore
        21
    Pore  
    OP
       Dec 21, 2017
    @TimePPT 您这说的确实在理,还是随机抽取数据量靠谱。不需要贪大贪全。我再好好考虑。
    delogn
        22
    delogn  
       Dec 21, 2017
    cucldk
        23
    cucldk  
       Dec 21, 2017
    我有,前几年爬的抽样数据,肯定不可能是全量,但绝对足够一般写论文用的了,甚至我自己都不知道怎么处理这么大量的数据了,目前只是存着放着,放着……
    lrigi
        24
    lrigi  
       Dec 21, 2017 via iPhone
    @TimePPT 实验室确实有微博的数据,微博给的,量不知道我没接触
    qq316107934
        25
    qq316107934  
       Dec 21, 2017 via Android   1
    @Pore 我只爬过某个城市 2014/2017 年 5 月份的数据,就已经几十 GB 了...
    Pore
        26
    Pore  
    OP
       Dec 22, 2017
    @cucldk 我可以跟你私聊吗
    cucldk
        27
    cucldk  
       Dec 25, 2017
    @Pore 留个联系方式吧 没找到怎么站内信……
    Pore
        28
    Pore  
    OP
       Dec 26, 2017
    About     Help     Advertise     Blog     API     FAQ     Solana     1175 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 56ms UTC 23:44 PVG 07:44 LAX 16:44 JFK 19:44
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86