关于内网 bbs 抓取的技术问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
alexapollo
V2EX    程序员

关于内网 bbs 抓取的技术问题

  •  
  •   alexapollo
    geekan 2015-03-04 19:46:58 +08:00 3840 次点击
    这是一个创建于 3904 天前的主题,其中的信息可能已经有所发展或是发生改变。

    很想关注某些内网bbs的关键词(二手、交易),但我们公司每次登录都是动态密码,cookie每次都变,就没法用程序写死cookie或密码来自动抓取了
    有什么好方法让我能自动抓取内网bbs的相关信息呢?

    18 条回复    2015-03-06 10:51:21 +08:00
    horsley
        1
    horsley  
       2015-03-04 20:32:19 +08:00
    鹅厂?
    onlyice
        2
    onlyice  
       2015-03-04 20:34:05 +08:00 via Android
    动态密码没办法了吧。。看看 BBS 有漏洞没有。。
    zkd8907
        3
    zkd8907  
       2015-03-04 20:34:28 +08:00
    =.= 目测鹅厂。。。
    YouXia
        4
    YouXia  
       2015-03-04 20:40:08 +08:00
    无解。
    xfspace
        5
    xfspace  
       2015-03-04 20:43:52 +08:00
    根据Github的显示: Tencent
    lk09364
        6
    lk09364  
       2015-03-04 20:45:21 +08:00
    userscript?
    loading
        7
    loading  
       2015-03-04 20:50:55 +08:00
    取cookie,发送给你的抓取服务app,app用cookie认证登陆。

    发cookie这一步,程序不好取,可能要手工,不知node-webkit行不行。
    horsley
        8
    horsley  
       2015-03-04 21:02:39 +08:00
    其实我们这边已经有一个小工具,不过我要做一个新工具
    ytzong
        9
    ytzong  
       2015-03-04 21:04:49 +08:00
    装个浏览器扩展,自动刷新页面的那种,可以设置监控的关键字,刷到了会弹通知

    鹅厂你好,鹅厂再见
    800126
        10
    800126  
       2015-03-04 21:24:49 +08:00 via Smartisan T1
    我也想起了鹅厂的RSA密码令牌了
    typcn
        11
    typcn  
       2015-03-04 22:13:48 +08:00
    需要费时间的方法:
    反编译密码令牌的客户端,一般情况下 iOS 客户端比较好逆,OC 可以还原的比较好。安卓端一般混淆的比较蛋疼。
    找出算法,写出密码计算器,然后就简单了

    懒一点的方法(有现成实现的):
    装个安卓模拟器,把密码令牌程序运行到模拟器里,一般情况下数字非常好认,把0-9都截图一遍,然后屏幕识别就可以轻易的获得当前的密码,然后模拟登陆抓取
    mdjhny
        12
    mdjhny  
       2015-03-04 23:05:06 +08:00
    1、大部分人浏览器一整天都是开着的;
    2、总要访问个oa吧,访问oa就自动种下cookie了;
    3、种下cookie就可以用浏览器插件开搞了。

    ps:楼主工作明显不饱和。
    hiboshi
        13
    hiboshi  
       2015-03-04 23:20:34 +08:00
    目测楼主所说的应该是
    bbs.oa.com 鹅厂
    ykjsw
        14
    ykjsw  
       2015-03-05 07:28:10 +08:00 via iPhone
    如果是鹅厂 建议别搞 有访问记录的 访问多了会有人找你的
    horsley
        15
    horsley  
       2015-03-05 09:12:42 +08:00
    @ykjsw ls亲历?
    cvrock
        16
    cvrock  
       2015-03-05 11:42:50 +08:00
    我擦,这么多鹅厂的
    alexapollo
        17
    alexapollo  
    OP
       2015-03-05 14:27:24 +08:00
    @ykjsw really?。。。。
    alexapollo
        18
    alexapollo  
    OP
       2015-03-06 10:51:21 +08:00
    @loading 看起来登录以后ajax调一下本机的服务就行。。
    @ytzong 估计只有这个办法了,但监测到关键字后有没有什么简单的弹提示的方法?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3208 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 11:27 PVG 19:27 LAX 03:27 JFK 06:27
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86