必须用微信浏览器打开的网页怎么爬? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
onice
V2EX    程序员

必须用微信浏览器打开的网页怎么爬?

  •  
  •   onice 2019-08-09 17:15:30 +08:00 4057 次点击
    这是一个创建于 2304 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位 V 友,大家好。

    我想做一个自动挂号的脚本,但挂号的网页必须用微信浏览器打开才能正常登陆。

    如果不用微信浏览器打开,输入用户名和密码后,网页提示微信号为空,登陆失败。

    我猜测网页中有代码获取了微信号,但是本人没做过微信开发,不知道原理。

    请教大家这种网页该怎么去爬?谢谢~

    补充一下链接: http://cfywx.zwjk.com/weixin/login.htm?loginType=userLogin

    第 1 条附言    2019-08-10 18:27:20 +08:00
    感谢大家的解答。我伪造了浏览器 UA,携带了登陆后的 cookies 就行了。主要是抓包抓到登录的 url,而不是登录失败跳转后的 url
    14 条回复    2019-08-10 22:29:04 +08:00
    337136897
        1
    337136897  
       2019-08-09 17:41:28 +08:00
    顶一下同求这些的方法
    nigelvon
        2
    nigelvon  
       2019-08-09 17:44:06 +08:00
    用自己的微信打开一下然后把 Cookie 复制出来,爬的时候改一下 UA 设置上 Cookie 就可以了
    luckyswag
        3
    luckyswag  
       2019-08-09 18:09:09 +08:00 via Android
    同问
    moonkiller
        4
    moonkiller  
       2019-08-09 18:11:03 +08:00
    抓包??
    lxrmido
        5
    lxrmido  
       2019-08-09 18:11:27 +08:00 via iPhone
    用手机爬
    NicholasYX
        6
    NicholasYX  
       2019-08-09 18:12:29 +08:00 via iPhone   1
    抓包看一下 openid
    tikazyq
        7
    tikazyq  
       2019-08-09 18:35:31 +08:00 via iPhone
    UA 更改一下,顺便打一波广告,Crawlab 爬虫管理平台,支持任何一种编程语言的爬虫

    https://github.com/tikazyq/crawlab
    airyland
        8
    airyland  
       2019-08-09 19:07:53 +08:00
    抓包看 cookie(也有可能是 jwt 等其他鉴权方式)
    zjiecode
        9
    zjiecode  
       2019-08-09 19:36:17 +08:00
    实现有 2 种:
    1、判断 UA,这种修改一下 UA 就 OK 了
    2、微信登录获取 openid 以后,在进行后续操作,这种看你爬多大数量,数量小,,就自己搞几个 openid 轮流访问,数量大,基本无解,除非网站有漏洞。
    mokeyjay
        10
    mokeyjay  
       2019-08-09 19:39:39 +08:00
    医院黄牛比一般黄牛可耻得多
    pdfgo
        11
    pdfgo  
       2019-08-10 12:06:00 +08:00 via Android
    下载微信开发者工具,然后选择 web 开发,就可以搞起来了。
    unclemcz
        12
    unclemcz  
       2019-08-10 12:15:18 +08:00
    先抓包,再模拟环境。
    当然诚如 @mokeyjay 所说,如果只是自用还倒好,如果是靠这个倒号,缺德事不作为好。
    dalieba
        13
    dalieba  
       2019-08-10 19:28:55 +08:00 via Android
    搜狗自己就能爬,不知道他们是怎么做到的
    win7pro
        14
    win7pro  
       2019-08-10 22:29:04 +08:00
    Fiddler
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1530 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 16:24 PVG 00:24 LAX 08:24 JFK 11:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86