Google Analytics 相关 数据加载慢导致爬虫获取错误的 page title - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
OrangeDark
V2EX    程序员

Google Analytics 相关 数据加载慢导致爬虫获取错误的 page title

  •  
  •   OrangeDark 2022-07-27 09:13:55 +08:00 2002 次点击
    这是一个创建于 1178 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有没有大哥用过 Google Analytics (谷歌分析)啊,有个问题想问下,就是现在详情页的接口调的太慢了,导致 google 的爬虫爬的时候数据还没全加载出来,它就获取不到正确的 page title (后端大哥说是因为这个问题),这种情况应该怎么解决啊。由于服务器在美国,在国内调接口确实慢。

    10 条回复    2022-07-28 10:52:14 +08:00
    xcsoft
        1
    xcsoft  
       2022-07-27 09:44:04 +08:00
    服务端渲染? 但是页面整体打开速度会慢
    Te11UA
        2
    Te11UA  
       2022-07-27 09:46:09 +08:00
    优化不好的单页面就是这样,建议做服务端渲染。服务器在美国那谷歌爬也在美国啊,服务器不背锅。
    OrangeDark
        3
    OrangeDark  
    OP
       2022-07-27 10:20:10 +08:00
    @xcsoft 现在是进行了前后端分离,然后当时选了客户端渲染...现在再想改会很麻烦,唉。
    OrangeDark
        4
    OrangeDark  
    OP
       2022-07-27 10:21:09 +08:00
    @Te11UA 那只能再跟后端讨论下了,当时后端大哥就是要弄客户端渲染,争不过,现在又来问我们有什么办法了,麻了属于是
    unicloud
        5
    unicloud  
       2022-07-27 11:02:35 +08:00   1
    建议 Google 提升爬虫技术,不要犯这种低级错误 [:doge]
    jymsy
        6
    jymsy  
       2022-07-27 15:18:24 +08:00
    OrangeDark
        7
    OrangeDark  
    OP
       2022-07-27 15:48:13 +08:00
    @jymsy 这个可能用不到,我们是请求太慢了,数据还没出来,所以 google 的那个爬虫直接没获取到真实的具体数据
    24owls
        8
    24owls  
       2022-07-27 22:03:08 +08:00
    题主好可怜啊, 自己不看文档,问问题又没人回答。GA 自动发送的 pageview 是可以关掉的,具体方法去翻 UA/GA4 的 gtag/GTM 文档吧
    jymsy
        9
    jymsy  
       2022-07-28 10:50:57 +08:00
    @OrangeDark 这个针对 SPA 网站做的动态渲染,爬虫访问时是后端渲染,普通浏览器访问是前端渲染
    jymsy
        10
    jymsy  
       2022-07-28 10:52:14 +08:00
    @jymsy 自己做也行,判断 UA 加上 puppteer
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2626 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 14:20 PVG 22:20 LAX 07:20 JFK 10:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86