谷歌的爬虫有点厉害啊 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tubowen
V2EX    搜索引擎技术研究

谷歌的爬虫有点厉害啊

  •  
  •   tubowen 2021-02-06 12:00:34 +08:00 5447 次点击
    这是一个创建于 1711 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9

    用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

    谷歌爬虫的收录速度这么快的嘛,一天前帖子就收录了 https://imgchr.com/i/yJzCjK

    17 条回复    2021-02-07 01:58:50 +08:00
    eason1874
        1
    eason1874  
       2021-02-06 12:04:27 +08:00
    一天前已经久了,我经常搜到几十分钟前的
    ronman
        2
    ronman  
       2021-02-06 12:10:20 +08:00 via Android
    V 站权重挺高的,十多分钟的帖子我都搜到过(可能刚好爬了一番
    superrichman
        3
    superrichman  
       2021-02-06 12:42:18 +08:00 via iPhone
    你发的这贴子已经被谷歌收录了
    also24
        4
    also24  
       2021-02-06 12:44:33 +08:00   1
    许多网站会做相应的优化,主动提交的。(不过确定 V2 是否做了)

    http://www.google.com.hk/intl/zh-CN/submit_content.html
    tubowen
        5
    tubowen  
    OP
       2021-02-06 12:44:39 +08:00
    @ronman 还真是,我这个帖子发表之后也马上能搜索到
    also24
        6
    also24  
       2021-02-06 12:44:49 +08:00
    typo: 不过不确定 V2 是否做了
    ShinichiYao
        7
    ShinichiYao  
       2021-02-06 12:51:04 +08:00 via Android   3
    你还没体验过当年 Google 和 Twitter 合作的即时搜索,输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来
    S179276SP
        8
    S179276SP  
       2021-02-06 12:56:39 +08:00 via Android
    S179276SP
        9
    S179276SP  
       2021-02-06 12:57:25 +08:00 via Android   1
    cnrting
        10
    cnrting  
       2021-02-06 12:59:09 +08:00 via iPhone
    流量大点的站基本是秒收
    Arthur5
        11
    Arthur5  
       2021-02-06 16:12:21 +08:00   1
    我可是经常用 google 的快照来看被冲水的帖子,google 的爬虫比某些网站的管理员手都快
    Jooooooooo
        12
    Jooooooooo  
       2021-02-06 17:52:27 +08:00
    v2 在 google 权重很高

    基本发帖很快就能收录
    Tink
        13
    Tink  
    PRO
       2021-02-06 18:46:18 +08:00 via Android
    v 站一般是十五分钟
    jjplay
        14
    jjplay  
       2021-02-06 20:10:24 +08:00
    V 站高权重,实时都是大几千人在线,页面嵌入的是 google analytics,so ...
    systemcall
        15
    systemcall  
       2021-02-06 22:01:26 +08:00
    v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
    v2ex 有 api 可以获取到最新的主题和回复,应该是隔几分钟查询一下 API,发现新帖子和回复再来爬
    memeda
        16
    memeda  
       2021-02-07 01:30:14 +08:00
    08 年时百度 Google 就都做到了啊,权重高的站更新速度都很快的
    zeni123
        17
    zeni123  
       2021-02-07 01:58:50 +08:00
    google chrome 上面有个选项是默认打开的, 那就是 “预加载网页,以便实现更快速的浏览和搜索” 这个功能

    也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。

    所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1024 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 18:44 PVG 02:44 LAX 11:44 JFK 14:44
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86