Google IP 现状 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fqrouter2
V2EX    Google

Google IP 现状

  •  7
     
  •   fqrouter2 2015-02-28 01:27:55 +08:00 28708 次点击
    这是一个创建于 3880 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Google IP 分为三类。第一类是普通的 *.google.com *.gstatic.com 类型的IP。这类IP数量巨大,而且GGC包括这类IP。虽然大量被封,仍然后非常多可用的。

    第二类是 *.googleusercontent.com *.googleapis.com 类型的IP。这类IP数量非常稀少,大部分都已经被封。特别是GGC并不包含这类IP,所以数量稀少。

    第三类是 *.googlevideo.com (youtube视频),*.gvt1.com(google play下载)类型的IP。这类IP数量巨大,GGC主要就是为了缓存这类的内容而存在。但是google选择了由网页(html)指定IP的方式,从而不允许用户或者middle box去指定使用特定的IP(所谓改host)。具体详见
    https://peering.google.com/about/faq.html
    http://www.slideshare.net/Netmanias/netmanias20120416ggc-operation-for-you-tube-part-1-kt-en
    http://www.slideshare.net/Netmanias/netmanias20120418ggc-operation-for-you-tube-part-2-lg-u-en

    针对GGC的这种行为,国外的网友也有抱怨
    http://www.reddit.com/r/youtube/comments/2t0pu9/i_discovered_the_cause_of_youtube_slowness_on/
    http://netengv6.blogspot.com/2013/08/google-global-cache.html
    他们的主要抱怨的是自己被google强制使用了ISP提供的GGC,当GGC速度不理想的时候用户无法自己选择使用别的速度更快的GGC节点。国内的用户不同在于,大部分的GGC IP被封了,用户无法通过改host选择没有被封的GGC节点。

    Google R.I.P
    41 条回复    2017-12-31 03:09:56 +08:00
    FrankFang128
        1
    FrankFang128  
       2015-02-28 01:37:21 +08:00 via Android
    GGC?
    club
        2
    club  
       2015-02-28 01:40:42 +08:00
    @FrankFang128 Google Global Cache
    club
        3
    club  
       2015-02-28 01:41:58 +08:00   1
    xinhugo
        4
    xinhugo  
       2015-02-28 02:25:06 +08:00
    你这是以域名的用途分类。据我所知,IP 可用于第一类域名,即可用于第二类域名。

    按 IP 的类型,可分为
    (1)Google 自家的(就算能用,延迟、丢包率也较高。)
    (2)与 ISP 合作的(目前速度最快的)
    (3)在你国的(缺少内容,从最初阉割搜索、GAE,到 2/24 阉割图片,现在的用途极为有限)
    kerr92
        5
    kerr92  
       2015-02-28 06:11:18 +08:00 via Android
    我目前hosts用的是谷歌韩国的IP,ping值在6ms左右,比挂台湾的VPN(120ms左右)还快,GCC的IP数量巨大但是速度普遍太慢…
    O21
        6
    O21  
       2015-02-28 08:24:56 +08:00 via iPhone
    谷歌的ip多了
    MicrosoftAzure
        7
    MicrosoftAzure  
       2015-02-28 09:20:17 +08:00 via iPad
    @fqrouter2

    有个疑问,既然不允许指定特定IP改hosts,为什么通过网上分享的Google hosts还可以正常使用Google服务(虽然图片显示似乎有问题)?

    我通过在线ping工具得到了美国人访问Google HK解析出的IP地址,我也可以ping通,按理说是有效的吧,返回数据也正常(原谅我没有直接访问该IP地址),指定了
    x.x.x.x www.google.com.hk
    之后依然无法访问Google HK

    这应该就是
    @fqrouter2 描述的情况,不知道高手发布的Google hosts中的IP地址和我自己找的有什么不同?

    @kerr92

    请问你也是自己找自己在hosts中指定吗?
    wdlth
        8
    wdlth  
       2015-02-28 09:25:08 +08:00
    GGC是支持SNI的,所以*.googleapis.com等域名也可以在新的浏览器使用。
    wdlth
        9
    wdlth  
       2015-02-28 09:33:02 +08:00
    我现在用的主要是某亚洲小国,泰国走NGN的运营商和香港走PCCW的运营商提供的。
    LGA1150
        10
    LGA1150  
       2015-02-28 10:31:34 +08:00 via Android
    @MicrosoftAzure ping通不代表能访问,可能是特定端口封锁
    66beta
        11
    66beta  
       2015-02-28 10:35:17 +08:00
    目前在用的IP,已经用了一个多月了,感觉最近没封那么紧了
    LGA1150
        12
    LGA1150  
       2015-02-28 10:39:00 +08:00 via Android
    我现在收集了世界各地GGC IP和一些目前仍能使用的香港数据中心IP
    香港数据中心IP还有100来个可用(香港也有GGC IP,不过没几个可以用了)
    GGC IP中印尼的最多,有300多个,延迟也较低;台湾的还有几十个
    kerr92
        13
    kerr92  
       2015-02-28 11:57:16 +08:00
    @MicrosoftAzure 是哒,dig命令+其他国家ISP的DNS,ping命令并不适合用来找IP
    yfdyh000
        14
    yfdyh000  
       2015-02-28 12:00:07 +08:00
    @MicrosoftAzure 所谓不允许改hosts,是指YouTube(等?)服务,js中直接返回离你最近的ISP架设的GGC节点(Google提供机器和进行维护,架设在ISP的机房),用户无法选择(因为返回的就是GGC子域名)。直接使用是没问题的。
    MicrosoftAzure
        15
    MicrosoftAzure  
       2015-02-28 15:45:42 +08:00
    @LGA1150

    感谢解答,相对来说还是自己整理的IP地址用得久一些。
    MicrosoftAzure
        16
    MicrosoftAzure  
       2015-02-28 15:48:32 +08:00
    @kerr92

    表示还在用gogo tester和Github上一个小工具,都是为goagent,不知道为goagent找的IP和你dig的是不是一回事?
    MicrosoftAzure
        17
    MicrosoftAzure  
       2015-02-28 15:54:36 +08:00
    @yfdyh000

    感谢解答。这或许就是现在用Google hosts无法看YouTube视频的原因?hosts定向的IP与GGC返回的节点不同于是无法观看?

    btw九月还能流畅地用hosts看YouTube

    似乎用goagent看YouTube也会提示遇到问题无法播放

    而直接使用的意思就是直接访问这些GGC返回的节点地址即可正常观看(如果这些节点没有被认证的话)?
    yfdyh000
        18
    yfdyh000  
       2015-02-28 16:00:44 +08:00
    @MicrosoftAzure 没试过,猜测:YouTube会返回一个GGC子域名,而普通hosts是不支持通配符的,子域名又太多写不完。
    kerr92
        19
    kerr92  
       2015-02-28 16:07:54 +08:00 via Android
    @MicrosoftAzure goagent怎么进行DNS查询的我没关注过,但dig本就是用来DNS查询的啦
    997008774
        20
    997008774  
       2015-03-01 00:50:37 +08:00
    @LGA1150 分享几个私用吗,嘿嘿嘿
    JamesR
        22
    JamesR  
       2015-03-02 11:24:40 +08:00
    @wwbfred
    Google IP 对我来说实际上非常少的,一共16个,呵呵。
    8.8.8.8
    4.35.153.0/24
    64.233.187.0/24
    72.14.249.0/24
    74.125.0.0/16
    173.194.0.0/16
    194.122.81.0/24
    203.208.40.0/24
    203.208.46.0/24
    208.117.0.0/16
    209.85.228.0/24
    209.85.229.0/24
    209.116.150.0/24
    216.58.220.0/24
    216.239.32.0/24
    216.58.221.0/24

    挂入路由器里16行就行了,这些IP通通走VPN其余走本地。然后设置凡是包含有如下关键字的DNS请求走8.8.8.8,其余走本地运营商DNS比如电信的,即可同时流畅看Youtube和享受本地优酷CDN加速。

    google.com|googleapis.com|googlehosted.com|googlezip.net|googledrive.com|appspot.com|googleusercontent.com|ggpht.com|gstatic.com|googlesource.com|chromium.org|android.com|googlecode.com|google.co.jp|googlelabs.com|gmail.com|goo.gl|google-analytics.com|
    youtube.com|youtube-nocookie.com|ytimg.com|googlevideo.com|blogger.com|blogspot.com|
    wwbfred
        23
    wwbfred  
       2015-03-02 13:59:33 +08:00
    @JamesR 我们说的不是一个东西.
    linkupmylife
        24
    linkupmylife  
       2015-03-03 10:09:32 +08:00
    我用HE的TunnelBroker。
    rootroot
        25
    rootroot  
       2015-03-05 16:56:39 +08:00
    @wwbfred 你那段话很好的解释了 为啥现在有些视频很快就可加载,有些转半天,有些F5N 次也无法播的现状。
    rootroot
        26
    rootroot  
       2015-03-05 16:58:31 +08:00
    现在GG 有很多大量的IP 都可以ping通,延时还低, 但是就是不能拿来当hosts用。
    AVC
        27
    AVC  
       2015-03-06 18:02:30 +08:00   1
    其实现在我自己私人维护的hosts可以实现youtube视频完美播放,连play下载(其实他们用的IP是一样的)
    找一个VPS,搭个sniproxy,然后hosts指向VPS即可。21L的信息很不错,不过我这边收集的youtube视频域名列表大约有14000条,应该没有更多了,基本囊括所有谷歌bigcache服务器。最后做出来的hosts文件也不大,1.4M。
    关于谷歌IP,其实只要请求程序支持SNI标签,谷歌便会根据SNI标签里面的域名来提供服务,联想一下之前goagent只要找到一个谷歌IP就能使用GAE,原理也是这样的。即便我用*.google.com的IP来指lh3.ggpht.com一样可以正常访问。但是之前为什么不行呢?因为之前的play市场还不支持SNI标签,现在支持没问题了。目前发现还不支持SNI标签的谷歌应用是Google Now,连接www.googleapis.com的时候没有SNI标签,直接使用服务器返回的第一个证书来连接。其余的谷歌应用都是支持SNI标签的,这点通过抓包可以确定。(5.0.x的谷歌服务)
    monkeymonkey
        28
    monkeymonkey  
       2015-03-07 15:10:36 +08:00   1
    我总结了部分 IPv6 域名的规律,其中一些规则应该也适用于 IPv4。
    https://github.com/lennylxx/ipv6-hosts/wiki/Google
    https://github.com/lennylxx/ipv6-hosts/wiki/sn-domains
    wwbfred
        29
    wwbfred  
       2015-03-08 07:07:10 +08:00
    @lennylxx 非常感谢你做的sn domains的wiki!之前也一直想弄清楚sn domains代表了什么意思,但一直没分析清编码方式...直到搜到你的解码方式才茅塞顿开!
    freetuchuang
        30
    freetuchuang  
       2015-03-08 19:42:07 +08:00
    @AVC 能否将play的hosts域名列表发一份给我 ?
    rootroot
        31
    rootroot  
       2015-03-09 13:43:31 +08:00
    @AVC 可否分享一下那14000条视频域名列表?
    LGA1150
        32
    LGA1150  
       2015-03-13 23:42:25 +08:00 via Android
    @wwbfred @fqrouter2
    能否用可以Rewrite URL的Chrome扩展程序,把.googlevideo.com、bigcache等强制重定向到一个固定的子域名?
    AVC
        33
    AVC  
       2015-03-20 01:59:05 +08:00 via Android
    话说即便是同一个YouTube视频可以由很多个不同的服务器来提供,在境内也有googlevideo.com的服务器,我一直在思考要是在请求域名的那步直接改写为国内的googlevideo服务器那速度简直能秒一切VPN。
    wwbfred
        34
    wwbfred  
       2015-03-20 09:46:30 +08:00
    @LGA1150 不可以.这个我也试过,但不同的视频存放于不同的服务器,自己定向到固定域名会出问题的...
    @AVC 不可以.Google在国内的确有发放googlevideo.com的证书,也有ggc,但目前都是处于残废状态,不能提供视频服务.direct到哪组服务器是由google说了算,google不把我们direct到国内服务器我们就没办法.
    AVC
        35
    AVC  
       2015-03-20 20:28:51 +08:00   1
    203.208.40.16 r1---sn-ni57dn7e.googlevideo.com
    203.208.41.16 r1---sn-ni57dn7l.googlevideo.com
    203.208.46.16 r1---sn-2x37en7e.googlevideo.com
    203.208.46.80 r1---sn-2x37en7l.googlevideo.com
    203.208.47.144 r1---sn-2x37en76.googlevideo.com
    203.208.47.16 r1---sn-2x37en7s.googlevideo.com
    203.208.47.80 r1---sn-2x37en7z.googlevideo.com
    203.208.48.16 r1---sn-2x37ln7e.googlevideo.com
    203.208.49.48 r1---sn-2x37ln7l.googlevideo.com
    203.208.50.16 r1---sn-2x37ln7s.googlevideo.com
    203.208.51.16 r1---sn-2x37ln7z.googlevideo.com
    203.208.52.16 r1---sn-2x37en7k.googlevideo.com

    youtube的视频sn编码,lennylxx其实已经分析得比较清楚了(github上面一个ipv6 hosts项目)。

    目前收集到国内的googlevideo服务器就有这些。只列出第一个服务器,部分服务器组有12个服务器(r1-r12),部分就有20个服务器。

    关于是不是能用不同的googlevideo服务器来看视频,这个其实有一点可以注意的,你用新加坡和美国的代理看同一个视频对比一下请求的googlevideo服务器就会发现不同的服务器可以提供同样的视频内容。

    既然有人对sn编码列表感兴趣就贴上来吧。
    暂且随意的把类似r1---sn-xxxxxxyy.googlevideo.com的分类了一下。

    yy部分:
    6e,6z,76,7d,7e,7k,7l,7r,7s,7y,7z,d7,e6,e7,ed,ee,ek,el,er,es,ey,ez,ke,ks,l6,l7,ld,le,lk,ll,lr,ls,ly,lz,s7,sd,se,sk,sl,ss,sy,sz,z6,zl,zs,zy

    xxxxxx部分:
    25g7sm,25ge7n,2gb7ln,2x37en,2x37ln,30a7dn,3pm7en,4g57km,4g57kn,4g57kn,4g57ku,5go7ln,5hn7sn,5hn7su,5hnezn,5hn7ym,5uaezn,9gv7en,9gv7ln,a5m7ln,a5m7zn,a5m7zu,a5mekm,a5mekn,ab5em,ab5l6n,aigllm,aiglln,apn7en,bg07dn,bg07yn,c0q7ln,cg07lu,cvh7zn,cxg7en,f5f7ln,gpv7en,h0j7sn,h557sn,h5q7en,hgn7zn,hp57kn,i3b7rn,i3b7sn,i5h7ln,jc47eu,ni57dn,npo7en,npo7zn,ntq76n,ntq7en,nv47en,nwj7km,nwj7kn,nx57yn,o097zn,o097zu,oguesn,p5qlsm,p5qlsn,p5qlsu,q4f7dm,q4f7dn,q4f7sn,qxo7sn,tt17rn,u2x76n,vgqs7n,vgqsem,vgqsen,x1x7sn

    任意组合xy部分,如25g7sm6e这样子。

    写个批处理,nslookup查询组合域名的存在性,一般只需要查询r1服务器就可以,因为每组服务器肯定有20个域名(呃,这样说比较合适我的风格)。

    @echo off
    echo 请输入你的VPSIP:
    set /p priip=
    SETLOCAL ENABLEDELAYEDEXPANSION
    for /f %%a in (视频前缀.txt) do (
    for /f %%b in (视频后缀.txt) do echo r1---sn-%%a%%b.googlevideo.com>>谷歌视频域名未验证.txt
    )
    for /f %%c in (谷歌视频域名未验证.txt) do nslookup -q=A %%c >>谷歌视频域名查询结果.txt
    findstr "Aliases: " 谷歌视频域名查询结果.txt >>查询列表提取.txt
    for /f "tokens=2 delims= " %%i in (查询列表提取.txt) do echo %%i>>谷歌有效域名列表.txt
    for %%i in (r1,r2,r3,r4,r5,r6,r7,r8,r9,r10,r11,r12,r13,r14,r15,r16,r17,r18,r19,r20) do (
    for /f "tokens=2,3 delims=-" %%a in (谷歌有效域名列表.txt) do echo %priip% %%i---%%a-%%b>>hosts.1
    )
    for /f "tokens=1,2,3,4,6 delims=." %%a in (hosts.1) do echo %%a.%%b.%%c.%%d.gvt1.%%e>>hosts.2
    copy /b hosts.1+hosts.2 hosts
    del *.txt
    del hosts.1
    del hosts.2
    pause

    关于xy部分,是根据你连接到谷歌的IP来进行分配的,上面就有说到了。我这边使用过新加坡,日本,美国的代理线路,我觉得应该是目前中国用户能获取到的最全面的SN服务器编码列表了。批处理里面应该都能看懂,随便简单写了个,轻喷。。

    既然写了就再写VPS部分吧。

    VPS搭好sniproxy,先移除/etc/sniproxy.conf,再建立一个新的sniproxy.conf并编辑。
    user nobody
    listen 443 {
    proto tls
    table host
    }
    table host {
    .*\.googlevideo\.com$ *
    .*\.gvt1\.com$ *
    }

    嗯,没错就是支持正则的。然后做hosts的时候填入IP即可。不过做出来的hosts文件会有莫名其妙的重复条目,这个请批处理高手来看看吧。。我反正是用excel来删除重复,目前OK。
    wwbfred
        36
    wwbfred  
       2015-03-21 14:26:50 +08:00
    @AVC 我觉得其实可以不用做这么多条目,只要根据vps的地理位置和运营商做两三组就够了.比如你的vps在日本,那google几乎不可能给你定向到欧洲的服务器.例如9gv7en,9gv7ln服务器在墨西哥,就不需要去做.
    AVC
        37
    AVC  
       2015-03-23 18:35:26 +08:00
    @wwbfred 反正就1.4M,也不算大。可以自己精简一下,参考lennylxx提供的数据。
    5a7apple
        38
    5a7apple  
       2015-06-17 10:46:02 +08:00
    是不是go哎又可用了呢
    killeder
        39
    killeder  
       2015-07-31 10:20:47 +08:00
    @fqrouter2
    老大,fqrouter最新android平台的源码和编译方式能否共享下,想自己研究下wifi中继这部分,谢谢
    gzelvis
        40
    gzelvis  
       2016-07-18 03:57:48 +08:00
    @MicrosoftAzure @AVC 想问下 Azure 香港的机访问谷歌为啥那么慢, ping 过去很快,但返回不行,我查了一下,谷歌把香港的 Azure 定位到西雅图了,那当然快不起来。有办法解决吗?
    woshi112
        41
    woshi112  
       2017-12-31 03:09:56 +08:00
    @AVC 你好,请教你一个问题
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5468 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 08:38 PVG 16:38 LAX 01:38 JFK 04:38
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86