git 有没有什么好的方法可以抓超过 10G 的 code - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
git
Pro Git
Atlassian Git Tutorial
Pro Git 简体中文翻译
GitX
nealwx
V2EX    git

git 有没有什么好的方法可以抓超过 10G 的 code

  •  
  •   nealwx 2016-11-09 13:08:37 +08:00 5225 次点击
    这是一个创建于 3311 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前提:公司的代码托管在 xp-dev 上,主分支大概 10G 多

    国内直接抓的话速度在 20~30k/s 使用代理( ss )抓的话,速度能到 2~3M/s 。 但问题是, 每次透过 ss 进行 git clone 的时候,代码大概抓了 3G 多的时候,就会提示 Write failed : Broken pipe fatal: The remote end hung up unexpectedly ..... 然后就结束了,什么都没有抓下来 

    请问:有没有什么好一点的方法可以相对快速的将代码抓回本地,谢谢。

    34 条回复    2016-11-10 17:45:51 +08:00
    kmahyyg
        1
    kmahyyg  
       2016-11-09 13:19:21 +08:00 via Android
    先抓到 vps 再拖回来
    run2
        2
    run2  
       2016-11-09 13:28:06 +08:00
    10G 多...
    完全无法想象,不能分 submodule 么?
    jamesxu
        3
    jamesxu  
       2016-11-09 13:34:28 +08:00 via iPhone
    压缩拷回来
    wohenyingyu02
        4
    wohenyingyu02  
       2016-11-09 13:37:33 +08:00 via iPhone
    --depth=1 ?
    lhbc
        5
    lhbc  
       2016-11-09 13:38:07 +08:00
    git clone
    tar Jcf source.tar.xz source
    nealwx
        6
    nealwx  
    OP
       2016-11-09 13:38:37 +08:00
    @wohenyingyu02 试过,还是抓不下来
    nealwx
        7
    nealwx  
    OP
       2016-11-09 13:41:10 +08:00
    @jamesxu 可是没有操作权限
    akira
        8
    akira  
       2016-11-09 13:42:38 +08:00
    临时租个近一点的 vps ,把代码克隆下来以后压缩慢慢拉回来
    wsy2220
        9
    wsy2220  
       2016-11-09 13:42:47 +08:00
    git bundle
    pagxir
        10
    pagxir  
       2016-11-09 13:44:41 +08:00 via Android
    1 你需要的是一个稳定的网络,把代码同步完然后 git bundle create 。。。。。
    2 试试每次只 fetch 少量的 commit 。 git fetch origin commit 这么操作。
    iCyMind
        11
    iCyMind  
       2016-11-09 13:50:49 +08:00
    不要把思路局限在 git 上, 试试别的什么 Resilio sync 之类的
    iminto
        12
    iminto  
       2016-11-09 13:51:26 +08:00
    试试其他版本控制系统
    gky99
        13
    gky99  
       2016-11-09 13:54:49 +08:00 via iPhone
    ss 不适合你的需求,搭个 vpn 吧。
    走 ipv6 会更好
    tinyproxy
        14
    tinyproxy  
       2016-11-09 14:02:57 +08:00
    这么肥的仓库,最快的方式不是让你同事打包.git 文件夹拷贝给你么?
    如果你是远程工作或者你在的 site 只有你一个人干这个活当我没说。。。
    misaka19000
        15
    misaka19000  
       2016-11-09 14:38:31 +08:00
    找个在外国的人帮忙抓取一下然后打包发给你
    Tink
        16
    Tink  
    PRO
       2016-11-09 14:44:43 +08:00
    是在 github 上吗? 是的话我还是建议直接下载 zip,能续传
    winglight2016
        17
    winglight2016  
       2016-11-09 17:06:25 +08:00
    可以压缩 git 库的呀, github 都有这功能
    haozibi
        18
    haozibi  
       2016-11-09 19:01:42 +08:00 via Android
    fetch 好像支持断点续传,没试过这么大的仓库
    bramblex
        19
    bramblex  
       2016-11-09 19:31:10 +08:00   1
    6666

    肯定绝大多数都不是代码,而是二进制文件。 /w\
    Chrisplus
        20
    Chrisplus  
       2016-11-09 20:11:50 +08:00
    直接抓
    git clone
    然后,回家睡觉
    exch4nge
        21
    exch4nge  
       2016-11-09 20:12:21 +08:00
    话说楼主不会用了 http/https 的方式吧……
    waytoexplorer
        22
    waytoexplorer  
       2016-11-09 20:25:00 +08:00 via iPhone
    先克隆到自己在国外的 vps 上,然后再打包下载
    Liutos
        23
    Liutos  
       2016-11-09 20:35:50 +08:00
    难道是游戏代码+素材
    nealwx
        24
    nealwx  
    OP
       2016-11-09 21:03:15 +08:00 via Android
    @exch4nge 不是,是 ssh 的方式
    lzhr
        25
    lzhr  
       2016-11-09 21:06:40 +08:00
    csdn 、 oschina 的可以导入 github 的项目,试试?
    nealwx
        26
    nealwx  
    OP
       2016-11-09 21:07:27 +08:00 via Android
    @Liutos @bramblex 最早的 git log 是 08 年的,全是 c/c++ 以及一些页面和图片
    exch4nge
        27
    exch4nge  
       2016-11-09 21:09:50 +08:00
    nealwx
        28
    nealwx  
    OP
       2016-11-09 21:13:29 +08:00
    @exch4nge 明天试试
    Technetiumer
        29
    Technetiumer  
       2016-11-09 21:22:42 +08:00
    这个 xp-dev 是啥?如果是百度第一个结果,注册时候不是有地区么,找个那个地区的 VPS ,先 clone 到 VPS 上。

    @lzhr oschina 和 coding 的导入基本没戏,太大了肯定失败。

    ( oschina 和 coding 不是只能导入 github 的项目,其他也可以)
    Monad
        30
    Monad  
       2016-11-09 22:19:10 +08:00
    @nealwx 这个方法可以 我当初就是用这个方法 clone 了一个 Chromium...
    itlr
        31
    itlr  
       2016-11-09 23:55:38 +08:00
    是不是把 window7 的盗版盘都 commit 进去了:)
    nexusone
        32
    nexusone  
       2016-11-10 09:52:47 +08:00 via Android
    我这有爬 github 项目的爬虫,通过 http 爬取,后台用多线程下载,一般挺快
    holy_sin
        33
    holy_sin  
       2016-11-10 10:46:31 +08:00
    真倒霉,我之前也遇到过这种情况,里面好多提交都有 *.lib ,一个文件就 100 M 大小
    ivechan
        34
    ivechan  
       2016-11-10 17:45:51 +08:00
    试过用 ipv6 下载过 chromium 源码, 20 多 G 把, 10M/s 的速度.
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4168 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 05:33 PVG 13:33 LAX 21:33 JFK 00:33
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86