跨国大文件传输工具-比 FTP 快 10 倍 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
walkInCloud
V2EX    分享创造

跨国大文件传输工具-比 FTP 快 10 倍

  •  
  •   walkInCloud/a> 2018-02-07 12:33:19 +08:00 11970 次点击
    这是一个创建于 2838 天前的主题,其中的信息可能已经有所发展或是发生改变。

    镭速 RaySync 传输系统,目标是解决跨洲大文件传输速度慢的问题 请参考 https://www.raysync.cn/

    目前的功能:

    • 底层传输协议采用可靠 UDP 协议,跨国文件传输比 FTP 快 10 倍以上
    • 分为免费版 /专业版 /企业版,免费版可以满足大多数个人使用需要
    • 支持上传 /下载文件,以及进度查看
    • 支持上传 /下载文件夹(无文件数量限制),以及进度查看
    • 服务器支持 Windows 和 Linux 部署
    • 客户端支持 Windows

    阿里云海外 9 个数据中心到阿里云深圳的文件传输的详细对比评测数据

    大部分比 FTP 速度传输快 10 倍。 https://yq.aliyun.com/articles/430997?spm=a2c4e.11155435.0.0.39f83312MbTV5l

    希望对有需要的朋友有用。

    第 1 条附言    2018-02-08 15:59:14 +08:00

    留言中有朋友提到,有没有详细对比数据。我们最近做了阿里云和腾讯云的测试,AWS的数据在春节后第一周会出来。

    阿里云海外9个数据中心到阿里云国内的文件传输对比数据信息,包括截图信息 阿里云海外各数据中心到阿里云国内(深圳)对比评测数据

    腾讯云海外13个数据中心到腾讯云国内的文件传输对比数据信息(包括部分非腾讯自营的数据中心),包括截图信息 腾讯云海外各数据中心到腾讯云国内(广州)对比评测数据

    有一些V2EX的同学看到帖子后,已经使用上了,也给我们提了不少产品建议,在这里一并谢谢大家。

    39 条回复    2018-02-09 17:53:34 +08:00
    gouchaoer
        1
    gouchaoer  
       2018-02-07 12:48:24 +08:00
    问一下 qq 文件传输比这个速度如何,qq 也是基于 UDP 的
    mt7620
        2
    mt7620  
       2018-02-07 12:57:49 +08:00
    底层用的是 KCP 协议?
    gs139
        3
    gs139  
       2018-02-07 13:03:00 +08:00
    本来只有 1m 的网速,怎样实现 100m 的传输速度
    walkInCloud
        4
    walkInCloud  
    OP
       2018-02-07 13:04:56 +08:00
    @mt7620 不是用的 KCP,底层协议是我们公司的协议工程师开发的,功能上跟 KCP 完成的是类似的。 不过 KCP 只是一个传输协议,镭速 RaySync 是一个完整的传输应用系统。
    walkInCloud
        5
    walkInCloud  
    OP
       2018-02-07 13:07:45 +08:00
    @gs139 1m 的网速是无法实现 100m 的传输速度的。 跨洲的文件传输,目前的重要问题是丢包时延导致带宽利用不足。
    xomix
        6
    xomix  
       2018-02-07 13:10:47 +08:00
    @gouchaoer 我没去看,不过他敢说 10 倍,就肯定中间有 cdn 做跳转的。
    ajeef
        7
    ajeef  
       2018-02-07 13:19:58 +08:00 via Android
    只能放独服,VPS 上,大部分都限制 udp 流量
    xenme
        8
    xenme  
       2018-02-07 13:21:30 +08:00
    @xomix 这个一般就是找了一个对普通客户端很不友好的线路,然后 FTP 只有几十几百 K,这种才有 10 倍的提升而已。
    7654
        9
    7654  
       2018-02-07 13:23:05 +08:00
    小水管越用越小不是没理由的
    h4lbhg1G
        10
    h4lbhg1G  
       2018-02-07 13:46:07 +08:00
    国内那些开源镜像是怎么同步的 都是上百 TB 的数据同步
    msg7086
        11
    msg7086  
       2018-02-07 14:04:25 +08:00
    @h4lbhg1G 请教下哪些镜像是上百 TB 数据同步的……
    h4lbhg1G
        12
    h4lbhg1G  
       2018-02-07 14:07:28 +08:00   1
    @msg7086 我是凭感觉说的 https://mirrors.tuna.tsinghua.edu.cn/status/#server-status
    http://mirrors.ustc.edu.cn/status/

    好像都只有 50T 不到的样子。好吧 夸大其词了
    mrzx
        13
    mrzx  
       2018-02-07 14:13:28 +08:00   1
    底层传输协议采用可靠 UDP 协议

    看到这个我就笑了。笑死了。真的是笑抽掉了。

    最多是应用层采用可靠的协议来弥补传输层 UDP 协议的可靠性不足。
    lyhiving
        14
    lyhiving  
       2018-02-07 14:16:24 +08:00 via Android
    不看速度,只看总耗时。一般说来,会有两三倍提速。十倍估计有点难度
    msg7086
        15
    msg7086  
       2018-02-07 14:21:16 +08:00   1
    @h4lbhg1G 主流镜像都不大的。你看 Debian 镜像的桌面架构才 1T 都不到。
    开源镜像同步,一个是可以链式同步(可以就近找节点,不需要回到初始节点),一个是可以分布式同步(多源并行同步),再加上时间跨度很大,每次同步的数据很小(一批最多也就几十个包),网速几乎不是问题。

    @mrzx 明眼人都能看明白是 UDP 上追加了应用层处理,一个最多算作有些语病的句子也能笑死吗,感觉笑点略低了。
    bhqt
        16
    bhqt  
       2018-02-07 14:28:08 +08:00
    看介绍,似乎还有网页加速功能?
    enenaaa
        17
    enenaaa  
       2018-02-07 14:32:48 +08:00
    试过和多线程下载比吗
    hp3325
        18
    hp3325  
       2018-02-07 14:37:56 +08:00 via Android
    有什么是 rsync + kcptun 解决不了的?

    话说 Filezilla 叠加 Kcptun 比较一下?
    taikobo
        19
    taikobo  
       2018-02-07 14:40:16 +08:00
    UDP 协议怎么能说可靠,很多 ISP 都对 UDP 有限速的好吧...
    goldenlove
        20
    goldenlove  
       2018-02-07 14:47:57 +08:00
    有木有 Mac 客户端? 有需求想试试
    bao3
        21
    bao3  
       2018-02-07 15:01:01 +08:00 via iPhone
    我汗,syncthing 开源而且天生 kcp,人家也没好意思跟 FTP 比
    walkInCloud
        22
    walkInCloud  
    OP
       2018-02-07 15:06:27 +08:00
    @goldenlove Mac 客户端预计在 2 季度会有,现在暂时还没有。
    weyou
        23
    weyou  
       2018-02-07 15:10:20 +08:00
    @bao3 syncthing 好像最近才加入 kcp 的,有没有测试过效果怎么样?
    jy02201949
        24
    jy02201949  
       2018-02-07 15:12:34 +08:00   1
    貌似前段时间刚看到帖子有人问米国几 T 的数据怎么拖回来,应该是楼主你的目标客户
    f2f2f
        25
    f2f2f  
       2018-02-07 15:14:19 +08:00
    有什么是一根 100M CN2 独享不能解决的问题吗?
    Yvette
        26
    Yvette  
       2018-02-07 15:28:03 +08:00
    看到可靠 UDP 协议的时候愣了一下。只能怪我见识太少……
    walkInCloud
        27
    walkInCloud  
    OP
       2018-02-07 15:41:08 +08:00
    @jy02201949 你是说这个 t/427807 吗? 他现在正在使用中。
    missdeer
    28
    missdeer  
       2018-02-07 16:10:16 +08:00
    @weyou
    @bao3
    syncthing 的 kcp 好像就是个摆设,公司和家里都在路由器后面,从来没连上过。

    --------------------
    另外,FTP 协议的实现不同客户端 /服务端差别很大,至少我观察下来 Windows 资源管理器作为 FTP 客户端吞吐比 FileZilla 大很多倍,十多年来没变过。
    xuminzhong
        29
    xuminzhong  
       2018-02-07 16:40:04 +08:00
    这里很多都是程序员,程序员都明白 UDP 的反义词是 「可靠」。
    defunct9
        30
    defunct9  
       2018-02-07 20:43:25 +08:00 via iPhone
    对比一下测测速,扔张对比图吧
    superliang
        31
    superliang  
       2018-02-07 22:30:55 +08:00
    udp 好像俗称不可靠协议吧
    walkInCloud
        32
    walkInCloud  
    OP
       2018-02-07 22:41:15 +08:00
    @myleon 基于 UDP 之上封装的可靠传输协议,比如 google chrome 里面的 QUIC、酸酸常结合用的 KCP,都是基于 UDP 之上完成报文序列、确认、重发等一系列可靠保障的可靠传输协议。
    inflationaaron
        33
    inflationaaron  
       2018-02-08 00:33:48 +08:00
    这种基于 UDP 的协议跟 HTTP 多线程比较呢?比较了很多传输协议,似乎 HTTP 多线程最快。
    inflationaaron
        34
    inflationaaron  
       2018-02-08 00:35:44 +08:00
    同样是基于 UDP 的 UDT 协议速度也很快啊,感觉没多少优势。
    ovear
        35
    ovear  
       2018-02-08 01:18:34 +08:00
    我选择 synctrayzor
    mrzx
        36
    mrzx  
       2018-02-08 11:13:10 +08:00
    @walkInCloud 的确是这样的,肯定是应用层协议来解决可靠性吗,但是我是笑他说话说的那么不严谨,尤其大家都是做技术这么多年了。
    Equim
        37
    Equim  
       2018-02-08 14:30:18 +08:00
    只能用 UDP 吗?有 QoS 怎么办?
    walkInCloud
        38
    walkInCloud  
    OP
       2018-02-08 15:48:14 +08:00
    @Equim 无法保证 UDP 一定不被 Qos,目前的开发计划,在 3 月底发布的版本会有 UDP 被 Qos 的情况下,自动切换到 TCP 进行传输。
    jingniao
        39
    jingniao  
       2018-02-09 17:53:34 +08:00 via Android
    丢包对传统 tcp 拥塞算法影响较大,bbr 不就干这个活的么?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2695 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 08:20 PVG 16:20 LAX 00:20 JFK 03:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86