在不考虑安全的前提下，如何设计一个方案，实现 4 个 G 的文件的快速异地传输？比如从北京到上海... 面试的时候没答上来，求大佬们指点迷津
moran3649 2019-08-06 17:30:55 +08:00 21534 次点击这是一个创建于 2310 天前的主题，其中的信息可能已经有所发展或是发生改变。
第 1 条附言 2019-08-06 19:39:29 +08:00
萌新第一次发帖没注意标题长度，是这样的，就是不要求安全，仅要求效率，怎么快怎么来
 | 1 beryl 2019-08-06 17:33:45 +08:00  10 高铁 |
 | 2 qinrui 2019-08-06 17:34:16 +08:00 via iPhone 办个宽带，然后就可以传了 |
| 3 beryl 2019-08-06 17:34:25 +08:00 1 4 个 G 好像不合适，不过可以采用凑单，多叫几家拼单模式 |
 | 4 lihongjie0209 2019-08-06 17:34:36 +08:00 1 看这道题的考点是什么? 网络: TCP/UDP ? 工具: scp/rsync ? |
| 5 qinrui 2019-08-06 17:34:57 +08:00 via iPhone 去网吧也行，不过很多网吧封了 usb 口 |
 | 6 1239305697 2019-08-06 17:35:02 +08:00 QQ 传，要发在线的，离线的慢 |
 | 7 geekvcn 2019-08-06 17:38:14 +08:00 有网的话几万种方式.......没网?? |
 | 8 yvescheung 2019-08-06 17:39:32 +08:00 1 反正我们公司每天从上海到东京传几十 G 的数据用 rsync |
 | 9 gam2046 2019-08-06 17:40:56 +08:00 1 4G 对于现在网络又不算很大，同时给定前提“不考虑安全”，还没有上下文。 完全抓不到 key point 在哪里。都不考虑安全了，那就随便搞呗，反正不考虑安全。用啥方法不行。 1、随便弄个支持断点续传的网络传输方式，比如 FTP 2、20 块钱买个 U 盘，邮寄 |
 | 10 shengchao 2019-08-06 17:44:32 +08:00 smb frp webdev .........等等等等等等等 |
 | 11 mushishi 2019-08-06 17:44:50 +08:00 rsync ？ syncthing ？ |
 | 12 Takamine 2019-08-06 17:44:53 +08:00 开一个虫洞。 |
 | 13 foreverstandbyu 2019-08-06 17:46:43 +08:00 不考虑安全，说明资金有限，不能使用专线传输。 除此之外最快的方法，传到 CDN 上如何？ |
 | 14 whypool 2019-08-06 17:49:10 +08:00 3 |
 | 15 alamaya 2019-08-06 17:53:36 +08:00 55 用 5G 啊，面试官如果敢说不对，你就举报这家公司乳滑 |
 | 16 zsc8917zsc 2019-08-06 18:07:06 +08:00 1、做成种子 2、百度网盘 3、自己架个服务器 快速有多快，不是取决于网络出口带宽和对方的下行带宽么 |
 | 17 greatdancing 2019-08-06 18:13:30 +08:00 via Android 快速是多快？ 200ms? 2 天？ |
 | 18 Mac 2019-08-06 18:17:29 +08:00 5 你应该回答：不考虑安全传输文件，犹如不考虑合不合法去赚 1 个亿，这种场景在我的职业生涯中是不允许出现的，所以我不做这道题。 |
 | 19 badcode 2019-08-06 18:18:52 +08:00 via Android 没说背景？ 有网，没说本地和异地带宽？ 没网，人工搬运？ |
 | 20 LokiSharp 2019-08-06 18:19:56 +08:00 via iPhone 1 创建 VPN 设为共享 复制粘贴 |
 | 21 rb6221 2019-08-06 18:21:41 +08:00 只要网速快就行 |
 | 22 lpf0309 2019-08-06 18:22:59 +08:00 via Android 想买路由器时看到蒲公英有宣传这个功能，应该是楼上说的 vpn |
 | 23 jinliming2 2019-08-06 18:23:57 +08:00 via iPhone 做成 BT 种子 |
 | 24 wweir 2019-08-06 18:25:26 +08:00 百兆专线，4 个 G 是多大？喝杯茶已经好了 |
 | 25 maemual 2019-08-06 18:26:43 +08:00 4 个 G 又不大，纯走公网下载也不是多大事啊。。。。 |
 | 26 keventseng 2019-08-06 18:27:16 +08:00 2 顺丰你好，我这有一个急件，麻烦尽快过来，要寄即日达。 |
 | 27 beijiaoff 2019-08-06 18:29:39 +08:00 网络直连如果不够快的话，就用云盘。 如果两边都有 ipv6 还可以试一下走 ipv6，现在这个骨干网还不怎么拥堵。 |
 | 28 loveour 2019-08-06 18:30:26 +08:00 1 这种问题，如果是开放答案，那还好。如果有标准答案，那纯属有病。 |
| 29 beijiaoff 2019-08-06 18:30:44 +08:00 @1239305697 如果两个人一个电信一个联通或者其他垃圾运营商，qq 直接传最慢了。离线起码还有腾讯的专线及各地 cdn 帮忙。 |
 | 30 pxlxh 2019-08-06 18:30:48 +08:00 https://wetransfer.com 2gb 上限。 切成 2 个包 |
 | 31 yezhiqiucn 2019-08-06 18:31:27 +08:00 1、先确定出口，也就是你长传是不是瓶颈 2、切片到不同的公有云，跑满上传带宽 3、下载合并 |
 | 32 daodao 2019-08-06 18:32:10 +08:00 qq 同时在线，传输文件。 |
 | 33 also24 2019-08-06 18:33:58 +08:00 1 4 个 T 的文件我会考虑寄硬盘 4 个 P 的文件考虑搞小车拉硬盘 /磁带 什么？ 4 个 G ？ 这么小的文件，肯定是直接怼宽带啊……………… |
 | 34 zuolan 2019-08-06 18:41:28 +08:00 via Android 1 nc 传，以前遇到过这个题目。 |
 | 35 tadtung 2019-08-06 18:42:00 +08:00 via Android 只有 4 个 g，还不需要考虑数据安全。又非高频次。 而且你说的异地也仅仅是北京，上海。国家都不跨。 随便什么工具都 ok，这种情形下，你的瓶颈只在于两地带宽。用 qq，微信，网盘都行。 实在不行也可以本地搭建 ftp。 |
 | 36 fivestrong 2019-08-06 18:44:44 +08:00 via iPhone 不考虑安全，他也没说时间啊，那百度网盘 128kb/s 走起 |
 | 37 cst8622 2019-08-06 18:57:00 +08:00 9 传输速度取决于带宽，这个基本上就是在问你，如何才能高效利用带宽，最好传输的时候能跑满。 基本就是考你多线程下载或上传。10 个线程去跑传输，这里边肯定涉及到文件分片传输，说实话不是很简单的一个话题。如果你能再考虑到网络不稳定，需要实现断点续传之类的，那就更加分了。 但是如果你直接说用 XX 软件的话，估计不是面试者想要听到的答案。 |
 | 38 pkookp8 2019-08-06 19:04:17 +08:00 via Android 自己写一个基于 udp，有重传机制的工具？ |
 | 39 jaskle 2019-08-06 19:10:13 +08:00 via Android 异地跨运营商有公网 ip 点对点都不一定快，个人感觉 cnd 靠谱一点，但是你的文件有点大，说白了这个问题最重要的一点是网络加速，有个双网的主机做高速转发才是王道，而且可以满带宽，能达到带宽最大化。做种子肯定不行，需要多人下载才能提速，本身资源就不值钱，没人去续种。 |
 | 40 deorth 2019-08-06 19:12:09 +08:00 rm -rf / |
 | 41 moran3649 OP 楼主在整理当天的面试问题复盘，没想到这么多人出谋划策，受宠若惊！ @cst8622 我当时脑子一片空白，也想到的是文件传输相关的，但是答出来确实 webservice，但是具体怎么实现也答不上来，大佬猜的可能比较契合面试者想问的重点了。 @zuolan 这样也有了一个方向，我去搜搜度娘 @tadtung 我当时差点就想回答百度云盘了。 @yezhiqiucn 外包公司的面试，就是这么冷冰冰的一段话，当时也没确定到出口。唉，面试经验太少了。 @gam2046 老哥说的是，断点续传靠谱.. |
 | 42 murmur 2019-08-06 19:36:38 +08:00 4g 的话用 qq 似乎都不需要分卷 |
 | 43 workspace 2019-08-06 19:38:14 +08:00 rsync scp 甚至 nginx 列个目录 对面下载都行 |
| 44 moran3649 OP |
 | 45 runAll 2019-08-06 20:15:41 +08:00 via iPhone 分卷压缩最省事 |
 | 46 diguoemo 2019-08-06 20:29:57 +08:00 via Android 4g 这么小，直接 qq 传呗 |
 | 47 DeWhite 2019-08-06 21:08:59 +08:00 via Android ftp 应该是安全性有的情况下又最快速的吧， 我觉得命题的意思虽然不过安全但是要考虑反泄露。 服务器 ftp |
 | 48 AngryPanda 2019-08-06 21:12:13 +08:00 via Android @zsc8917zsc 做成种子没人帮你供源分发也白搭 |
 | 49 piloots 2019-08-06 21:17:59 +08:00 顺丰到付，安全无忧次日达。 |
 | 50 blessme 2019-08-06 21:18:52 +08:00 via iPhone 又不是 4 个 T、不然顺丰即日达最合适。 |
 | 51 no1xsyzy 2019-08-06 21:44:49 +08:00 说不定只是面试官自己碰到个问题，但感觉自己之前解决时的办法不是特别好，看看有没有什么其他的解决方案，换句话说就是瞎问问。 |
 | 52 Felldeadbird 2019-08-06 21:46:23 +08:00 4G 直接架设 nginx 就好了。 |
 | 53 stephen9357 2019-08-06 22:03:58 +08:00 4 个 G 不算大，直接在线传输就是了。非得自己写那就按分片多线程 UDP 传输，每片都加个校验码。 |
 | 54 care 2019-08-06 22:05:20 +08:00 via iPhone @zuolan 我用 nextcloud 共享过 8G 的文件给朋友下载过，但是偶尔会下载到一半会中断。不知道 nextcloud 怎么弄断点续传 |
| 55 zuolan 2019-08-06 22:09:26 +08:00 1 @care #54 是 nc, 不是 nextcloud, 啊哈, 这是一个命令, 楼主说不考虑安全的前提下, nc 可以用些小技巧满速传文件, 具体谷歌. |
 | 56 lincanbin 2019-08-06 22:36:38 +08:00 via Android 参考 kcp 的实现，暴力 udp 发包。 |
 | 57 huruwo 2019-08-06 23:13:34 +08:00 硬盘拷贝 坐高铁 /飞机 |
 | 58 powerfj 2019-08-07 00:52:00 +08:00 我怎么感觉面试官应该想问的是 4 个 T.. |
 | 59 efaun 2019-08-07 01:07:18 +08:00 我还以为又是那谁谁来做广告宣传他家的大文件传输业务呢  |
 | 60 iceheart 2019-08-07 03:38:30 +08:00 via Android 方案 1.apache+bbr -> wget 方案 2.迅雷 |
 | 61 laike9m 2019-08-07 04:45:41 +08:00 1 蠢问题直接帮你排除了一家公司，不是挺好的吗？ |
 | 62 Windelight 2019-08-07 05:08:44 +08:00 via Android 如果说不要安全，但完整性的话，直接通过云服务厂商的对象存储服务中转，因为我就这么尝试，一个德国法兰克福的服务器，11GB 压缩好的文件传回我的电脑上，直接连接基本上咣咣当当几 MB/s，或几百 KB/s，偶然发现我的阿里云 OSS 还有存储空间和流量，那就直接开了一个上海的 OSS，然后先从 ff 上传，大约稳定速度 70MB/s 以上，然后我再取回，速度 30-40MB/s 左右，迅雷超级会员加速和快鸟，满速，就像白先生的拉枪。 如果说只在国内之间互相传输的话，发送方能直接进公网的话不如直接 Http，但是如果是 4G 散文件那就 Rsync。 |
 | 63 autogen 2019-08-07 06:02:43 +08:00 异地一般都是专线，走外网延迟高 |
 | 64 MMMMMMMMMMMMMMMM 2019-08-07 07:15:10 +08:00 估计是想问你 socket UDP 分段传输 但是没问好，问的很尬 |
 | 65 yankebupt 2019-08-07 07:55:11 +08:00 @moran3649 安全考虑不考虑有个卵用，关键是考虑不考虑预算…… 预算 0 的话让他滚粗，自己公网爱拿什么工具拿什么工具传好了……即使有优估计没有任何一个方法 100%稳定，谁都知道，要不怎么炒起来的 net neturality 之类的概念 预算无限的话直接租线路啊，快到你不敢想象…… 预算给定的情况下再考虑怎么拿钱换带宽的问题。 另外 UDP+自定义纠错协议绕过 isp qos 限速是什么年代的事情了，现在还管用么? |
 | 66 airfling 2019-08-07 07:58:39 +08:00 做种，然后发到种子服务器上，或者用文件分块用 cdn |
 | 67 fox0001 2019-08-07 08:00:08 +08:00 via Android Nginx 开个 http 服务器，在另一边直接下载。一般情况下能占满带宽 |
 | 68 KasuganoSoras 2019-08-07 08:03:46 +08:00 7 4B 直接手打，复制粘贴的时间都比你手打要长 4KB SFTP （反正对我来说两端都是 Linux，FTP 服务器都不用装了） 4MB SFTP / FTP 4GB SFTP / Rsync / 本地搭个 Nginx 远端下载 4TB 抱着硬盘坐高铁过去 4PB 叫辆五十铃一车载过去 另外还有就是条件 没网络或者网络非常辣鸡的环境下：抱着硬盘过去 网络速度不限制的环境下：直接传输 |
 | 70 set01 2019-08-07 08:20:08 +08:00 顺丰 |
 | 71 watzds 2019-08-07 08:20:18 +08:00 via Android 交给 v2 网友帮忙上传 |
 | 72 ericbize 2019-08-07 08:20:35 +08:00 via iPhone 之前公司要导数据到国外， 傻逼开发 叫运维 用 sftp 传过去 ； 运维老大像看傻逼一样看着开发。 背景：10T 左右的图片。 已经在线上，只是在国内， 数据库有图片地址。 ps， 我觉得为什么开发不写个 爬虫.... |
 | 73 AutumnVerse 2019-08-07 08:41:32 +08:00 via Android qq 文件传输，onedrive，google 云端硬盘，百度云盘 |
 | 74 chinvo 2019-08-07 08:51:34 +08:00 via iPhone 全面好多人提到 IPoHSR，这个成本太高 我建议 IPoAC，协议完善，有 QoS，支持 IPv6 [doge] |
 | 75 barrelsoil 2019-08-07 08:53:01 +08:00 via Android 联邦快递加急 |
 | 76 vanishcode 2019-08-07 08:54:35 +08:00 顺丰。就像是下毛片快还是直接找老司机拷贝快呢 XD （记得国外哪家公司来着数据迁移用卡车） |
 | 77 HENQIGUAI 2019-08-07 09:01:46 +08:00 当然百度网盘超级 vip |
 | 78 windedge 2019-08-07 09:02:32 +08:00 via Android nginx 配置个静态文件服务，然后用 aria 多线程下载 |
 | 79 hyuhai 2019-08-07 09:04:19 +08:00 via Android 1 需要几个步骤 1. 压缩 如果是普通文本文件会压缩的比较小了 2. 切割 使用 split 或其他文件切割为大小均等的文件块 以减少单位块文件传输失败的概率 加快并行传输效果 3. 伪装 无论是推送模式还是拉取模式 都建议伪装成常用且不容易被攻击的服务 改 80 或 443 等端口 或伪装为 websocket 或 http,https 协议 上面做好之后 1. UDP 传输 ， 在你的链路较稳定的情况下优先推荐使用该协议工具 nc 可以简单测下 2. TCP 传输 ， 在你的链路不稳定的情况下推荐该协议 最后 针对以上两种协议找到适合自己的 然后去网上找工具 不管是推还是拉的方式 最好两端都支持多线程或断点续传 找不到合适的 自己写一个也不是很复杂 |
 |
 | 81 zongren 2019-08-07 09:06:15 +08:00 点对点传呗 |
 | 82 aguesuka 2019-08-07 09:08:04 +08:00 via Android 线路稳定用 udp，线路不稳定用谷歌的 bbr |
 | 83 icegaze 2019-08-07 09:08:16 +08:00 via Android 最快的难道不是 ftp 吗…^_^ 还可以断点续传… 当然， 你分公司多的话， 用 p.2.p 方式是更好啦， 充分利用带宽，，， 如果是土豪公司， 必须是京沪快线飞机啊， 四百元，四个小时就到了，安全稳妥。 我就干过啊， 自己带硬盘飞去客户那里，当天往返啊…-_-|| |
 | 84 jorneyr 2019-08-07 09:08:34 +08:00 拉一根专线 |
 | 86 lcy630409 2019-08-07 09:12:27 +08:00 去网吧 花 200 块和网管说一下 传 4G 文件到 阿里云 oss （费用大概 10 块钱以内），然后对方下载，如果对方下载带宽不行，直接去网吧花 200 块 全速下载 4G 文件 一分钟不到就 ok 了 |
 | 87 wr410 2019-08-07 09:16:24 +08:00 跑的满宽带就 http 拉，跑不满就分段同时拉，wget 就可以分段拉。 文件多或者文件夹的话就打个 tar 包，文件只有一个的话直接 scp。 那些用 rsync 的第一个就要被淘汰掉。 |
 | 88 realpg PRO 4G 在我公司的网络环境对传就是几分钟的事儿…… 1. 分卷 rar 压缩成 200 个包，每个卷 20M，写个脚本批量算一下 md5sum 2. 开个阿里云 oss 或者腾讯云对象存储 3. 找个上传带宽大点的地方，比如不用家宽分流的网吧，比如自己熟悉的上传带宽够大的公司，如果条件不允许找不到上传大的地方，那就开个 LTE 热点找个信号好人又少没人干扰的地方（现在的资费 5GB 流量没几个钱）直接往云上传 4. 对面下载，只取决于对方网速 |
 | 89 qq976739120 2019-08-07 09:29:22 +08:00 之前去饿了吗面试,面试官的问题差不多,一个 T 的文件要我跨地区,我说最好的方法是快递,他说有快递还要我干嘛........... |
 | 90 forgotmymilk 2019-08-07 09:31:18 +08:00 百度网盘。 |
 | 91 PHPer233 2019-08-07 09:38:50 +08:00 如果这个文件在外网的 HTTP 服务器上，那就做对域名做 CDN 加速。我测试过，在国内通过 Cloudflare 的免费 CDN 下载新加坡服务器上的文件速度大约 10M/s，相当快。 |
 | 92 danmu17 2019-08-07 09:58:01 +08:00 正常人的思路可能是 http，方多保跑方的。 其他任何方法都不可能更有效率。 不出抽的也一定是完全不懂技的面官了。 |
| 93 danmu17 2019-08-07 10:00:42 +08:00 如果量大到 PB 的程度的，在交通正常的家就一定是卡的最大了，所以 aws 才出 Snowmobile。 |
 | 94 raptor 2019-08-07 10:02:01 +08:00 前几年在前公司用的异地备份方案是 gpg+rsync 走互联网，每周末传一次 600G （ GPG 加密压缩后），速度由两边的带宽决定。 |
 | 95 firebroo 2019-08-07 10:06:16 +08:00 京沪就高铁把 |
 | 97 infra 2019-08-07 10:09:59 +08:00 250 面试题，走顺丰，或者用公有云中转。 |
 | 98 q397064399 2019-08-07 10:11:22 +08:00 4G 的文件 首先要考虑异地是否有历史版本，如果有，是否存在变化不大的情况的出现，答问题前先把限制条件都问清楚 |
 | 99 mhycy 2019-08-07 10:13:45 +08:00 现在深圳最普通平常的办公室宽带 500M/30M 的价格是不到 299 一个月 30M 跑满的情况下会高于 30M 带宽但这不要紧，咱们就当是 30M （运营商有超过 100%的带宽放量，降低投诉率） 传输 4GB 的的文件总计需要 4*1024/3/60=22.7555555556 分钟 注意，此计算考虑到传输过程中的协议损耗，所以带宽按除 10 的比例来换算成 MByte 即便如此，也仅需要 22 分钟而已。。给个整数 30 分钟完事。。。 显然直接怼 QQ 对传是最快的（ QQ 对传会打洞穿透内网）安全可靠省去搭服务器的时间 |
 | 100 sujin190 2019-08-07 10:24:29 +08:00 |
Select Language