下载服务器大批量小文件哪种方法最快 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yh648559276
V2EX    问与答

下载服务器大批量小文件哪种方法最快

  •  
  •   yh648559276 2024-01-05 08:54:21 +08:00 via Android 2744 次点击
    这是一个创建于 649 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. 在服务器上用 obsutil 工具下载 obs 里面的文件到服务器上,一共有 60g

    2. 然后再用 sftp 下回 win 本地,速度最快只有 600kb/s

    用什么下载方式才能把速度提起来呢?
    18 条回复    2024-01-05 14:28:32 +08:00
    liuguangxuan
        1
    liuguangxuan  
       2024-01-05 08:57:36 +08:00
    试试打包成一个大文件呢。
    IvanLi127
        2
    IvanLi127  
       2024-01-05 08:57:54 +08:00 via Android
    试试 rsync ?
    lsk569937453
        3
    lsk569937453  
       2024-01-05 09:01:23 +08:00
    问题没看懂。
    1.有两个下载流程。一个是文件从 obs 到服务器,第二是文件从服务器到 win 本地。不知道你说的是哪个下载流程。
    2.如果 obs 和服务器的出口网速有限制的话,你再努力也是白搭阿。
    3.大批量下载文件的方法无非就是批量下载阿。你可能只是想求一个批量下载的工具?
    yh648559276
        4
    yh648559276  
    OP
       2024-01-05 09:02:26 +08:00 via Android
    @liuguangxuan 用 tgz 打包很慢,60g 仅仅只是一个月的,还有其他月份的(崩溃)
    explore365
        5
    explore365  
       2024-01-05 09:04:10 +08:00
    打包不压缩,http
    yh648559276
        6
    yh648559276  
    OP
       2024-01-05 09:05:27 +08:00 via Android
    @lsk569937453 就是从文件服务器 sftp 下回本地的时候,不用 sftp 用其他方式
    AreYou0k
        7
    AreYou0k  
       2024-01-05 09:06:02 +08:00
    找个多线程下载的软件试试呗, 比如 idm
    superrichman
        8
    superrichman  
       2024-01-05 09:10:22 +08:00
    用 ftp 代替 sftp ,不加密传输能快很多
    dier
        9
    dier  
       2024-01-05 09:19:34 +08:00
    官方不是还提供了一个 OBS Browser+ 吗,直接用这个工具试试呢
    laminux29
        10
    laminux29  
       2024-01-05 09:20:22 +08:00
    当然是打包后再一次性传输,不然大部分时间开销会浪费在 HTTP 接口调用上,FTP 也有这个问题。

    SVN 、GIT 因为很早就遇到这个问题,所以他们已经对大量小文件做了优化,把这些零碎小文件都打包成流,传到服务器后再切分存储,所以 SVN 、GIT 提交大量小文件的速度会非常快。
    yestodayHadRain
        11
    yestodayHadRain  
       2024-01-05 09:25:46 +08:00   1
    @dier OBS Browser+ 在处理大批量小文件的时候性能是不如 obsutil 的,文件比较大的时候不考虑带宽速度可能会差十倍以上

    op 用 obsutil 下载到服务器如果服务器在阿里云这个过程是可以走内网的带宽比较大,但是用 sftp 下载到本地这个会走服务器的出网带宽 速度会受限于服务器的公网带宽,600kb/s 可能公网带宽只有 5M 左右。op 为什么非要从服务器这里过一下,直接本地下载 oss 里的资源不行吗?
    lvdream
        12
    lvdream  
       2024-01-05 09:26:33 +08:00
    拆分,然后多线程 scp 下载呢
    yestodayHadRain
        13
    yestodayHadRain  
       2024-01-05 09:26:40 +08:00
    @yestodayHadRain 文件数量比较大的时候
    fordoo
        14
    fordoo  
       2024-01-05 9:45:45 +08:00
    直接本地下载,如果非要服务器过一遍,那服务器负责打包成 tar ,回传到 obs 再本地下载,可以充分利用 obs 的公网带宽
    wangwaner
        15
    wangwaner  
       2024-01-05 09:58:51 +08:00 via iPhone
    syncthing 同步试试看?我用这个同步两台服务器爬的几十万张图片啥的,只有刚开始同步数据量大慢一些后面就无感同步了。
    libook
        16
    libook  
       2024-01-05 10:12:15 +08:00
    ssh 两部分比较占性能,一个是加密,另一个是压缩。你看看是不是加密算法硬件支持不好或者太复杂;然后看看是不是硬件跑压缩性能不够,带宽够大的话把压缩关了试试。

    根据之前调研的压测数据来看,ssh 还是比 smb 性能要好的,当然比不过不加密的协议如 nfs ,如果你确保网络环境安全的话也可以考虑 nfs 。

    另外 i 也可以看看是不是远端或本地的磁盘 IO 有问题,比如碎片太多。
    poopoopoopoo
        17
    poopoopoopoo  
       2024-01-05 10:22:03 +08:00
    内网下载 打包上传 OBS 公网流量下载 这样最快
    pen1120
        18
    pen1120  
       2024-01-05 14:28:32 +08:00 via iPhone
    流式压缩并传送
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3163 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 10:57 PVG 18:57 LAX 03:57 JFK 06:57
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86