用阿里云偶尔传输大量文件,用什么方式好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dragonQueen
V2EX    服务器

用阿里云偶尔传输大量文件,用什么方式好?

  •  
  •   dragonQueen 2022-02-13 17:44:57 +08:00 3008 次点击
    这是一个创建于 1365 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在外地的传感器会收集一些数据,单个文件不大,200KB~300KB ,但是合作方喜欢一次性收集很多给我们,5GB 左右,各个合作方加起来一个月传输的数据 50GB 左右。老板批的流量费用是 1000 一个月。

    我最开始是直接在阿里云买了个 ECS ,挂个大硬盘,包年包月开了 5Mbps 用于临时下载急需处理的小文件,真正要下载大量文件的时候,带宽临时升级到最高的 200Mbps 。之前这个数据是我一个人用,现在是三四个人需要,他们每次要下载的时候都得来找我临时加一下带宽,我感觉有点麻烦,要是人再多呢?所以我想着用其他方式,先改成了按量付费,发现这个速度实在是感人,文档说峰值 100Mbps ,实际基本是 1MB 多一点,不过文档还是诚实,说了峰值不作为承诺指标。

    后来在 v2 看到有人说 oss 速度不错,官方文档里也说限速是 10Gbps ,不像 ECS 最高也只有 200Mbps 。然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。我怀疑上传速度慢可能和文件名字有关系,因为自动生成的文件名都是规则的,带有日期前缀,我看文档里面说这个不太好,不知道是不是会对速度产生这么大影响,是的话也只能忍着了,来回改名字有点烦。

    目前看来,只有 ECS 临时提速能够比较好地满足速度需求了。大家知道其他什么方式吗?

    18 条回复    2022-02-14 20:20:34 +08:00
    imldy
        1
    imldy  
       2022-02-13 18:03:05 +08:00
    >然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。

    本地网络上传速度多少,怀疑是本地网络上传速度限制了。上下行对等?

    另外你这个需求应该不只是传输,也要存储吧,不考虑网速问题,用 oss+cdn 应该正合适。
    eason1874
        2
    eason1874  
       2022-02-13 18:09:33 +08:00
    对象存储正合适,一般不止 2MB/s ,这么慢可能是你本地网络速度就低,或者网络连接问题,又或者区域问题(国外区域的慢)

    另外开启 CDN 供下载,可以省点流量费,不开通常也挺快,就是贵点
    dragonQueen
        3
    dragonQueen  
    OP
       2022-02-13 19:54:29 +08:00
    @imldy 本地上传 50Mbps ,我也怀疑过是本地上传限速了,但是测了一下是 50Mbps 。是的,本地是上下行对等的。存储还好我感觉,因为看着不太贵,即使是贵的话, 也可以下载到本地就删除了
    dragonQueen
        4
    dragonQueen  
    OP
       2022-02-13 19:57:34 +08:00
    @eason1874 我本地上传测试了下是 50Mbps ,这个我以为能对应个 4, 5MB/s 的上传的。应该不是区域问题,我就用的本地域的 oss 。cdn 我倒是没试过,因为目前卡在上传这一块了,还没有考虑下载。
    yov123456
        5
    yov123456  
       2022-02-13 20:18:23 +08:00 via iPhone
    ecs 不是进站不限速么
    kome
        6
    kome  
       2022-02-13 20:35:57 +08:00
    阿里云盘开会员(如果有的话), 不知道现在速度如何. 实在不行就去开几个百度云盘的会员. 文件加密, 套几层加密压缩包, 密码通过其他途径传输, 文件泄漏应该也不用担心. 用 BT 分发应该也行. 走商业途径的话, 可以考虑微软的中国代理世纪互联 OneDrive.
    dcty
        7
    dcty  
       2022-02-13 20:51:54 +08:00 via iPhone
    OSS 存储(上传不慢啊),下载走 cdn
    night98
        8
    night98  
       2022-02-13 21:14:26 +08:00
    oss 上传有个多地域加速功能,用那个 endpoint 试试,可能是你运营商的问题,我这边 oss 直传快的一批
    tanranran
        9
    tanranran  
       2022-02-13 21:29:22 +08:00
    上百度网盘。还有 API 接口 https://pan.baidu.com/union/document/basic
    huihuilang
        10
    huihuilang  
       2022-02-13 22:17:13 +08:00 via Android
    阿里云盘不香嘛?几十 g 自己公司申请一个 ftp 就行
    ClericPy
        11
    ClericPy  
       2022-02-13 23:59:39 +08:00
    OSS 上传速度慢是你自己问题吧, 你是拿自己家 / 公司的网测的? 家用带宽下行和上行差距巨大, 公司里的路由器也会给默认限速不然一个开迅雷的全公司都断网了

    流量费用外网的话也不贵, 肯定不会到你那个限额(如果是 ECS 上传下载 OSS 不计流量费, 而且速度快的离谱), 还省了机器的钱, CDN 什么的有点多此一举, 日常下载满带宽(同地区)还是挺容易的, 除非是境外... 必要时候可以配合触发器 oss+Serverless 自动做一些操作

    临时加带宽的事情自己走 sdk 定时运行一次貌似也可以, 不过还是别折腾了
    Ggmusic
        12
    Ggmusic  
       2022-02-14 00:26:19 +08:00 via iPhone
    文件打包上传,小文件上传可能会影响网速。
    dragonQueen
        13
    dragonQueen  
    OP
       2022-02-14 09:00:21 +08:00
    @yov123456 入站限速的,文档有说,跟你买的出站带宽有关。
    dragonQueen
        14
    dragonQueen  
    OP
       2022-02-14 09:03:58 +08:00
    @Ggmusic 打包压缩这个倒是简单易行,我回头试一下
    dragonQueen
        15
    dragonQueen  
    OP
       2022-02-14 09:05:42 +08:00
    @ClericPy 拿公司的网测的,测出来是上下行对等 50Mbps 。下行速度应该是准的,我之前下载能跑到 6MB/s ,上行以前没注意过,这次传到 oss 最高只有 2MB/s
    dragonQueen
        16
    dragonQueen  
    OP
       2022-02-14 09:11:55 +08:00
    @night98 传输加速这个操作起来感觉比较简单,我回头试试
    baiduyixia
        17
    baiduyixia  
       2022-02-14 16:10:26 +08:00
    顺丰
    dragonQueen
        18
    dragonQueen  
    OP
       2022-02-14 20:20:34 +08:00
    @baiduyixia TB 级别的顺丰还可以考虑,一次几个 GB ,感觉比较亏,硬盘得来回寄
    关于     帮助文档     自助推广系统     博客     API   &nbs; FAQ     Solana     1250 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 22ms UTC 17:04 PVG 01:04 LAX 09:04 JFK 12:04
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86