网盘增量同步技术真的很难吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
jsq2627
V2EX    云计算

网盘增量同步技术真的很难吗?

  •  
  •   jsq2627 2016-02-15 23:32:14 +08:00 12132 次点击
    这是一个创建于 3604 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前只知道 Dropbox 和坚果云有增量同步功能。
    天下那么多网盘,也不乏大厂巨头的产品,为啥只有这两家有这个功能。。
    12 条回复    2020-08-28 23:10:01 +08:00
    jiongjionger
        1
    jiongjionger  
       2016-02-15 23:39:04 +08:00
    定位就不同。另外增量的成本其实要大一些。
    jsq2627
        2
    jsq2627  
    OP
       2016-02-15 23:42:26 +08:00
    @jiongjionger 我理解的是增量会节省带宽,似乎是降到成本啊 = =
    openroc
        3
    openroc  
       2016-02-15 23:48:30 +08:00
    其实很简单,大都参考 rsync 算法进行改进。
    botao1
        4
    botao1  
       2016-02-15 23:53:16 +08:00
    因为这个行业已经(要?)消亡了
    dphdjy
        5
    dphdjy  
       2016-02-15 23:54:29 +08:00 via Android
    猜:普通储存基本是就是静态储存+cdn
    增量需要服务器参与运算分析
    gamexg
        6
    gamexg  
       2016-02-16 00:11:37 +08:00 via Android
    用处不大,大部分普通用户都是存放图片、视频占大头,这些不会有增量同步的需求。
    文档之类的本身就很小,争不争量无所谓。
    jiongjionger
        7
    jiongjionger  
       2016-02-16 00:53:25 +08:00   1
    @jsq2627 需要使用到增量的用户和使用普通网盘的就不是一个用户群体。
    普通网盘用户只是分享和存储一些资源为主。这些资源很多用户同样保存了,实际在服务器内只保存一份(考虑到负载均衡和灾备肯定不止一个副本)。在上传某个文件的时候,例如几个 G 的某热门电影。网盘会先计算这个电影的摘要信息(例如 MD5 值 + 文件大小),如果其他用户已经上传过了,则直接在数据库增加一条记录而已,并不会真的再次上传(所谓的秒传技术)。

    而用到增量的用户大多是需要备份重要文件的用户,使用场景大多是在多台设备互通数据或者备份数据。大多数据是独一无二的,需要重新上传的,储存成本不在一个级别,而增量还要考虑到算力的成本,甚至整个系统内的文件热度分布太过平均, CDN 等等的成本都会成倍增加。

    像百度网盘这些网盘的定位明显就是资源分享为主的,甚至有些带一些社交功能的,增加增量备份功能有点吃力不讨好,甚至没有增量备份功能反而可以带来更多的好处(过滤用户群、减少成本)。
    riaqn
        8
    riaqn  
       2016-02-16 07:42:42 +08:00 via Android
    Dropbox 的增量感觉也不好啊 据说是以 4M 为单位同步的
    chzyer
        9
    chzyer  
       2016-02-16 08:43:02 +08:00   1
    据我所知百度云最开始就提供了增量同步的 api...
    yuriko
        10
    yuriko  
       2016-02-16 11:11:41 +08:00
    问下 OneDrive 是哪种呢?
    貌似 office 好像是有专门的接口?
    jsq2627
        11
    jsq2627  
    OP
       2016-02-16 12:12:20 +08:00
    @yuriko OneDrive 只对 Office 文件提供增量同步。
    jsq2627
        12
    jsq2627  
    OP
       2020-08-28 23:10:01 +08:00
    @jsq2627 2020 update: OneDrive 现在已经对所有类似文件都提供增量同步了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3371 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 04:37 PVG 12:37 LAX 20:37 JFK 23:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86