请问那位朋友接触过组建 200T+的存储呢?请多给些经验、建议。谢谢。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xjdata
V2EX    服务器

请问那位朋友接触过组建 200T+的存储呢?请多给些经验、建议。谢谢。

  •  
  •   xjdata 2017-04-01 23:43:16 +08:00 7524 次点击
    这是一个创建于 3118 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有需要提供 200T+存储的需求。

    但是没接触过, 搜了半天, 大概了解了 磁盘阵列。 但是 hp dell 等价格特别贵。 然后看到了一个淘宝上的,但是北京的某个商家。

    个人感觉,具体实现肯定不像 服务器组个 raid5 那么简单。

    但是又担心有坑。 所以来请教大家, 请多给些经验、建议。谢谢。

    我的场景。

    大概 5 年为一个期限,宽松预估需要 200T 的存储能力, 需要备份。(最好热备,不行就隔天也可以)

    200T 中基本上 95%的数据 第一次写入后 就不会再有访问的需求了, 但是有 5% 是完全随机的。 所以整个存储偏向冷数据备份。

    数据基本上都是每晚 12 点开始。 第二天早晨结束。

    存储的内容 目前预估为 json , word ,图片, 5 分钟左右的视频。几个类型的。以后有可能扩充,但这些预估为主要存储对象。

    还请大家多多分享,多多指导,谢谢。

    第 1 条附言    2017-04-02 12:20:06 +08:00
    感觉太复杂了。

    仔细看了看千万云, 感觉我的需求 他们的 归档存储 比较符合。

    实现成本相对来说也低了很多。

    就是不知道效果如何。。。
    19 条回复    2017-06-11 23:42:15 +08:00
    Rustle
        1
    Rustle  
       2017-04-01 23:55:40 +08:00
    这种需求就别淘宝了。
    这个是存档的需求,分布式存储方向产品
    thinks
        2
    thinks  
       2017-04-02 00:02:11 +08:00 via Android
    400T 阵列柜管理员表示,这个涉及到的专业性质略高,还是建议请专业团队做。
    包括阵列的配置计划,硬盘生命周期计划,后续的 iSCSI 存储配置等一系列操作。
    thinks
        3
    thinks  
       2017-04-02 00:05:47 +08:00 via Android
    我的阵列柜是, 100T 是固态,常用数据放在在里面,做高速读写;100T 是 raid0 ,当二级缓存放热备数据,最后 200T 做数据沉积,存放一些一年都不动一下的记录数据。
    lan894734188
        4
    lan894734188  
       2017-04-02 02:37:08 +08:00 via Android
    磁带机 冷库
    ryd994
        5
    ryd994  
       2017-04-02 07:13:10 +08:00 via Android
    这个数量级不是单纯堆量的问题
    可能需要分布式文件系统

    你先把需求理请:
    可用性
    数据存活率
    要不要异地容灾
    热数据 /冷数据访问延迟
    是否可以预先请求(很多冷备份系统是要提前几小时请求的)
    怎么索引
    数据生命周期
    设备生命周期

    我也不是专业的,但是这些基本上任何储存系统都应该有所考虑
    jingniao
        6
    jingniao  
       2017-04-02 07:19:51 +08:00
    200T 不大,但是你需要考虑的问题很多
    存储接口?
    平时用 ceph 比较多,感觉这个用对象存储(s3/swift)比较合适,不过需要开发对接,并且对 ceph 运维也有一定要求,建议找 ceph 服务厂商。
    架构还需要专业人员
    还有热数据可以用 cache 层,效果先不说
    ceph 本身有副本跟纠删码的冗余机制,真正麻烦的是你要的备份功能, ceph 的对象存储多区域社区方案稳定性如何还是未知,倒是有几家专业点的有能力自己魔改代码然后上生产。
    jingniao
        7
    jingniao  
       2017-04-02 07:24:50 +08:00
    不过算下来 ceph 跟专业的传统存储还有多少价格优势我就不清楚了。不太了解传统存储的价格, ceph 的报价倒是了解一点……
    zjqzxc
        8
    zjqzxc  
       2017-04-02 09:05:47 +08:00
    如果预算充足,可以考虑一下现有的商用解决方案,比如 dell( http://china.dell.com/p/enterprise-products.aspx?c=cn&l=zh&s=bsd&~ck=mn),联想( http://support.lenovo.com.cn/lenovo/wsi/es/es.html ),惠普(没找到服务器的链接);
    popil1987
        9
    popil1987  
       2017-04-02 09:11:40 +08:00
    ceph 或 glusterfs ,网络版的 raid
    机器自身存储可以用 lvm 挂多块硬盘
    xbb7766
        10
    xbb7766  
       2017-04-02 09:45:16 +08:00 via Android
    HP 3PAR
    EMC 也有(名字忘了)
    要省事建议还是用成熟方案。
    非要自己攒,可以参考 backblaze,这家备份商,他们是用了自己设计的机器,我记得他们网站上之前有介绍过自己的系统。
    littlewey
        11
    littlewey  
       2017-04-02 10:38:17 +08:00 via iPhone
    scaleIO
    xjdata
        12
    xjdata  
    OP
       2017-04-02 12:19:08 +08:00
    感谢大家的回复。

    @thinks 请问你们的是什么牌子的硬件? 不知道我这里有没有他们的技术支持, 有团队联系方式吗
    @jingniao 方便发一下报价吗? xjdata(AT)gmail.com
    jingniao
        13
    jingniao  
       2017-04-02 14:49:57 +08:00
    @xjdata 只是了解一点点,而且我司在我看来也不算很专业就不误导人了。
    honeycomb
        14
    honeycomb  
       2017-04-02 18:26:14 +08:00 via Android
    linus tech tips 做过一个数百 T 的存储阵列,中间经历过数据恢复,后来升级成了 1PB
    lydasia
        15
    lydasia  
       2017-04-02 19:52:00 +08:00 via iPhone
    现在 200TB 不算啥了吧,主要看你需求,可能并没有别人说得那么困难。原始容量 200T 的话也就 20 块 10TB 的硬盘。
    powergx
        16
    powergx  
       2017-04-02 21:42:40 +08:00 via iPhone
    40 块 10t 硬盘 全部 raid1 , 2 片 hba 卡加扩展卡。 solaris 装一个 热备盘设定好。启动
    geekzu
        17
    geekzu  
       2017-04-04 09:55:54 +08:00 via Android
    请搜索磁带库……
    mlyy
        18
    mlyy  
       2017-04-07 09:40:37 +08:00
    miclinux
        19
    miclinux  
       2017-06-11 23:42:15 +08:00
    先考虑下 200T 数据丢失是什么后果。

    然后就是:

    1、服务器两块 HBA 备份,分别连接盘柜,如果要求再高,就两台做 HA 丛集,配置视需求定。
    2、双电源,双主控的盘柜
    3、盘柜的阵列部分,分卷,每个卷 20-30 块硬盘配置一个 RAID6。不要用 RIAD5 因为 RAID5 有效检文件损坏的几率。
    4、硬盘,不要买 WD 的盘,有阴影,希捷的 SAS 盘。硬盘买容量最大的,目前是 12T,这样可以少插两块硬盘省点电费。

    这样算下来,除了硬盘是 RAID 6 以外,所有部件都是 2 倍冗余。

    未来扩充,只要插硬盘,添置盘柜就行了,1PB 以下的需求应该都没啥问题。

    UPS 是必须,若服务不能停的话要加发电机,发电机的功率要为 UPS 的 3 倍以上,具体参见 APC 的白皮书。

    SSD Cache 视需求添加。

    以上是标准的高可用存储服务器配置。大部分是 2 倍冗余,记得浪潮之前做了个 1.3 倍硬件做出 6 个 9 可用的机器,不知道是怎么设计的。。

    重要数据加密上云,死也不能丢的又不能上云的数据那就移动硬盘 /磁带存银行。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4959 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 01:07 PVG 09:07 LAX 18:07 JFK 21:07
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86