这是一个创建于 2229 天前的主题，其中的信息可能已经有所发展或是发生改变。
部门要整私有云存储,要支持 EB 级别数据量, 请教下技术选型.
目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点
目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点
 | 1 snappyone 2019-09-07 10:02:35 +08:00 via Android eb 数据应该有专门负责这个的部门了吧 |
 | 2 hst001 2019-09-07 10:26:26 +08:00  7 1 EB = 1024 PB = 1024 * 1024 TB = 131072 块 8 T 容量的硬盘，按 3 份副本存储，需要 393216 块硬盘，接近 40 万块， 按 EB 级别要求看，只能算是个起步，你们部门怕不是得搞个数据中心？ |
 | 3 abcbuzhiming 2019-09-07 10:33:42 +08:00 贵公司的预算是多少，想搞这样的东西，计算机系统的复杂性从来都是来自数量级，每加 1 个 0，难度指数上升 |
 | 4 delectate 2019-09-07 10:44:41 +08:00 eb 级别，至少是几十人团队才能搞，成本很高，不是你能搞得定的。不如买套路云 oss，良心云 cos。 |
 | 5 fredcc 2019-09-07 10:56:17 +08:00 1EB 数据，在 AWS 宁夏区存储每个月大概 17w 多，流量成本另外计算。自建 200w 级别搞定 IDC+硬件+研发+维护+团队？这个数量级别，老实上公有云吧，不放心就多云备份。 |
 | 6 PowerMax 2019-09-07 10:59:25 +08:00 1 按 1EB 数据来算 硬盘价格就要 3 个亿左右 1EB 数据也不是突然了出现的 你们原来是怎么解决的? 你们公司是作啥的 好奇问一下 |
 | 7 jeffreyji666 OP 原来是公有云, 现在想自建, 还在调研阶段 |
 | 8 quickma 2019-09-07 11:17:00 +08:00 自建花钱把公有云方案搬一套下来就完事了 |
| 9 jeffreyji666 OP 这套方案也没法搬吧,都是公有云自己研发的,人家吃饭的本领. |
 | 10 donlxn22 2019-09-07 11:50:45 +08:00 Azure Stack 私有 Azure 云看一下 |
 | 11 cmdOptionKana 2019-09-07 12:03:03 +08:00 要来论坛问方案的话……目测自建会遇到很多麻烦。 |
 | 12 chinvo 2019-09-07 12:07:18 +08:00 联系微软 Azure，做 Azure Hyper Cloud |
 | 13 Srar 2019-09-07 12:17:36 +08:00 直接 DELL EMC 或者 Hitachi VSP 吧 |
 | 14 realpg PRO 坐标哪里？专业搞云数据中心的。自己拿地还是租用既有物业？ 我这有个自建的项目，自己拿地，存储 |
| 15 realpg PRO 2 没打完就发出去了 自己拿地自建的，CEPH 方案后端存储，一期项目要求 320PB 初始容量三副本存储，荒郊野岭机房六层楼，基建不含土地总投资 3 亿 |
 | 16 swulling 2019-09-07 12:33:58 +08:00 via iPhone 1 |
| 18 realpg PRO 这个规模如果是机械硬盘容量盘，就按照 1EB 的规模后段存储，加上固态缓存 tier，大致需要 2000 个标准柜，不考虑扩容房间空间，两层楼机房，全套消防电力配置加上数据中心办公附属，我这最近建设的 2000 标准柜的机房有个参考 不含土地成本 机房主体面积 长 119.2 米宽 48 米的两层楼 包含双幺万市电引入，厂房建设，双变压器，配电，18 套 600kva 的 UPS，电池，配套线缆，机柜，PDU，空调，桥架，监控中心，气体消防设施，总投资 6000 万，坐标辽宁，2020 年 3 月投产 |
| 19 swulling 2019-09-07 12:35:41 +08:00 via iPhone @jeffreyji666 厉害，好奇你们原来用的哪家公有云？ |
| 20 swulling 2019-09-07 12:39:08 +08:00 via iPhone EB 级别数据中心，基建加服务器费用加网络费用，三个亿起吧。这么大规模没钱请个资深架构师，跑到论坛上问个啥… |
| 22 swulling 2019-09-07 12:42:57 +08:00 via iPhone @fredcc 不好说，毕竟 lz 没说背景。用最便宜的归档存储可以便宜一个数量级，最便宜的归档存储用的磁带机，可麻烦了 |
| 23 swulling 2019-09-07 12:44:07 +08:00 via iPhone 1 另外 ceph 单集群 EB 八成没戏，规模太大了。要么就拆集群，要么做二次开发。 |
| 24 realpg PRO 1 避免嘴炮嫌疑 图纸都可以发   然后是后端设施 我们这个最终是输出服务不是输出硬件，我个人有权利选型设备，用的都不是比较新代数的服务器，实际存储设计我们这是非常精简成本的，多层多性能都才用了不同方案，大量定制旧代数服务器、主板，甚至在市场上回收大量二手服务器，这个 2000 柜的机房首期建成，IPSAN 公共存储部分都在 2 楼，2 楼所有机房都是，一楼的中心 VIP 区都是计算用外挂二楼的 IPSAN 就这样，综合所有服务器的成本是 3.6 亿 主体网络设施包含各种级别的交换机，光模块，室内光缆，尾纤，我们的采购渠道特殊走运营商 ICT 极便宜的情况下，花了不到 1000 万，如果是社会其他公司来干没有这个网络设备采购渠道要更贵 |
| 25 realpg PRO 1 PS 别以为这是个复杂的事 只要有钱 有高级规划人员 这么大个项目，其实我公司扣掉财务和文员，才二十来个人，其中一多半是机房土木电力空调建设人才，剩下才是真正搞 IT 技术的 当然，项目完全投产以后要上一堆现场维护人员，那都是跟着项目走的，单独的运维公司，输出标准，干活的人员 其他全套建设，全部是固定长期合作方来做，出设计 |
| 26 realpg PRO 1 @swulling #23 一定要拆集群，因为网络交换能力都不行 但是可以在 200Gbps 的层面上做统一 iSCSI 网关 对外可以提供统一服务 实际架构是多级集群 实际生产环境我们最大搞了个 2EB 的，没啥毛病 养了 40 个换硬盘工…… 各种来路不明清零盘，垃圾 SSD，反正看着监控换硬盘就行，成本低廉，可靠性好 |
| 27 swulling 2019-09-07 12:56:26 +08:00 via iPhone @realpg 抛去 ceph 不说，单集群 2w~3w 服务器是可行的 最大的东西向流量是副本复制的流量，其实还好。南北向看层层收敛比。一般这个规模的集群提供 400Gbps 的南北向流量问题不大。 硬盘还是买好的，要不然太累了… |
| 28 realpg PRO 1 @swulling #27 实际上 固态好的坏的更换都累 机械盘清零盘的故障率其实都挺低的…… 主要是这边的存储网络为了节约成本（￥ 20 的华为万兆光模块满地跑），采用的 2*10GbpE 存储网络，固态节点采用 4*10GbE，没有采用接入层 25GbE 和 2*25GbE，lacp 的负载分担还是利用率有错峰问题，基本上都是手动规划不同的区域不同用途，然后在 2*100GbE 的聚合层面做多个统一网关 ceph 只要你不去动他，不会有故障 我们 ceph 节点的本地系统引导是另外一套可靠性高的用盗版 VSAN 搞的 IPSAN，全固态 5 副本。目前多个项目，就没有 ceph 节点自身系统故障的，ceph 的常用操作封装成 web 界面了，运维都是傻瓜级的，看图点按钮换硬盘而已，实在遇到问题就整节点关机，等大工程师两周巡视一次机房处理 |
 | 29 salmon5 2019-09-07 13:27:32 +08:00 老板投入多少，2 个人，几万块钱 |
 | 30 uleh 2019-09-07 13:37:37 +08:00 via iPhone 加个微信详细聊下 base64 eWV1bGVo |
 | 31 Septembers 2019-09-07 13:43:00 +08:00 |
| 32 fredcc 2019-09-07 13:45:15 +08:00 via Android @swulling 用 S3 Glacier Deep Archive 的话还能便宜 2/3，磁带机维护成本不便宜啊 |
 | 34 secondwtq 2019-09-07 13:55:19 +08:00 2 1EB ... Backblaze 现在也才 750PB |
 | 36 reus 2019-09-07 14:05:44 +08:00 主流几家公有云都支持私有部署，别折腾了 |
| 37 realpg PRO |
 | 40 zsj950618 2019-09-07 15:13:12 +08:00 via Android 难道除了 ceph 你还有其他选择（ x |
 | 41 akira 2019-09-07 15:22:18 +08:00 这种需求 直接让阿里云 /华为 /腾讯云 给你们出方案 应该更好吧。。 |
 | 43 liukangxu 2019-09-07 16:10:25 +08:00 #Boss 不懂技术系列 |
 | 46 skyeycirno 2019-09-07 16:23:04 +08:00 via Android EB 级别…？你是百度的还是？？我记得当初 115 搬家，也才 100PB 的数据，EB 级别的数据我觉得只有百度云才可能有吧？我记得看过新闻，百度云太原还是贵州数据中心，设计时是 4EB 的存储量… |
 | 47 lostberryzz 2019-09-07 16:29:27 +08:00 115 迁移阿里云是 100PB。你们部门的数据量是 10 个 115... |
| 48 realpg PRO 1 @skyeycirno #46 估计是他们领导拍脑门子听说了 EB 这个单位 我目前客户只有涉及影像的大存储才会有这个级别 公众业务从来没这么大规模的 医疗影像，公安监控视频，区域卡口图像 其他都是 120PB 的一个集群已经完全可以覆盖 |
 | 49 FS1P7dJz 2019-09-07 18:19:58 +08:00 2E 的项目,买二手服务器,用盗版软件 V2 真 TM 能吹 某楼跟楼主可谓一排即可,争取弄个大项目 |
 | 50 carmark 2019-09-07 21:39:54 +08:00 需要什么样的接口： 对象存储、块存储或文件系统？ 存储的内容是什么样类别：大文件，小文件 操作方式频率：读操作，写操作，读写混合 需要提供这些信息才可以，如果你的回答是读写混合，大小文件混合的分布式文件系统，那这个可能开源软件运维起来也比较费劲 |
 | 51 dingzi 2019-09-07 22:13:17 +08:00 你怕是开了个 115 吧 |
| 52 salmon5 2019-09-07 22:17:42 +08:00 还有一个“百万并发” |
 | 53 Tmier 2019-09-08 08:51:26 +08:00 我就是留个言,参与一下上亿项目的研发~ |
 | 54 szq8014 2019-09-08 14:52:41 +08:00 非专业运维参与过 2P 的 ceph 集群的搭建提供块存储，然后老是有 osd 95% 卡住整个集群。。也没有多少精力去调优。。 |
 | 55 KenGe 2019-09-08 16:00:40 +08:00 话说如果要 ICT 采购网络设备找我 ，我还能参与下上亿的项目 |
 | 56 wanguorui123 2019-09-27 13:35:52 +08:00 1EB 为例：1048576TB 存储需求，2 份副本、4T 硬盘按 900 元。 硬盘成本：524288块、471859200 元（ 4.7 亿元） 磁盘柜：24 盘位按 70000 元、21846 台、1529220000元（ 15.3 亿元） 其次：机柜、网络、软件、建设、电、运维等等 |
Select Language