数亿条key-value对，每个value大概是20k～50k的json字符串，求分布式存储方案！
webflier 2013-05-22 22:08:02 +08:00 2561 次点击这是一个创建于 4582 天前的主题，其中的信息可能已经有所发展或是发生改变。
不考虑mongodb，mongodb的disk footprint太大，太占硬盘空间。
hbase是不是一个好方案？没用过，稍微浏览了下文档，感觉配置起来有点复杂。
redis做集群，合适吗？
或者整一个分布式文件系统，直接存成文件？
大神们，求破！
hbase是不是一个好方案？没用过，稍微浏览了下文档，感觉配置起来有点复杂。
redis做集群，合适吗？
或者整一个分布式文件系统，直接存成文件？
大神们，求破！
 | 1 Livid MOD PRO Riak |
 | 2 Cadina 2013-05-22 22:12:46 +08:00 这要看你查询的需求了啊 |
| 3 Livid MOD PRO  1 HBase 的问题是，这些数据你打算用什么编程语言来存取？ HBase 的 first-class 编程语言是 Java。 |
 | 4 plprapper 2013-05-22 22:14:40 +08:00 把value做序列化处理 然后再看看大小呢？ |
 | 5 webflier OP |
| 6 Livid MOD PRO 1 @webflier Riak 出来的时间不短了，是一个靠谱的分布式 KV 数据库。你可能需要花一些时间研究它的部署，但是一旦熟悉了，这个东西还是很可靠的。 |
 | 8 swulling 2013-05-22 22:27:58 +08:00 你这个才T级别的数据，不必太在乎硬盘空间吧。 |
 | 9 austin 2013-05-22 22:55:52 +08:00 1 应该视你数据的读取频率、改写频率、数据一致性要等需求不同，而最终方案不同。 如果读取频率很小，自己搞一个hash算法，存文件或直接存mysql都可以。 如果读取的很频繁，而且是乱序的，放redis里面是一个好方案。也是自己hash分到多个redis实例即可。 |
 | 10 davepkxxx 2013-05-22 22:58:01 +08:00 memcache或着membase |
 | 11 llbgurs 2013-05-22 23:03:44 +08:00 couchbase |
 | 12 oldgun 2013-05-22 23:11:11 +08:00 你这个其实Berkeley DB就可了，可能插入性能需要看看。 |
 | 13 Los 2013-05-23 00:37:51 +08:00 1 插个内容，Hbase 支持 REST 方式进行操作 http://wiki.apache.org/hadoop/Hbase/Stargate 当然，有更好的另一种操作方式是通过 Thrift 连接 Hbase，能够支持常见的开发语言，包括c#,java,python,php,ruby 等等 http://wiki.apache.org/hadoop/Hbase/ThriftApi |
 | 14 Frannk 2013-05-23 00:56:43 +08:00 1 Mysql 分库分表 存blob |
 | 15 Ricepig 2013-05-23 01:28:24 +08:00 1 column based database就好了，列数据压缩，效率比较高 |
 | 16 aisk 2013-05-23 01:34:35 +08:00 1 LevelDB也可以。或者楼主可以按文件名做hash到不同机器，然后机器里再按hash分布到多层的目录里。 |
| 17 webflier OP |
 | 18 wuxqing 2013-05-23 14:51:27 +08:00 Twemproxy + redis 应该也可以的 Twemproxy：https://github.com/twitter/twemproxy |
 | 19 clowwindy 2013-05-23 14:56:04 +08:00 @Livid HBase 有 HTTP 和 thrift 接口，我们之前用过 tornado + REST HBase 不过 HBase 的运维成本非常高。 |
 | 22 pyKun 2014-06-06 10:42:23 +08:00 关注下riak |
Select Language