千万级的value怎么保持value值的唯一性
pyKun 2013-05-25 10:38:10 +08:00 5485 次点击
这是一个创建于 4527 天前的主题，其中的信息可能已经有所发展或是发生改变。
1000W到5000W,value的值要保持一致性
如果要用数据库什么的，其实value的值是有存的地方了，所以要另找一个数据库来保证这个唯一性应该会有轻便的方法，所以求问
跪求推荐方案
如果要用数据库什么的，其实value的值是有存的地方了，所以要另找一个数据库来保证这个唯一性应该会有轻便的方法，所以求问
跪求推荐方案
 | 1 xhat 2013-05-25 11:14:52 +08:00  1 我当时3kw采用的方法是对value进行hash，把hash值写入memcache。每次有新数据，hash后在memcache里面验证唯一性。 |
 | 2 DaniloSam 2013-05-25 11:20:13 +08:00 第一反应是DOM属性，想着千万级的，妈的页面得多大 后来反应过来是我二逼了 |
 | 3 ipconfiger 2013-05-25 11:24:28 +08:00 数据库不是有唯一性索引的么？ |
 | 5 pyKun OP 1 @xhat 我也想到过memcached，但是memcached不是高可用的，挂了一个node，那个node上的memchached对应的数据怎么被验证唯一性呢？ @ipconfiger 已经存了，但不在一个表里，如果直接读表，脚要遍历好几个表，或者再做一个数据库，二者都不是我想要的 |
 | 7 VYSE 2013-05-25 13:39:03 +08:00 1 把所有VALUE DUPLICATE到ISAM引擎中，千万级耗费空间很少，而且专门一个线程插入效率非常高 |
 | 8 likuku 2013-05-25 13:48:40 +08:00 1 @pyKun memcached 有日本人作的双向同步补丁，可以弄多个机器跑memcached保持多个读写同步，挂掉一个，重开一个会自动同步。 |
 | 9 Mutoo 2013-05-25 14:51:35 +08:00 3 Bloom Filter 可以非常快[O(1)]进行唯一性检查，但是由于hash的缺陷无法做到100% http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 |
| 10 xhat 2013-05-25 20:15:36 +08:00 1 |
| 12 pyKun OP |
 | 14 lunny 2013-05-26 19:48:53 +08:00 leveldb |
 | 15 binge 2013-05-26 19:55:43 +08:00 很感兴趣通常会用在什么情况的？求指教：） |
Select Language