mongodb 唯一索引重复数据问题请教

空表先创建索引，再想办法导入，唯一索引重复的就会报错了

试一下把组合字段弄成一个组合键放在_id，直接插入就可以了，主键自动去重

使用 MongoDB 的 Bulk Operation，每 5 万条插入一次很快的。不要用 save 或 insert 方法，太慢了。

借楼问一下 80 亿的数据查询效率如何呢？

建新表，加索引，旧表导入新表，删旧表

联合唯一不如把唯一索引的字段拼接以后取 hash 后单字段索引去重，有效降低索引大小及去重效率

或者找出来重复的数据，删除了，再建索引。

这是一个查找重复手机号的用户的数据的例子，你可以根据你业务改改。

var p = [
{
$group: {
_id: '$mobile',
count: {
$sum: 1
}
}
},
{
$match: {
count: {
$gt: 1
}
}
}
]

db.member_user.aggregate(p)

谢谢大佬们
@pupboss @aborigine 确实应该只能重新导了 mongo2.x 的版本还支持一个参数，目前那个参数废弃了
@tikazyq @aborigine @Stypstive 直接从文件开了 50 个 import 进程导入的，大约 1 秒 40 万条，写代码自定义_id 方式试了一下，插入的性能实在太低了，所以就想建联合唯一索引了。
@holajamc 目前插入 80 亿数据，因为每条数据字段比较少，占空间 700G 多，根据索引查询延迟在 50-80ms 还可以，就用的单台机器，没分片。

@dtgxx 写代码插入肯定没有 native 快，用批量插入可能会快一些