MongoDB 单表能否支持到 1 亿,加索引 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
robertaff
V2EX    数据库

MongoDB 单表能否支持到 1 亿,加索引

  •  
  •   robertaff 2015-02-02 09:30:25 +08:00 2758 次点击
    这是一个创建于 3913 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我现在手头有个项目在mysql和MongoDB之间选型,如果mysql的话,中间的缓存更新需要很多的工作量,如果MongoDB能够支持单表1亿数据无压力的的话,事情就会优化很多,因此请教,不知MongoDB单表加索引的话,可否支持到单表1亿的量?

    垂泪呼唤MongoDB高级工程师!

    22 条回复    2015-02-02 23:27:32 +08:00
    dingyaguang117
        1
    dingyaguang117  
       2015-02-02 09:46:10 +08:00 via iPhone   1
    10亿的飘过,用的tomux
    dingyaguang117
        2
    dingyaguang117  
       2015-02-02 09:46:50 +08:00 via iPhone
    @dingyaguang117 外加2个索引 一个默认_id
    robertaff
        3
    robertaff  
    OP
       2015-02-02 09:58:25 +08:00
    @dingyaguang117

    感谢回复,我再进一步描述下我的需求,

    (1)不加索引
    (2)总量大概5-8亿
    (3)查询扫描其中的1亿数据,
    (4)并对这些数据做筛选,归并(mapreduce)

    这时候效率和性能如何?是否可行?
    xujialiang
        4
    xujialiang  
       2015-02-02 10:02:10 +08:00
    这两个头像。。。。。。。。真配~~哈哈
    9hills
        5
    9hills  
       2015-02-02 10:04:33 +08:00 via iPhone   1
    我觉得自己构建下测试集测试下不就完了?分分钟的事。
    dingyaguang117
        6
    dingyaguang117  
       2015-02-02 10:18:41 +08:00   1
    @robertaff 筛选条件很复杂不可以用索引完成吗?
    webflier
        7
    webflier 
       2015-02-02 10:33:10 +08:00   1
    索引是一定要加滴
    robertaff
        8
    robertaff  
    OP
       2015-02-02 11:28:24 +08:00
    @webflier
    @dingyaguang117

    如果用索引的话,能不能满足呢?
    cvv
        9
    cvv  
       2015-02-02 11:45:11 +08:00
    汪星人再次败给了喵星人
    soli
        10
    soli  
       2015-02-02 11:47:04 +08:00   1
    如果全在内存,几十亿算个啥?

    否则,瓶颈在磁盘。一般 7200转的硬盘,每秒200条读写。
    qifei
        11
    qifei  
       2015-02-02 12:04:27 +08:00
    看成 MojangAB
    mathgl
        12
    mathgl  
       2015-02-02 12:12:42 +08:00   1
    @robertaff 有什么指标? 扫描1亿是linear scan? 还是index scan?
    robertaff
        13
    robertaff  
    OP
       2015-02-02 12:37:26 +08:00
    @soli 不在内存,在硬盘。

    @mathgl 扫描一亿是linear scan。
    BiggerLonger
        14
    BiggerLonger  
       2015-02-02 12:40:22 +08:00
    不需要sharding一下吗
    cevincheung
        15
    cevincheung  
       2015-02-02 12:40:33 +08:00   1
    楼主问的是单机单表1亿咩?然后单机配置捏?然后硬盘参数捏?
    dingyaguang117
        16
    dingyaguang117  
       2015-02-02 12:42:39 +08:00   1
    @robertaff 这个要看查询条件了!
    Landarky
        17
    Landarky  
       2015-02-02 13:10:29 +08:00
    毫无压力 。。最好加索引 。。。
    robertaff
        18
    robertaff  
    OP
       2015-02-02 14:10:36 +08:00
    @dingyaguang117

    查询条件是根据timestamp。
    wesley
        19
    wesley  
       2015-02-02 14:19:29 +08:00
    数据量大不敢用mongodb,实在是硬盘无底洞
    jiangzhuo
        20
    jiangzhuo  
       2015-02-02 14:29:45 +08:00
    @dingyaguang117 是tokumx吧
    alsotang
        21
    alsotang  
       2015-02-02 23:01:19 +08:00
    olap 的话,为何不试试其他的分析型数据库选择?
    dingyaguang117
        22
    dingyaguang117  
       2015-02-02 23:27:32 +08:00
    @robertaff 毫无压力,另外你可以用时间戳构造 ObjectId查询,只需要一个_id 索引就行了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5432 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 07:25 PVG 15:25 LAX 00:25 JFK 03:25
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86