风控系统用 MongoDB 会不会性能更好?采集的数据字段很杂 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
drymonfidelia
V2EX    数据库

风控系统用 MongoDB 会不会性能更好?采集的数据字段很杂

  •  
  •   drymonfidelia 2024-04-29 21:44:02 +08:00 2333 次点击
    这是一个创建于 568 天前的主题,其中的信息可能已经有所发展或是发生改变。
    13 条回复    2024-05-06 09:15:17 +08:00
    raycool
        1
    raycool  
       2024-04-30 00:15:55 +08:00
    现在用的啥
    drymonfidelia
        2
    drymonfidelia  
    OP
       2024-04-30 00:22:12 +08:00
    @raycool 现在用的 MySQL ,太卡顿了,而且数据库体积非常大,正在计划重构
    jhdxr
        3
    jhdxr  
       2024-04-30 00:31:09 +08:00
    直接 ETL ?
    jhdxr
        4
    jhdxr  
       2024-04-30 00:31:52 +08:00
    打错了,我想说 ELK
    Belmode
        5
    Belmode  
       2024-04-30 01:42:25 +08:00
    之前做过类似的,这种系统用 MongoDB 类的数据库,天然合适。不过有点需要主要,需要规划好文档结构和集合规模,还有要考虑索引的 key 。
    因为数量达到一定程度,还是会慢,并且数据集合过大,MongoDB 直接无法 count 了。

    1 、预估数据规模,设定需要的硬件配置
    2 选择单独分片还是分片分表,决定集群方案
    3 、尽可能减少索引数据量,因为 MongoDB 会在 index 时把所有对应的索引完全载入内存,会导致内存占用高
    4 、仅作业务分析,避免多文档事务
    5 、聚合计算尽可能降低规模,提高查询效率、count 效率。

    基本上单集合几亿数据毫无压力
    locoz
        6
    locoz  
       2024-04-30 01:48:57 +08:00 via Android
    建议考虑用 ES ,应该会比 MongoDB 更适合
    qW7bo2FbzbC0
        7
    qW7bo2FbzbC0  
       2024-04-30 09:48:38 +08:00
    MongoDB 数据量大了,官方只有逻辑备份的工具,备份挺困难的,一次备份持续好几天。percona 物理备份工具需要使用 percona 分支的 MongoDB 。

    elastic 需不需要备份,有物理备份方式吗?
    dododada
        8
    dododada  
       2024-04-30 10:29:37 +08:00
    @qW7bo2FbzbC0 上海机房备份到北京机房?
    vczyh
        9
    vczyh  
       2024-04-30 11:31:05 +08:00
    @qW7bo2FbzbC0 直接把 data 目录备份可行不
    vczyh
        10
    vczyh  
       2024-04-30 11:31:39 +08:00
    @qW7bo2FbzbC0 MongoDB
    qW7bo2FbzbC0
        11
    qW7bo2FbzbC0  
       2024-04-30 11:48:07 +08:00
    @dododada
    @vczyh

    不知道,没试过,大哥您可以试试再告诉我们。就是日常备份啊
    lenmore
        12
    lenmore  
       2024-04-30 12:58:30 +08:00
    @qW7bo2FbzbC0 我是用 LVM 卷的 snapshot 做物理备份。
    vczyh
        13
    vczyh  
       2024-05-06 09:15:17 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1101 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 23:15 PVG 07:15 LAX 15:15 JFK 18:15
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86