10 亿级的操作流水和千万级的用户,进行匹配、查询、统计,怎么处理才能加快?最快能到什么速度? - V2EX
qinrui

10 亿级的操作流水和千万级的用户,进行匹配、查询、统计,怎么处理才能加快?最快能到什么速度?

  •  1
     
  •   qinrui Mar 12, 2018 3160 views
    This topic created in 2999 days ago, the information mentioned may be changed or developed.
    8 replies    2018-03-12 16:22:28 +08:00
    tomczhen
        1
    tomczhen  
       Mar 12, 2018 via Android
    不说业务逻辑不是瞎扯么。

    全部数据放内存跑,最快到什么速度取决于具体业务逻辑,反正也没法更快了。
    murmur
        2
    murmur  
       Mar 12, 2018
    这大概就是四大行的数据量?用户数还不止?
    做好分区分表机器全用最的那种就是你现在那个体验
    至于所有数据级别的统计 你见过那个银行提供过这种服务 对吧 只针对一个用户统计数据反倒没多少
    MasterC
        3
    MasterC  
       Mar 12, 2018
    这个级别的数据量不算太大。具体处理速度要看业务场景,连续 scan 还是随机读取,不同场景不同方案。使用当下很多的 olap 技术都可以做到秒级查询的,超复杂的 join 可能会慢些
    feverzsj
        4
    feverzsj  
       Mar 12, 2018
    流水这种时间序列数据很容易通过分表来解决大数据量,千万级用户也不是很多,单表就能解决
    XOXO360
        5
    XOXO360  
       Mar 12, 2018
    前提条件不说,就说最快?如果你是天河一号,你觉得需要几秒?,如果是全内存数据库,你觉得多少?你设计合理又是多少,不合理又是多少,用大数据的话,数据倾斜又是多久,如果是职场新人,建议问问你前辈。
    lk1ngaa7
        6
    lk1ngaa7  
       Mar 12, 2018
    内存计算 ,hash 到机器
    rashawn
        7
    rashawn  
       Mar 12, 2018 via iPhone
    最快… 一个用户给开一台机器
    jahan
        8
    jahan  
       Mar 12, 2018
    elasticsearch 可以不?
    About     Help     Advertise     Blog     API     FAQ     Solana     2216 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 1510ms UTC 16:11 PVG 00:11 LAX 09:11 JFK 12:11
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86