各位内部系统的统计需求是如何实现的? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
glacer
0.02D

各位内部系统的统计需求是如何实现的?

  •  1
     
  •   glacer 2020 年 2 月 17 日 2572 次点击
    这是一个创建于 2258 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司内部有各种面向内部员工的系统,里面往往有各种统计类的需求。现在的问题是:

    1. 有些统计需要涉及好几张大表的 count,group by 等操作,搞出来接口性能捉急,风险很高;
    2. 对实时性要求高。一旦有成交单之类的操作,往往需要快速在系统上展现数据。 我们内部也有离线计算平台,有时一些复杂或大数据量的统计接口我们会对接离线平台上的数据,提高性能,但实时性达不到要求。

    我们考虑过对接 MQ 来做流式计算,但总觉得自己去做流式计算性价比很低。调研过市面上的一些实时计算框架(像 flink ),目前来看成本太高,而且有一种大炮打蚊子的感觉。所以现在真的很纠结该怎么去做。

    简单概括下上面的问题,就是一句话:在公司各个阶段下,用什么方式来实现实时计算的性价比最高

    7 条回复    2020-02-17 18:34:35 +08:00
    zellalan
        1
    zellalan  
       2020 年 2 月 17 日
    板凳搬好了 等一波大佬回答
    cabing
        2
    cabing  
       2020 年 2 月 17 日
    上 clickhouse
    unicloud
        3
    unicloud  
       2020 年 2 月 17 日 via iPhone
    这个问题提得好。
    以我司的业务量和数据量来说似乎 SQL 的聚合函数配合 group by 能搞定。
    glacer
        4
    glacer  
    OP
       2020 年 2 月 17 日
    @unicloud 我们主要是有部分千万级的表需要关联统计,而且在业务高峰内部也会有 600 多人使用,性能还是跟不上的。
    shyrock
        5
    shyrock  
       2020 年 2 月 17 日
    业务数据和统计数据分库吧,统计数据可以延后定期刷新,不要在业务表上直接聚合动态计算数据。
    xjay
        6
    xjay  
       2020 年 2 月 17 日
    piwik 呢?
    DEVN
        7
    DEVN  
       2020 年 2 月 17 日 via iPad
    消息队列,数据流计算,亿级数据检索等各类大数据组件堆砌而成。问题多得亚比。
    关于     帮助文档     自助推广系统         API     FAQ     Solana     893 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 85ms UTC 19:46 PVG 03:46 LAX 12:46 JFK 15:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86