有一个数据分析的解决方案想请教各位一下 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Geebarwan
V2EX    程序员

有一个数据分析的解决方案想请教各位一下

  •  
  •   Geebarwan 2024-02-10 23:38:56 +08:00 2256 次点击
    这是一个创建于 639 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我遇到一个自己没有尝试过业务场景,想寻求各位大佬看看有没有好的解决方案。 业务大概如下:

    • 收集客户端数据,一个很大的 json (可能超过 100+的字段)随着业务慢慢变化会导致字段和深度都是不固定的。想通过一下类似 SQL 的方案能实时的查询结果,并且有图表的功能,可以给运营方去分析。我现在的方案是使用阿里云的日志功能,能实现之前的需求,但是它的索引不能超过 100 个,所以现在如果要根据一个新增的字段去查询的话,就得删掉一个老的索引。
    • 这里还有一个需求是阿里云日志无法实现的,我想实现一个动态拦截或者叫做动态计算也行,比如 json 里有一个字段 a ,我如果他里面的值是不符合我设计的预期就告知给系统推送。

    因为个人 的技术能力有限,想使用成熟的一体化解决方案一并解决我所有的业务需求,想看看大家是否有好的见解。

    8 条回复    2024-02-12 12:00:37 +08:00
    kkk9
        1
    kkk9  
       2024-02-11 02:01:31 +08:00
    建议留个联系方式给大神们,毕竟真正的解决方案是要花钱的而不是发贴靠评论区
    ixixi
        2
    ixixi  
       2024-02-11 08:29:56 +08:00
    定义模型 和字段的 path 路径 比如
    xx_time 对应的 path 是 a[0].time.xx_time
    每次提取就是了
    sujin190
        3
    sujin190  
       2024-02-11 10:05:20 +08:00 via Android
    https://github.com/snower/syncany-sql

    那分享下我的这个项目吧,可以直接写 sql 查询 json 文件,group by 和聚合函数也正常能用


    https://github.com/snower/syncany-server

    还有 server 实现,实现的是 mysql 服务端正常协议,然后你就可以直接用支持 mysql 的图表系统来正常接入了

    项目都有例子,也许可以帮到你
    Braisdom
        4
    Braisdom  
       2024-02-11 10:43:43 +08:00
    可以试试 Agile Query, https://www.agiquery.com
    mantouboji
        5
    mantouboji  
       2024-02-11 13:31:10 +08:00
    咨询和建议免费提供,想知道正确答案请另外掏钱。
    Geebarwan
        6
    Geebarwan  
    OP
       2024-02-11 14:53:54 +08:00
    qq1340691923
        7
    qq1340691923  
       2024-02-11 23:08:58 +08:00 via Android
    可以使用这个开源项目:
    https://gitee.com/cynthia520/xwl_bi
    kanecolin
        8
    kanecolin  
       2024-02-12 12:00:37 +08:00
    1. 数据实时性要求是否高
    2. 索引实时性要求是否高
    3. 收集的数据结构(字段/数据类型/长度等)是否有连续性或下发配置这类的要求
    4. 是否有预算支持

    典型的数据收集+边缘解析场景,难度不大
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5688 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 06:21 PVG 14:21 LAX 22:21 JFK 01:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86