关于大数据上层的数据应用平台,有哪些,是可以做的呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Jim2Chen
V2EX    程序员

关于大数据上层的数据应用平台,有哪些,是可以做的呢?

  •  1
     
  •   Jim2Chen 49 天前 2027 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景

    我目前是做大数据的数据开发平台的(严格来说,是维护前人遗留的数据中台的项目),现在要找一些事情做。就是不想再往数据开发平台方向找活干了。没啥产出,也容易出事故。

    近期干的活

    去年搞了个,基于用户行为的数据分析平台。其实就是以前需要写 SQL 查询的,现在页面上点点,能查询出来了。比如,事件分析、漏斗分析、留存分析等。

    今年上半年,搞了个,用户分群的平台。其实就是基于用户行为数据的一堆条件,筛选出一个人群包,这种。

    困境

    现在,不知道还有哪些数据应用平台的活,是可以做的?大家有想法的,可以指导一下。或者,你们公司内部,有哪些好用的产品,平台。得找点事情干了

    26 条回复    2025-08-25 09:10:32 +08:00
    icchux
        1
    icchux  
       49 天前
    现在主流开始推广 Flink+Paimon+Doris 技术栈替换原来的 Hadoop ,Hive ,Durid ,Trino 等,统一数据源出口,简化平台引擎统一存储,降本增效。up 可以研究一下 Flink-CDC 同步到 Paimon 链路,打磨到生产高可用,再结合 Doris 可实现数据实时查询,引申出 Flink-CDC 同步链路的开发运维监控和 Doris 数仓的管理方面技术。
    Jim2Chen
        2
    Jim2Chen  
    OP
       49 天前
    @icchux 这个我理解,还是偏数据开发平台的东西。这个说到底,还是给数据开发人员用的。我是想问的,给偏产品、运营、分析师人群用的,偏上层的数据应用平台。
    midsolo
        3
    midsolo  
       49 天前
    我曾经待过的 "用户增长“ 相关的数据方向符合你的要求,就是专门给产品、运营、分析师人群用的,可以直接拿去跟老板汇报。

    比如产品可以这个,开辟新的业务渠道以及增长需求;运营可以根据这个,调整营销活动以及优惠力度;分析师可以根据这个,计算出投入产出比以及预估产品潜力......

    但这个一般是互联网产品才有的东西,尤其是电商业务,几十人的团队才能做。
    softnero
        4
    softnero  
       49 天前
    看的出来 LZ 真想搞点新东西出来,年底了 KPI 压力大......
    linhrdom
        5
    linhrdom  
       49 天前
    @Jim2Chen 那可以看看云器的数据分析平台,有一整套的开发套件,不用自己搭建,还能做深度一点的分析,ETL 做数仓也行,Python 写 notebook 也行。
    pigeon2099
        6
    pigeon2099  
       49 天前
    运营日报 运营周报 运营月报 运营季度报 运营半年报 运营年报
    大模型智能问数

    想做总有能做的
    Jim2Chen
        7
    Jim2Chen  
    OP
       49 天前
    @softnero 是的。。。。。
    Jim2Chen
        8
    Jim2Chen  
    OP
       49 天前
    @dlmy 是的,有竞品吗?我参考一下
    Jim2Chen
        9
    Jim2Chen  
    OP
       49 天前
    @pigeon2099 这个各种报,数仓做个报表就行了。平台没啥做的。至于大模型智能问数,真正能落地的很难。
    Wind2Illidan
        10
    Wind2Illidan  
       49 天前
    这不巧了么,我也做过一样的东西,你说的这些模块也都做过,估计功能也都一样。
    结论:没啥事情可做。
    下面是我个人观点:有这套东西的至少是个中大厂,分工明确,基建也都完善了。应用层就从 olap 查数或者提交个 spark 任务跑数在页面展示。用户群体主要就是运营或者商分,业务价值也不好界定,不好量化产出。我们当时做功的点就是架构优化,降本增效,提高查询效率。怎么做呢,实时查询改为指定好一些查询条件,提前预计算,砍掉一些没用的查询等等,做着很无聊也没啥技术难度。再往下的数据建模,有数仓的人做,查询引擎优化,有引擎那边团队做,应用层啥也做不了。按这个方向跳槽也很难,业务很简单,也没高并发,只能往大数据优化啊,spark 优化,olap 优化硬靠。总之就是尴尬。
    Jim2Chen
        11
    Jim2Chen  
    OP
       49 天前
    @Wind2Illidan 我目前的想法,是往经营分析、营销分析那个方向靠
    wysnxzm
        12
    wysnxzm  
       49 天前
    我给公司做了一套自动化报表,实现物理表映射虚拟表物理字段映射虚拟字段,除了新增数据源需要适配一下新增表和字段后端不用改一行代码
    Wind2Illidan
        13
    Wind2Illidan  
       49 天前
    @Jim2Chen #11 按我的经验,有点难,这种系统一般偏数据中台,离业务远,没有业务敏感性,而且上面那些是用户分析,最终目标是分析群体标签属性和某些行为的关联关系(我们曾经做过一些常用分析的预计算,然后有运营反馈,你们预计算出的结果都是我们的业务认知,都知道的事情,简单说比如买口红的大概率是女性,他们是想探查他们不知道的关联关系),做精准投放的,和经营分析关系不大,和营销还是有关系的,所以一般都会有圈人的功能,圈人给营销平台用。 我也做过经营分析,所以用户分析这套和经营分析关系不大,建模方向也不太一样。
    Jim2Chen
        14
    Jim2Chen  
    OP
       49 天前
    @Wind2Illidan 兄弟,没活路了吗。。。。。。那你后来,咋办的,也不能一直没活干啊
    cosen
        15
    cosen  
       49 天前
    1.多维查询分析平台,支持多维度查询数仓指标,生成自定义看板,周报,日报等
    2.多源查询平台,支持多数据源即席查询分析
    3.风控平台,结合规则引擎实现业务风控管理
    4.固定化报表,如果做了,可以考虑做 h5 ,让高管看
    Wind2Illidan
        16
    Wind2Illidan  
       49 天前
    @Jim2Chen #14 多学学底层一些优化吧,上层业务没啥用,跳槽时候吹牛逼能用上。我的经验也就是根据我们当时情况,我们会比较推崇做技术上优化(我们的价值观是完成产品功能是本分,技术上做改进才是产出),业务上的 kpi 就是支持产品迭代,技术上 kpi 就是优化查询。你看看往查询优化上做做功呢。
    b2byco
        17
    b2byco  
       49 天前
    有块数据不大,规则很复杂但是每家公司都涉及的领域,可以关注一下财务部门的报表需求,结账期间哪些数据出的慢,出不出来得线下纯手工。不过偏财务的数据不算大,并且财务是成本部门,可能投入产出比不直观,不是很好看。并且一旦要做涉及业务财务结合的报表,难度就不在数据处理本身了。
    softnero
        18
    softnero  
       49 天前
    @Jim2Chen 业务难出成果的话,往降本增效的方向上想想
    zhangfannn
        19
    zhangfannn  
       49 天前
    我感觉除了取数, 或者报表外, 还可以考虑基于现在的数据 引入点能产生业务价值的算法模型,

    比如我们公司是做网络安全的, 现有一些基于网络设备抓的数据 , 我想在这些数据基础上实现一些异常检测的算法
    zsk425
        20
    zsk425  
       49 天前
    我能想到的主要有两种,一种是类似 DataBricks Genie 这种基于 AI 的 BI 工具,另一种是类似数数上的运营工具。或者你能深度接触业务,能轮岗过去,或许可以发现一些可以做的事。
    sxwsuieyqwe11
        21
    sxwsuieyqwe11  
       48 天前 via iPhone
    数据可视化分析平台
    Jim2Chen
        22
    Jim2Chen  
    OP
       48 天前
    @sxwsuieyqwe11 类似 HUE ?
    sxwsuieyqwe11
        23
    sxwsuieyqwe11  
       48 天前 via iPhone
    @Jim2Chen 就是 bi 报表,最直观的数据应用了
    Jim2Chen
        24
    Jim2Chen  
    OP
       48 天前
    @sxwsuieyqwe11 这个有了
    sarracenia4101
        25
    sarracenia4101  
       48 天前
    引入一点 ai 吧,比如用 ai 生成对应平台的 sql 方言啥的。
    Jim2Chen
        26
    Jim2Chen  
    OP
       45 天前
    @sarracenia4101 这块落地的效果,太不可靠、太不稳定了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3175 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 00:35 PVG 08:35 LAX 17:35 JFK 20:35
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86