[数仓交流帖] 数仓职业交流贴

普通底层数仓 + 1

数仓+2

祈祷大数据相关的硬件和数据处理软件不要有颠覆式的效率提升。
目前数据库的效率有限，AI 写的智障代码和做的操作效率较低，难以在规定时间内完成处理，所以暂时难以替代合格的仓管。

数仓+3

数仓 迟早会被取代。做不了一辈子。可能最后只需要运维。

数仓 培训的也很多，不断输入人进来，还有本科对应的专业，但是目前来看，数仓的职位比 java 开发少的多，除了一线城市，其他大部分城市 直接买成熟的数仓工具，所以我觉得会萎缩。

@tensorzhang 差不多，基本上用阿里云那套。基础设施买，但你可以搞业务，业务买不了吧。

@comsweetcs 如果你说业务，那你就得看 aigc 发展到什么地步，那样还不如看好产品经理

@tensorzhang 如果 aicg 都能发展到这样，那基本上大家都得失业，不只是数仓。

@comsweetcs 所以不可能做一辈子，数仓很多业务，sql 大部分能搞定。感觉替代的会更快。

还以为是指数字仓鼠

@tensorzhang 主要是业务复杂，业务并没有通用性，如果 ai 业务都能解决，那大家都躺着吃饭就行了

@Songxwn

数据存储是非常有必要的，无论什么业务都有必要。
但是换家公司可能就不是像大公司一样用。很多场景都会用到数据仓库。但是很多局外人并不了解。这个需要自己既懂技术又懂业务。
好比现在很多的 AI 公司，难道他们就不需要数据仓库吗？模型永远不用更新？模型全放内存？
这些都是很好的发展方向。其实可以去看看国外业公司的发展方向就能找到一些灵感

数仓+1

我理解数仓不能做一辈子，主要因为数仓存在的意义在于 OLAP 。
而如果大数据性能突然有了跨越式提升，可能就会瞬间被替代了，当然这个虽然感觉短期内不会出现，但是不能保证什么时候就会有一个突破，就像 gpt 。

绝大部分的企业数据真的不多，离开了大厂可能得往链路上游（ DBA ，ETL 工程师，Flink 开发工程师等）或者下游（数据分析师，BI 工程师，商业分析师等）探索。

数工+1 ，感觉进到瓶颈了，期望突破到 DevOps

@notvalid 老说的是数据平台开发吧。我主要也是做 etl

@levelworm 老哥做的是 BI 还是平台开发？

@comsweetcs 大佬好，主要是做 etl 兼一些 cicd 之类的 ops

数仓+1 主要做业务的数据开发

我们公司数仓都被裁了大半了

俺们是做实时数仓产品开发的，让本来只能离线跑的 OLAP 查询实现 Ad Hoc 交互式地查询。虽然现在实时数仓不可能一下子替代传统的数仓，不过在很多场景下我们的实时数仓都能实现“一站式”的数据服务，让应用的开发更简单。有兴趣的同学欢迎来勾搭。

@Songxwn 同感

我之前做过一阵 reverse etl ，说实话，搞起来挺难的。对一致性，容错，性能都有很高的要求。

大数据没实权, 推不动业务侧改革。。。。裁员首选

是开发报表吗？

茶树菇

@haimianbihdata 这是很普遍的一个问题。

@xscit 哈哈哈哈，每个公司不一样，但是如果说开发报表，那就是应用层的事了。

@LeegoYih 大佬啥公司，后端没裁？

@lifanxi 看来我还是得转实时，还能写点代码。

@comsweetcs 逆向就是推数据从数仓到其他系统的 API 。比如同步产品数据到电商店铺里面去。

这个同步过程需要考虑挺多东西
如何记录状态，从而增量同步？
数据很多如何加快同步速度？
API 有限流，怎么在加快速度的同时不超过限流？
某几条数据同步失败了，重试和重试失败的策略是啥？
数据有重复怎么办？

@dayeye2006199 以前我们是在应用层搞的，每个表生成一个全量和增量分区，第一次推全量后面推增量。把多条数据合并成一条消息，走 kafka 同步给业务系统。