这是一个创建于 47 天前的主题，其中的信息可能已经有所发展或是发生改变。
我是后端开发，现在需要处理一些数据统计的需求，不想在业务库进行，需要自己搭建数仓。
统计需求，都是一些用户订单数据统计，电商财务报表等，订单量千万左右，每日新增 5w 左右。
例如统计每个用户，每日下单数量。用户在 3/9 下了 3 单，则需要 t+1 统计出一条记录
user_id = 123 date = 03/09 count = 3
如果 3 / 10 号，用户退款了 3 / 9 的 1 个订单，则需要刷新记录为
user_id = 123 date = 03/09 count = 2
然后就是一些其他的统计需求，比如每天每个商户的营业额，订单数之类的，结算报表等
请问数仓应该用什么，想用实时的数仓，目前选定 doris
了解了一下数仓一般都是分层处理的 ods -> dwd -> dws - ads
ods 层的表应该怎么建？按业务数据库一样直接照搬吗？
例如订单表 order, 表模型选什么？主键模型（ Unique Key Model ）吗？分区键怎么选？
有人指条明路吗？问 AI 给的方案都是模凌两可的，还是真人指导一下踏实。提前感谢了
统计需求，都是一些用户订单数据统计，电商财务报表等，订单量千万左右，每日新增 5w 左右。
例如统计每个用户，每日下单数量。用户在 3/9 下了 3 单，则需要 t+1 统计出一条记录
user_id = 123 date = 03/09 count = 3
如果 3 / 10 号，用户退款了 3 / 9 的 1 个订单，则需要刷新记录为
user_id = 123 date = 03/09 count = 2
然后就是一些其他的统计需求，比如每天每个商户的营业额，订单数之类的，结算报表等
请问数仓应该用什么，想用实时的数仓，目前选定 doris
了解了一下数仓一般都是分层处理的 ods -> dwd -> dws - ads
ods 层的表应该怎么建？按业务数据库一样直接照搬吗？
例如订单表 order, 表模型选什么？主键模型（ Unique Key Model ）吗？分区键怎么选？
有人指条明路吗？问 AI 给的方案都是模凌两可的，还是真人指导一下踏实。提前感谢了
 | 1 netnr 3 月 10 日 非专业 订单量千万，日增 5w ，数据量不大，数据库 doris 、clickhouse 、duckdb 随便选 表结构完全一致，做个定时任务，实时查询最近 10 天（即可能变化的数据）的数据，直接写入 order 表（写入前 truncate ），还有一张 order_history 永远不变的，查询时 union all 两表统计，这数据量 duckdb 秒出结果 |
Select Language