 | v2day我是谁？从哪里来？到那里去？ zoo / ops V2EX 第 174416 号会员，加入于 2016-05-24 11:54:00 +08:00 |
Brain in a Vat
v2day 最近回复了
171 天前 回复了 KJH 创建的主题 程序员 clickhouse 实时数据更新方案求助 |
部署个 DolphinScheduler 调度工具（ Apache 开源），只需要 SQL 调度的话，有个 4c4g 的资源部署下即可
- 创建 jdbc 数据源
- 创建 ETL 调度任务
- 任务支持 动态传参、失败重试（ SQL 上设计好幂等性，重试不影响数据结果）、任务编排
- 配置任务状态告警（如果失败发送告警）
- 有可视化状态监控
---
同类产品如还有 青龙面板、N8N 这两个定时、任务编排的 工具
- 创建 jdbc 数据源
- 创建 ETL 调度任务
- 任务支持 动态传参、失败重试（ SQL 上设计好幂等性，重试不影响数据结果）、任务编排
- 配置任务状态告警（如果失败发送告警）
- 有可视化状态监控
---
同类产品如还有 青龙面板、N8N 这两个定时、任务编排的 工具
189 天前 回复了 KJH 创建的主题 程序员 clickhouse 实时数据更新方案求助 |
看场景有 2 个问题，需要在新方案上注意下（之前遇见过
1. 实时性要求比较高 ，这是要从 1 小时缩短到 小于 5 分钟 么？
- 这个在上述提到的软件上都能搞；业务新鲜度延迟取决 op 提到的 数仓时效性了
2. OLTP 数据 ETL 同步到 OLAP ，原文说更新比较频繁；这部分包含 add/drop/ 么？
- 如果只是 DML 的 insert / update / delete ，用 starrocks 这类 Primary key 这种表能实现原地更新和删除；目前公司环境很稳定； DDL 的话需要根据 case by case 设计了
3. ETL （同步、加工）
- 「数据源 / MySQL 」 --> Flink -- > StarRocks PK table ；直接 ods 1:1 复制到底层，方便做数据质量校验；避免业务组说 ETL 后数据对不上的现象
- 数仓加工（ dwd dws ）都在 starrocks 上跑；配合 bi 产品目前无计算压力（聚合/metrics ）
1. 实时性要求比较高 ，这是要从 1 小时缩短到 小于 5 分钟 么？
- 这个在上述提到的软件上都能搞；业务新鲜度延迟取决 op 提到的 数仓时效性了
2. OLTP 数据 ETL 同步到 OLAP ，原文说更新比较频繁；这部分包含 add/drop/ 么？
- 如果只是 DML 的 insert / update / delete ，用 starrocks 这类 Primary key 这种表能实现原地更新和删除；目前公司环境很稳定； DDL 的话需要根据 case by case 设计了
3. ETL （同步、加工）
- 「数据源 / MySQL 」 --> Flink -- > StarRocks PK table ；直接 ods 1:1 复制到底层，方便做数据质量校验；避免业务组说 ETL 后数据对不上的现象
- 数仓加工（ dwd dws ）都在 starrocks 上跑；配合 bi 产品目前无计算压力（聚合/metrics ）
2024-07-31 11:59:52 +08:00 回复了 oujikoen 创建的主题 心理学 当团队合作变得“偷懒”：揭秘社会性懈怠 |
> 认知心理学家清河幸子提出了一个有趣的“骑肩模型”
基于作者与骑肩模型、作者日文原名；除 FB 有一条 ”肩车模型“ 信息；
咨询下 op ，这个知识点来源方便贴下么？
基于作者与骑肩模型、作者日文原名；除 FB 有一条 ”肩车模型“ 信息；
咨询下 op ，这个知识点来源方便贴下么？
2022-04-07 17:13:39 +08:00 回复了 closedevice 创建的主题 生活 着魔了，陷入了报复性消费的习惯中，老铁们如何破局？ |
把钱全部买股票。
《蛤蟆去看心理医生》// 人成长时的四种象限态度
《八次危机》 // 今年的可持续发展新生态新农村好火，读了下温铁军团队早年作品
《蜜蜂的语言》 +《集体行动逻辑》 // 学习下 “个人在集体“中的社会性和政治性
《精典教育-爱弥尔》// 教育心理学名书之一，补偿下经历过年月下的心灵缺失
《原则》+ 《思考快与慢》 // 一直很火的现代经济学
《倦怠社会》// 大佬的哲学读后感
《杨显惠三部曲》// 早些年劳改纪实
《男性的衰落》// 跨性别人眼里的男权
《毛选 1 》 // 看之前听别人说很牛逼，看完后发现是真牛逼
《八次危机》 // 今年的可持续发展新生态新农村好火，读了下温铁军团队早年作品
《蜜蜂的语言》 +《集体行动逻辑》 // 学习下 “个人在集体“中的社会性和政治性
《精典教育-爱弥尔》// 教育心理学名书之一，补偿下经历过年月下的心灵缺失
《原则》+ 《思考快与慢》 // 一直很火的现代经济学
《倦怠社会》// 大佬的哲学读后感
《杨显惠三部曲》// 早些年劳改纪实
《男性的衰落》// 跨性别人眼里的男权
《毛选 1 》 // 看之前听别人说很牛逼，看完后发现是真牛逼
2020-12-14 16:22:23 +08:00 回复了 zxCoder 创建的主题 问与答 一个 sql 语句的整个解析过程 |
想到了一个开源项目： https://github.com/pingcap/parser
golang + yacc + lex 技术栈
golang + yacc + lex 技术栈
2020-04-01 17:50:44 +08:00 回复了 cocacola99 创建的主题 Apple 新款 iPhone 啥时候会发布 |
iphone 9 预计 4 月 15 日发布（灯塔部分市场已经准备开售 iphone 9 保护套）、台积电表示 a14 芯片按照原定周期生产、xxx 社说 iphone 12 不会推迟，会携带 5G 芯片
2020-04-01 11:31:52 +08:00 回复了 AlohaV2 创建的主题 问与答 联通有没有什么保号套餐推荐 |
@AlohaV2 网上不能处理的东西，尽量跑柜台实际确认。
2020-04-01 10:43:51 +08:00 回复了 AlohaV2 创建的主题 问与答 联通有没有什么保号套餐推荐 |
小米 5 元月租套餐？
Select Language