这是一个创建于 1277 天前的主题，其中的信息可能已经有所发展或是发生改变。
由于我是半路接受 es 的开发工作,对整体的技术工具方案都不是很了解.
接手半年发现自己一直在做 ETL 相关的工作.
现有的方案是 :
1.接受数据变更 MQ 消息
2.去 MySql 查询业务数据组装成 JSON
3.合并更新 MongoDB 中..
4.跑批更新到 ES 中(一个比较复杂的树形结构)
现有的问题 :
1.跑批任务经常卡死,不可靠
2.业务变动,总是需要我去开发 java 代码
我寻思 ES 这块应该有工具的,所以我去查了一下 Kettle 应该符合我的要求.
设想是跑批任务定时拉去 Mysql 拉去业务表的变动,然后通过一系列的转换流程补充成完整的业务 JSON(多张数据表组装成 JSON),在更新到 es 中(省了 MongoDB 这步)
询问了下我们公司的数仓同事,他们也在用阿里云的 DataWorks 工具.我研究了下发现这个工具只能做简单的同步数据映射,达到我设想的多张表聚合成一个 JSON 貌似要使用 EMR 引擎,我对这块特别不熟悉.完全没有头绪感觉 EMR(我理解为大数据相关的工具)学习成本太高了..
总结一下想了解的问题:
1.如果有其他方案,请不吝赐教
2.麻烦帮我权衡一下使用 Kettle 还是 DataWorks(二个都不会用,不是很想学大数据相关的技术 纯门外汉)
考虑 DataWorks 的原因是我们公司喜欢上云服务,减轻运维压力
接手半年发现自己一直在做 ETL 相关的工作.
现有的方案是 :
1.接受数据变更 MQ 消息
2.去 MySql 查询业务数据组装成 JSON
3.合并更新 MongoDB 中..
4.跑批更新到 ES 中(一个比较复杂的树形结构)
现有的问题 :
1.跑批任务经常卡死,不可靠
2.业务变动,总是需要我去开发 java 代码
我寻思 ES 这块应该有工具的,所以我去查了一下 Kettle 应该符合我的要求.
设想是跑批任务定时拉去 Mysql 拉去业务表的变动,然后通过一系列的转换流程补充成完整的业务 JSON(多张数据表组装成 JSON),在更新到 es 中(省了 MongoDB 这步)
询问了下我们公司的数仓同事,他们也在用阿里云的 DataWorks 工具.我研究了下发现这个工具只能做简单的同步数据映射,达到我设想的多张表聚合成一个 JSON 貌似要使用 EMR 引擎,我对这块特别不熟悉.完全没有头绪感觉 EMR(我理解为大数据相关的工具)学习成本太高了..
总结一下想了解的问题:
1.如果有其他方案,请不吝赐教
2.麻烦帮我权衡一下使用 Kettle 还是 DataWorks(二个都不会用,不是很想学大数据相关的技术 纯门外汉)
考虑 DataWorks 的原因是我们公司喜欢上云服务,减轻运维压力
16 条回复 2022-07-01 16:57:29 +08:00
 | 1 ericguo 2022-06-30 14:44:04 +08:00 写代码，比如 python 脚本可以替代这里的绝大多数方案，并且技能更通用，更灵活。 不高兴写代码 Kettle （我们在用）应该还是比阿里的靠谱点，如果用 Kettle 卡死，多半是内存不够，给够会好一点，和 ES 当然肯定也得分机器跑。 |
 | 2 yeyang5211 OP @ericguo 感谢回复, 如果行业解决方案是 Kettle 我也想学(私心想学更通用的行业方案) |
| 3 ericguo 2022-06-30 14:51:41 +08:00 @yeyang5211 更通用的是 python ，Pandas/Matplotlib 那套，而且写代码你适应了真心不高兴拖拉界面，因为拖拉界面每次都要重新搞，又看不到历史改动。 |
 | 4 Mithril 2022-06-30 14:55:18 +08:00 MongoDB 的结构如果和 ES 一样的话，直接同步更新进去就行 自己写代码的话有 ChangeStream 不想写代码也可以找个第三方组件自动更新进去 更新是实时的，不需要定期跑任务 |
 | 5 EastLord 2022-06-30 14:55:37 +08:00 了解一下 debezium ，看看是否满足需求 |
| 6 yeyang5211 OP @ericguo 好的, 我们公司的开发语言是 java(现在也是 java 来处理 etl),我个人理解 python 好像差不多. 麻烦能指点下 python 来处理数据合并有什么优势吗. |
| 7 yeyang5211 OP |
 | 8 litchinn 2022-06-30 15:21:51 +08:00 想顺便问问 streamsets dc 咋样，我使用起来感觉还行呀，很少看到人用呢 |
| 9 ericguo 2022-06-30 15:23:23 +08:00 @yeyang5211 没啥优势，硬要说有的话，数据处理这块用 python 的多一点。 |
 | 10 HanMeiM 2022-06-30 16:39:56 +08:00 我们是用的 flink |
 | 11 lixen9 2022-06-30 17:16:07 +08:00 kafka connect 应该也能满足 |
| 12 yeyang5211 OP |
| 13 yeyang5211 OP @litchinn 刚刚去看了下 社区版的部署还要授权.. 服务还要被监控 功能倒是很齐全 |
 | 14 wdmcode 2022-06-30 18:09:28 +08:00 Flink 可以写 Flink SQL 直接同步到 ES ，Flink CDC 可以捕获 MySQL 中的变更数据同步到 ES |
 | 15 kkadmin 2022-07-01 09:48:08 +08:00 elasticsearch-datatran ，不知道这个可不可以帮到你 |
| 16 yeyang5211 OP @wdmcode 最后选定是 Flink 来做, 因为领导力推 让我去学.. 不过 es 我也是半路出家,带薪学习大数据相关技术也好. 以后还能互相成就. |
Select Language