这是一个创建于 1311 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在需要从 mysql 多张表组数据到 es 的宽表
然后计划 logstash 分别读取每张表，然后存入 redis ，在 redis 拼接写入 es 。
现在问题在于读到的几张表的顺序可能是乱序的。
所以想问下 logstash 多张表情况下怎么生成宽表到 es 。
 | 1 dabai0806 2022-03-09 12:57:24 +08:00 存到 redis 里面拼接是什么意思 我之前是 mysql 视图查出数据然后同步到 es 中 |
 | 2 awanganddong OP logstash 获取 json 数据，然后存入 redis ，再 redis 进行业务的处理。 视图的话，我了解下 |
 | 3 Geekerstar 2022-03-09 17:01:37 +08:00 直接用 canal 同步就行了 |
| 4 awanganddong OP 这个感觉太复杂了 |
| 5 awanganddong OP 昨天调研了下，准备用 canal 了 计划 canal server => go cosume => redis stream =>es 以上无法保证数据不丢失 增加个 补偿机制 |
Select Language