这是一个创建于 1572 天前的主题，其中的信息可能已经有所发展或是发生改变。
看了官方文档，官方文档提成反规范化设计，并且提供了 4 种方式，最简单不影响性能的就是把有关系的数据掰成扁平化，目前我们系统做了一个自定义字段，考虑数据量大而且前端要做复杂筛选条件，上了 es，存数据时同时操作了 es 和 mysql，查询全部采用 es
插入的时候把自定义和系统字段全部掰成了一份文档储存，那么字段数据更新的时候该怎么办呢，或者有什么更雅的方案嘛，有做个的大佬麻烦给点意见，第一次使用 es
 | 1 theOneMe 2021-09-10 11:40:02 +08:00 binlog |
 | 3 kidlj 2021-09-10 12:15:01 +08:00 via iPhone cdc debezium kafka |
 | 4 strawberryBug 2021-09-10 12:48:38 +08:00 看你 es 和 mysql 存储的数据结构是否一致？ es 不好做 join 查询，多表写入一个索引这种需求的话还是选用传统的方式更好扩展些，即推送更新到 mq，消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种，canal，logstash 都行 |
 | 5 jabari 2021-09-10 12:54:29 +08:00 Change Data Capture (CDC) canal kafka |
 | 6 gBurnX 2021-09-10 13:18:04 +08:00 你都没说你的业务需求，一上来就问怎么用工具？ |
 | 7 misaka19000 2021-09-10 13:50:06 +08:00 这不简单，插入和更新都走同一套数据格式处理逻辑不就行了 |
 | 8 ElmerZhang 2021-09-10 13:57:51 +08:00 https://github.com/alibaba/canal 要保证数据一致性，这基本是最优解 |
 | 9 swcat 2021-09-10 14:31:12 +08:00 go-mysql-transfer -> 使用 lua 写同步逻辑 |
 | 10 wangxin13g 2021-09-10 17:41:05 +08:00 想说 canal 的 然后看了下发现有人发了 |
 | 11 changdy 2021-09-10 19:18:45 +08:00 debezium |
 | 12 WriteCloser 2021-09-11 01:52:29 +08:00  1 1. 阿里云 DTS 订阅 binlog 同步 2. 实时性要求不高并且数据量不大可以每天跑下全量 |
Select Language