river - 高性能数据迁移工具

Github: https://github.com/cc-morning/river

不吝给个 star ！

特性

• 高性能，基于流的形式迁移数据
• 支持多种文件以及多种数据库之间互相迁移
• 支持 Lua （兼容 jit 及协程，并且支持 ffi ）脚本实现高自定义性操作

使用教程

整个迁移流程就像一条河流

 // 直接迁移 From Stream -> To Stream | | e.g: Oracle e.g: PostgreSQL Lua 脚本 // Lua 脚本迁移 / From Stream -> Filter Stream -> To Stream | | e.g: Oracle | JSON | CSV e.g: MySQL | ES | PostgreSQL 

支持的类型

From：CSV ，JSON ，MySQL ，Oracle ，PostgreSQL

To：Elasticsearch ，MySQL ，Oracle ，PostgreSQL

示例

config.toml

[task1] thread = 2 # 任务协程运行时的调度线程数 filter = "type_conver.lua" # Lua 脚本 [task1.from.csv] path = [ "/xxx/xxx/test1.csv", "/xxx/xxx/test2.csv" ] delimiter = "," # 分隔符 flexible = true # 忽略错位 quoting = true # 支持引号 double_quote = true # 引号转义 [task1.to.postgresql] url = "postgresql://test:[email protected]/test" table = "test" fixnul = true # 修复 0x00 [task2.from.json] path = [ "/xxx/xxx/test1.json", "/xxx/xxx/test2.json" ] columns = "id,name,sex,age" parallel = 10240 # 格式化，提取指定 key 行为并行度 [task2.to.mysql] url = "mysql://test:[email protected]/test" table = "test" 

多个任务会多线程同时执行。

运行命令

# // 不打印日志执行 # river config.toml # # // 打印日志执行（日志级别：error ，warn ，info ，debug ，trace ） # LOG=info river config.toml