
navicat 数据传输 /导出 sql 等功能,跑单表都内存溢出。
dbeaver 也一样直接卡主。
oracle 数据库表设计还很坑爹地用了浮点型做主键,然后利用序列自增
自动化迁移 mysql 之后还要修改字段为整才能改自增
1 threegrandfather 2020-05-27 11:21:02 +08:00 你在想什么呢? oracle 迁移 mysql 。你自己找开发一起核对吧。慢慢的过每一个表每一个字段吧。 |
2 duwan 2020-05-27 11:21:17 +08:00 用 datax 啊,https://github.com/alibaba/DataX 迁移过近百 T 的数据 |
3 dorothyREN 2020-05-27 11:21:53 +08:00 内存溢出 怕不是用的 32 位的 navicat 吧 |
4 FONG2 OP @threegrandfather 我就是开发。。。小组没 dba 。。。字段倒是没问题,问题是数据怎么导出来导进去?我现在随便导一个大表 电脑都内存溢出。。。 |
5 FONG2 OP @dorothyREN 16G 内存+12G 虚拟内存 跑不赢 13g 单表 直接报内存不足 卡死 |
6 wuwukai007 2020-05-27 11:22:56 +08:00 via Android oracle 里面的函数触发器怎么办 |
8 ohao 2020-05-27 11:23:09 +08:00 2 楼正解,不行让阿里的工程师协助,先迁到阿里云,在迁移到自己的物理机 |
11 liqingcan 2020-05-27 11:28:02 +08:00 换数据库成本太大了吧。 |
12 fixend 2020-05-27 11:30:26 +08:00 我当年是自己写程序,查出数据,再批量插入的,还好表不多,只是数据量大。 70 、80G,转了我一天一夜。 |
13 abcbuzhiming 2020-05-27 12:04:39 +08:00 这种如果没有工具的话。只能自己写程序,上游标,一行行的读然后转,然后插入 |
15 levelworm 2020-05-27 12:07:49 +08:00 via Android 好奇一把,自己写 python 一点点挪动行不行?不过问题是怎么确认没漏没重呐? |
16 levelworm 2020-05-27 12:09:38 +08:00 via Android 又想了一下,按照天来拆和写程序挪怎么样? |
17 wangyzj 2020-05-27 12:13:25 +08:00 datax 这类工具慢慢搞把 没什么特别好的办法 存储过程啥的估计还得单独想办法 |
20 cstj0505 2020-05-27 12:27:23 +08:00 via Android 分两部分,表结构迁移,这部分如果没工具就导出慢慢改,确保逻辑一致。 导数据,很多工具都行 |
21 ant2017 2020-05-27 12:31:42 +08:00 via Android kettle 可以吧 |
22 MintZX 2020-05-27 12:31:48 +08:00 via iPhone 几百 G 也不是很多,csv 分页弄呗 |
23 fewok 2020-05-27 12:43:53 +08:00 就说停机不??? |
24 1cming 2020-05-27 12:50:57 +08:00 DATAX 好评加一 迁移过上亿数据 |
25 xichen 2020-05-27 12:51:44 +08:00 试试 azure datafactory ? |
26 soulzz 2020-05-27 12:57:20 +08:00 虽然我用的 mongoDb,但也应该差不多。之前我遇到的情况是迁移 2000 万记录的单表,整体查出来肯定爆内存, 用游标十几分钟就能全表迁移走 |
27 dog82 2020-05-27 13:00:22 +08:00 分步骤做,先迁移数据字典和数据量小的表。 大表写脚本或代码迁移,一般系统里的大表不会太多。 |
28 robinlovemaggie 2020-05-27 13:12:27 +08:00 疫情的无情都比不上 Oracle 业界毒瘤的绝情(降个价会死人吗?) |
29 hantsy 2020-05-27 13:13:07 +08:00 如果用了大量专有的数据库特性( Function,Procedure 等),任何自动迁移工具都是没用的。 以前迁移一个遗留系统,200G 的数据库,从 Borland Firebird 到 MySQL,基本是手写一个程序来跑的,当然为了适应新的程序,新的数据库 Schemas 是改动不少,数据库脚本不可能完成。 |
30 lithiumii 2020-05-27 13:14:55 +08:00 via Android 又不要 etl,这不是两个 for 循环的事儿吗? |
31 leqoqo 2020-05-27 13:17:05 +08:00 1,更换更牛的硬件或者优化数据库导出配置. 2,单表测试一次导出多少数据不会 gg,写程序生成这样的 sql 脚本,找一个你能接受的时间 ... offset 0 limit 1000000; ... offset 100000 limit 100000; 3,创建 mysql 数据库,写建库表脚本, 4,用程序合并表的导出的这些文本文件为一个文件. 5,用程序生成 mysql load file 脚本, disable 表索引 6,enable 索引, 以上操作注意留够足够的硬盘空间. |
32 weizhen199 2020-05-27 13:26:47 +08:00 DB 在 SSD 上 随便写个程序 select insert 跑满 1000M 网卡应该都不是问题吧 |
33 aladdindingding 2020-05-27 13:37:57 +08:00 python 的生成器 |
34 podel 2020-05-27 13:40:11 +08:00 阿里云有一个 叫做 DTS 的数据传输服务,可以支持不同数据库之间传输。 |
35 Marstin 2020-05-27 13:44:38 +08:00 导出 sql 是什么鬼,不是导 dmp 吗 |
36 ctOS1H 2020-05-27 14:06:48 +08:00 datax 可以 |
37 tiiis 2020-05-27 14:34:17 +08:00 1.datax |
38 passerbytiny 2020-05-27 14:36:06 +08:00 via Android 你这不是迁移,是数据割接,光靠数据库的工具是很难成功的。 |
39 angeltop 2020-05-27 14:48:42 +08:00 阿里云 DTS 吧,上云后再传下来也行 |
40 weifuqiao1989 2020-05-27 15:09:27 +08:00 说下我用的比较多的工具 kettle 这样的 etl 工具 适用表不多的情况 比较好用,msdts 也能用 ESF Database Migration Toolkit - Professional 这个比较简单 |
41 admin7785 2020-05-27 15:48:33 +08:00 kettle 可以试一下 |
42 xsm1890 2020-05-27 15:56:24 +08:00 去 IOE 不是这么去的啊。我是不会建议这么做的。直接把数据迁移到 MySQL 不是问题,问题是业务怎么兼容,毕竟业务第一。如果是生产环境,真的不建议直接迁过去,后面会留下很大的坑的。Oracle 随便几个存储过程就可能让你到了 MySQL 后重构代码。好的去 ioe 做法是,慢慢的把业务一个一个外迁,同时保证两份数据,所有项目迁完后,再把 Oracle 去掉。业务第一。 |
43 FONG2 OP |
44 Hilalum 2020-05-27 17:12:20 +08:00 想起我实习的时候干过这活哈哈哈哈 |
45 wanguorui123 2020-05-27 17:15:45 +08:00 MySQL 的性能顶不住吧 |
46 LightLolo 2020-05-27 17:31:52 +08:00 kettle +1 |
47 xjmroot 2020-05-27 17:45:17 +08:00 用过 kettle 做 mysql 到 postgres 的迁移,还不错 |
48 ncwtf 2020-05-27 18:03:18 +08:00 streamsets 也行吧 |
54 miao1007 2020-05-27 23:01:32 +08:00 via iPhone 现在主流都用 postgres 了,mysql 好多标准抖不支持,半残一样 |
55 x2ve 2020-05-27 23:13:06 +08:00 via iPhone kettle 和 datax 都用过 没啥区别 都满足楼主的需求 |
56 Ravenddd 2020-05-27 23:31:20 +08:00 via Android 之前也碰过 oracle 迁移 mysql 的情况,是写程序一个一个字段同步,主从库类似,差不多同步完数据时候,实时同步+业务代码迁移,真的蛋疼 |
58 angeltop 2020-05-28 09:34:09 +08:00 用 Mysql 8.0 MGR 多主多写吧,前端提交代码改改,写需要稍微控制一下。 |
59 Yinnfeng 2020-05-28 09:55:34 +08:00 datax + 1 |
60 Oysmart 2020-06-04 16:38:49 +08:00 |