MySQL 怎么快速全量同步到新的数据库中? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
zealinux
V2EX    MySQL

MySQL 怎么快速全量同步到新的数据库中?

  •  
  •   zealinux 2019-10-18 14:33:23 +08:00 8943 次点击
    这是一个创建于 2190 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在使用传统的方式来将一个 DB 同步到另一个新的 DB 中,

    导出:mysqldump, 导入:mysql source <sql_file> 

    由于 DB 比较大( 30GB ),无论导出,还是导入,都相当慢。

    有没有其他更好的方式来做这个工作?


    不同的云平台的 RDS,MySQL 5.7

    18 条回复    2019-10-22 10:21:10 +08:00
    airfling
        1
    airfling  
       2019-10-18 14:37:58 +08:00
    物理 copy 到移动硬盘,然后转移到新的机器上
    airfling
        2
    airfling  
       2019-10-18 14:38:27 +08:00
    30g 你只能找服务商了
    rykinia
        3
    rykinia  
       2019-10-18 14:49:29 +08:00
    30g 而已,dump 下来压缩下,用一晚拖下来,再用一晚传到新服务器上
    ADME
        4
    ADME  
       2019-10-18 14:57:17 +08:00
    用工具直接同步过去呗,不过 30g 不知道能不能行
    ys521
        5
    ys521  
       2019-10-18 14:59:50 +08:00
    我都是物理操作 捂脸
    xmlf
        6
    xmlf  
       2019-10-18 15:01:42 +08:00 via Android
    同问,楼主是问快速同步::
    PainSwim
        7
    PainSwim  
       2019-10-18 15:04:27 +08:00
    我司是使用 Kettle 工具的。方便,效率还行,同步差不多有每秒 1000 条数据。
    yzongyue
        8
    yzongyue  
       2019-10-18 15:12:56 +08:00
    用云平台提供的数据迁移工具? 不知道速度如何
    clearCode0915
        9
    clearCode0915  
       2019-10-18 15:14:55 +08:00
    不知道 Percona Toolkit 能不能满足你的需求
    Myth666
        10
    Myth666  
       2019-10-18 15:15:52 +08:00
    rsync 把这个文件夹同步到 新的机器上去
    zealinux
        11
    zealinux  
    OP
       2019-10-18 15:19:43 +08:00
    @PainSwim
    你 Kettle 是不是可以能跑在无 GUI 的 server 上,
    如果启动 Kettle 在本地开发机器上的话,估计会更慢的吧。

    ---
    我 Mac 上还没有启动成功过 Kettle 这个传说过的 ETL 工具。
    reddean666
        12
    reddean666  
       2019-10-18 15:20:22 +08:00
    写程序导? 按时间或 id 将数据分割成小块,再分治?
    zealinux
        13
    zealinux  
    OP
       2019-10-18 15:21:42 +08:00
    @Myth666 云平台上 RDS 是不会让你访问到真正的文件夹的。
    dcsite
        14
    dcsite  
       2019-10-18 15:56:23 +08:00
    阿里云 RDS 数据迁移,全自动,省心
    neko77
        15
    neko77  
       2019-10-18 15:59:31 +08:00
    阿里云 dts 服务 或者 datax 自己撸配置文件
    ackermanHu
        16
    ackermanHu  
       2019-10-18 17:32:55 +08:00
    datax
    CivAx
        17
    CivAx  
       2019-10-18 19:57:13 +08:00
    * 先用 innobackupex 全量打包

    * 然后再用 innobackupex 全量恢复
    我们 71 GB 的数据,打包后约 12 GB。下载备份 6 分钟,解包 10 分钟,回拷 16 分钟,半小时左右数据库恢复完。

    如果你是阿里云的 RDS,那就直接下载备份包。

    如果不是的话,那就先下载到 RDS 所在的云服务商的内网的服务器,然后再用 lz4 配 tar 光速拉下来,带宽直接跑满。
    mattx
        18
    mattx  
       2019-10-22 10:21:10 +08:00
    如果 mysql 版本相同的话,可以用 xtrabackup 进行物理备份
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5408 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 08:47 PVG 16:47 LAX 01:47 JFK 04:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86