MySQL 5.5 Community Server MySQL 5.6 Community Server Percona Configuration Wizard XtraBackup 搭建主从复制 Great Sites on MySQL Percona MySQL Performance Blog Severalnines 推荐管理工具 Sequel Pro phpMyAdmin 推荐书目 MySQL Cookbook
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html 
这是一个创建于 2860 天前的主题，其中的信息可能已经有所发展或是发生改变。
表中有两个唯一索引；
使用 php 对一个数据表进行批量插入时，开始插入 1w 条数据只要 2s,插入 50w 条数据过后，再次插入 1w 条数据需要 18s ；
sql 使用的是拼接方式，3000 条数据拼接成一条 sql 执行；
这种问题如何解决？
 | 1 yidinghe 2018-02-26 11:54:08 +08:00 首先拼接 SQL 执行并不是真正的批量插入，最好使用标准的批量插入方式；其次，表的索引要尽可能的少，索引越多插入效率越低。 |
 | 2 realpg PRO igonre delayed 循环插吧 不用拼接成一个 |
 | 3 msg7086 2018-02-26 12:55:13 +08:00 禁用索引，换 SSD。 |
 | 4 alvinbone88 2018-02-26 12:58:13 +08:00  1 |
 | 5 akira 2018-02-26 13:02:08 +08:00 把索引删了，数据导完以后再加回来 |
 | 6 male110 2018-02-26 13:29:47 +08:00 把索引删了，数据导完以后再加回来 |
 | 7 lastpass 2018-02-26 13:56:52 +08:00 可以试着先插入到一个空的中间表，再复制到的需要插入的表里。我原来在 oracle 上实验过这种方式最快。MySQL 应该也是同理。 |
 | 8 lianxiaoyi 2018-02-26 14:11:00 +08:00 最简单的你可以试试 1 万个一条 SQL。降低内部刷 IO |
 | 9 est 2018-02-26 14:15:30 +08:00 把 @alvinbone88 那篇文章一定挨个看完。绝对不会慢。 |
 | 10 fakepoet 2018-02-26 14:15:57 +08:00 mysql 的单表 IO 放大问题，如果数据量百万级接近千万，建议分表。 |
 | 12 madaima OP @alvinbone88 谢谢，我测试了一下 1000 条数据批量插入时，临时关索引 所消耗的时间基本是 不关索引插入 的一半，但是批量插入 1 万条时 两个方法都超过 30s 了。我在仔细看看文档。 |
| 13 madaima OP 谢谢 各位朋友的指导 我就不一个个 @了 |
| 15 madaima OP @lianxiaoyi 1 万条数据拼接成的 sql 字符串长度会超过 mysql 限制的 65535 个字符长度，虽然能修改配置，但是不方便。 |
 | 16 beginor 2018-02-26 18:42:41 +08:00 via Android 分表会增加不少逻辑，如果能做表分区的话最好了 |
 | 17 runntuu 2018-02-26 19:08:56 +08:00 via iPhone 1 看一下执行时间都花在哪了， https://www.cnblogs.com/happySmily/p/5943311.html |
 | 18 opengps 2018-02-26 23:47:55 +08:00 via Android 看下你的聚集索引是什么字段，尽量采用时间等字段当聚集索引，这样追加数据物理上是尾部追加，而不是中间填充。数据量大了相差很明显，我曾做过实验，10 亿都没问题 |
Select Language