这是一个创建于 2885 天前的主题，其中的信息可能已经有所发展或是发生改变。
某业务部门的同事们，生成一亿条数据写入 mysql 数据库，花了好几个小时。
我告诉他 pg 一秒可以写十几万条，并拿出压测数据的时候，他们纷纷表示非常震惊。 这几位程序员，运维的都是工作好些年的，但之前都没听过 pg。/p>
另外一个部门每天要把几亿条数据从 oracle 库用 navcat 搬到 mysql 库（恩，他们也没听过 pg，把最后的 mysql 库作为结果查询库），然后每天要跑 7 个小时。 听说我们大数据很快，就过来问我们怎么加快速度。乱七八糟的叹了一下午，他们想法很多，最后说要加快速度你可以装个 pg 试试。
然后他们在原来的 mysql 集群上，装了个 pg 的主备。在 oracle 生成了几亿条数据。然后分别跑了测试。 mysql 的速度和上面差不多， 但是 pg 呢，开了 10 个并行，原话如下： “ pg 的 copyin 方式，432 秒拷贝 3.68 亿条记录，cpu 最高 62%，磁盘写 io 最高 100MB/s，网络带宽最高 670Mbps。另外，磁盘占用比 mysql 少多了（大概少 50GB ）。”
估计现在他们也会感觉和 pg 相逢恨晚了。
 | 1 congeec 2017-11-21 11:14:48 +08:00 各有优势啊 还是来个 benchmark 比较实在 |
 | 2 gouchaoer 2017-11-21 11:16:51 +08:00  1 二者实现原理上差别不大，性能差别不大，压测： http://blog.csdn.net/liyuming0000/article/details/51240798 |
 | 3 whx20202 2017-11-21 11:26:46 +08:00 2 只有我对 pg 不感冒吗 我之前用的 mysql 用的很爽。 pg 是堆表，不按照主键排序，mysql 的 innodb 是索引组织表，虽然说是各有利弊 实际使用上我用 mysql 更舒服一点 postgresql 那些什么多数据源，gist gin hash 索引我也用不到，还得担心 pg 的多版本并发控制带来的表膨胀 另外 pg 进程模型，写日志却是单进程，连接数很大的时候，慢 SQL 进程争抢管道导致 系统 high load，进而更多的 SQL 变成慢 SQL 需要打日志，然后滚雪球了。。 个人偏好还是 mysql |
 | 4 dawncold 2017-11-21 11:27:31 +08:00 pg 性能并不一定最好，但绝对不会成为你的瓶颈，而且语法异常亲民！ |
 | 5 jy01264313 2017-11-21 11:27:33 +08:00 MySQL 你用的是默认配置吧 |
 | 6 7654 2017-11-21 11:30:44 +08:00 有 oracle 为什么还要上面的 mysql 和 pg |
| 7 whx20202 2017-11-21 11:34:45 +08:00 对了，如果真想搞事情，oracle 也是个好选择，是不是最先进的不好说，起码功能很强大 |
 | 8 est 2017-11-21 11:45:28 +08:00 6 MySQL 你是用 默认配置吧 +1 关索引，关事物，调 innodb 缓存，用 csv 秒灌。 pg 为什么当年玩不过 MySQL ？性能不行。 MySQL 8 的性能太诱人了。实在没法喜欢 pg。 |
 | 9 NeinChn 2017-11-21 11:49:26 +08:00 非常好奇什么叫做用 navcat 搬到 mysql 库..... |
 | 10 az8321550924 2017-11-21 11:57:11 +08:00 MySQL 8 来了 |
 | 11 yangqi 2017-11-21 11:59:03 +08:00 这么明显的软文，呵呵 |
 | 12 cstj0505 OP @jy01264313 第一个部门的 mysql 是阿里云的 RDS，8 核 16G。 第二个他们自己的业务系统的 mysql，具体配置我不清楚，不过 pg 也是在哪 2 个服务器上 |
| OP @whx20202 oracle 当然是个很好的选择，数据源就是 oracle，不过这个试分析系统，不是业务系统，所以采用的开源数据库 |
| 14 cstj0505 OP @gouchaoer 你这个压测里面都是 insert，你试试 jdbc 的 copyin，这个就是 copyin 跑出来的 |
| 17 cstj0505 OP @7654 oracle 是业务库，分析库估计不想买 license 了吧。不过不是一个部门，具体的原因我也不清楚。 |
| 18 yangqi 2017-11-21 12:37:27 +08:00 @cstj0505 呵呵，你会用 mysql 么。按照你的体验如果 pg 真比 mysql 强那么多倍，那么多年都比不过 mysql, 你以为大家都是傻子，有好的不用？不是软文就是你真的不懂 |
 | 19 ren2881971 2017-11-21 12:39:15 +08:00 用 oracle 的瑟瑟发抖。。。 |
 | 20 doubleflower 2017-11-21 12:42:21 +08:00 这算是黑 pg 吗，和 mysql 比什么也不要比性能... |
 | 21 panpanpan 2017-11-21 12:43:52 +08:00 我看到用'''navcat 搬到 mysql 库'''...我就感觉是不是你们的方式不太对 |
 | 23 caotian 2017-11-21 12:51:18 +08:00 呃,工作几年的开发不知道 pg, 有情可原, 运维也不知道? |
| 24 cstj0505 OP @yangqi 懒得泼妇骂街，就问问你啊，几亿条数据，怎么搞到 mysql 里面去，要花多久。 你有好方案我和同事说了告诉他们去 |
| 25 cstj0505 OP @doubleflower 这有什么不能比的，可能某些事物场景下 mysql 有优势，但是大数据量下的并行查询，copyin 的数据写入不是性能吗 |
 | 26 realpg PRO 没过 GRE 不敢用 |
 | 27 glues 2017-11-21 13:48:43 +08:00 PG 现是在公认的最好的开源数据库，MySQL 自从被 Oracle 收购后几乎没啥进步了。 楼上的那些无脑黑估计这辈子只用过单机 MySQL 吧，所以对他们来说用什么数据库是无所谓的 |
 | 28 stabc 2017-11-21 13:52:12 +08:00 虽然数据库的选择方面我也站 PG，但是真要和 MYSQL 对比的话，最好还是公平点，严格点吧。我看你写的内容，无法确定对比的公平性。 |
| 29 cstj0505 OP @stabc 这个确实不是严格的压测，现在他们第一个最大的问题就是把几亿条数据从 oracle 搬到 mysql。mysql 他们去年就开始在客户那边用了，你要说他们会做有多少优化我不知道，但我觉得给几十个客户用了再生产上肯定不会是默认配置吧。还有另一个部门用的阿里云的 RDS8 核 16G。这个项目上几百个 mysql 实例了。 但是就 pg 这样的写入速度，他们在 mysql 上应该是没见过。 描述里面第二个场景服务器资源完全一样，因为在同样两台机器上分别做的测试。 |
| 30 glues 2017-11-21 14:02:11 +08:00 1 肯定又有人说为什么阿里腾讯都用 MySQL，其实他们已经在大规模用了 阿里双十一秒杀背后的技术 https://yq.aliyun.com/articles/64351 微信支付商户系统中运行近 3 年，管理超过 230 个节点和 400T 的数据量，也是全球最大的 PostgreSQL 集群之一 https://www.qcloud.com/community/article/465912 |
 | 31 keymao 2017-11-21 14:03:41 +08:00 不要用 navicat 导出导入脚本。 mysqldump 导出最佳，max_allowed_packet 调大些。 至于 PG， 没用过，不评价。MySQL 的话优点，emmm 免费， 然后？ 你问我然后？ 没了。 |
| 32 stabc 2017-11-21 14:08:47 +08:00 @cstj0505 影响数据写入速度的因素很多，CPU 和内存速度，单个条目数据大小，数据关联程度等。超大量写入的话还要加上硬盘速度。我的建议还是要同样条件的公平对比。 |
 | 33 mazyi PRO 不就导个几亿条数据嘛，工具不会用倒是怪起了数据库？ |
 | 34 Pastsong 2017-11-21 14:16:26 +08:00 MariaDB 呢？ |
| 35 cstj0505 OP @stabc 就是同样的条件。就两台机器，同时装了 mysql 和 pg 的主备。起 mysql 的时候 pg 停掉，pg 的数据清掉。起 pg 的时候 mysql 停掉，mysql 的数据清掉。 数据源都是同样几张来自 oracle 的数据表。 |
 | 37 yushiro 2017-11-21 14:28:40 +08:00 via iPhone @cstj0505 同一数据库的不同导入方式，性能会有巨大差异。以前用 insert 往 mssql 插入数据，那么叫慢啊，后来换用 mssql 的命令行 bcp 导数据，速度快了好几个数量级。 |
 | 39 F281M6Dh8DXpD1g2 2017-11-21 14:33:36 +08:00 大部分工程师连 sql 都不会写，觉得数据库 = mysql ,说这些他们听不懂的 |
| 40 cstj0505 OP @yushiro insert 确实不会太快，不过我本地 pg （ i76700hq，16g，256SSD ）当时开了 4 个线程 insert 到了 7 万 /s.同等情况下 mysql 只有 2 万。 用 pg jdbc 的 copyin 更夸张，13w 行 /s. |
 | 41 sunchen 2017-11-21 14:40:18 +08:00 1 不了解 postgres 的人可以看看这个博客 https://github.com/digoal/blog， 你就会对 postgres 有相见恨晚的感觉了 |
 | 42 wsy2220 2017-11-21 14:40:27 +08:00 搞数据库的不知道 pg? |
 | 43 tyfulcrum 2017-11-21 14:40:42 +08:00 流行程度和好不好没关系，别拿这个来给 MySQL 背书。worse is better。 |
 | 44 torbrowserbridge 2017-11-21 14:42:35 +08:00 via Android 没听过 pg，鬼才信 |
 | 45 tabris17 2017-11-21 14:42:46 +08:00 我也知道 pg 比 mysql 好。但是还是用 mysql。 为什么？ 因为 mysql 用的人多，如果有坑，会有人在你之前去趟平。。。 |
| 46 stabc 2017-11-21 14:43:27 +08:00 @cstj0505 所以，你的意思是同样配置同样数据，MYSQL 100 个并行，PG 10 个并行，结果是 MYSQL 几个小时（我们就当超过 2 个小时），PG 只要 7 分钟。 那么我认为你还是忽略了某些很重要的因素，因为单纯数据库的性能不可能差距这么大。 |
| 47 cstj0505 OP @wsy2220 比别说，听过就算不错了。我旁边十几年的 oracle dba，维护者上百个 oracle 实例，完全没听过。 其他人也都是开始给他们用了才知道的 |
 | 48 buliugu 2017-11-21 14:44:34 +08:00 推荐神奇的 https://github.com/dmtolpeko/sqlines，目前见过性能最好的 sql 数据迁移工具 |
 | 50 picone 2017-11-21 14:45:33 +08:00 @glues #30 这已经是 16 年的文章了。阿里早就放弃开源数据库，NoSQL 或者 Oracle 系了，自己弄了个 OceanBase，而且逐步取代原有的数据库。今年双 11 支付宝完全是跑在 OceanBase 了。 |
| 52 picone 2017-11-21 14:48:54 +08:00 MySQL 的配置太多，它默认的配置只是比较保守的配置。 如果真要大批量导入数据，可以试试 disable key 了再导入，飞一般的体验。 |
| 55 stabc 2017-11-21 14:56:31 +08:00 @cstj0505 不是默认配置不代表是最优配置。你问问他们写入瓶颈在哪里看他们是否清楚就能猜到一二了。 PG 是以“稳固、先进”著称的，如果谁问我选什么数据库我会优先推荐 PG，但是如果单纯问哪个数据库更快我还是会说 MySQL。 |
| 56 cstj0505 OP @picone 有试过，之前建议他们关闭索引，有改善但不明显。 都有索引(他们索引比较多，貌似 60 还是 100 来个)的情况下，mysql 写入一分钟只有 3 万行 /s，pg 是 387 万行 /s |
| 57 cstj0505 OP @stabc 是不是最优配置我就不清楚了，那个环境我也没登上去过。pg 的配置也只是从开发环境拷过去的一个配置，当时应该是按照 8 核 16GB 来配的。 他们这个场景应该是个 olap 的场景，在这方面，pg 的优化器更先进，数据吞吐量更大，查询可以并行执行的特点其实更适合他们 |
 | 58 thecon 2017-11-21 15:14:59 +08:00 几亿条数据用 navcat 导入..., 我也是醉了 |
 | 59 Hozzz 2017-11-21 16:00:39 +08:00 oracle 不是随便用？被查到最多买几套意思下继续用... |
 | 60 leopardwei 2017-11-21 16:07:21 +08:00 不想说哪个好哪个差，用最熟悉最合适的就好，都有一堆的解决方法 |
| 61 cstj0505 OP 又问了下，pg 的 4 多秒的时候是带索引的写入，一共有 100 个索引。 |
 | 62 crazyneo 2017-11-21 16:23:59 +08:00 说都说不到点子上，一般吹 pg 比 mysql 好都是要吹流复制、并行读写、pgxz/gpdb 的事务管理，还有就是更完整的软件生态比如 cuda/ml 接口库，比如多应用类型支持，比如扩展数据源接口等等等等，有时候还会吹一吹查询优化器的遗传算法+动态规划。你这个例子里 pg 支持的列存引擎是速度差异的最重要因素，估计你光看结果都不知道为啥…… 只做应用和运维的话，最好不要贬低一个抬高另一个。 |
 | 63 assad 2017-11-21 16:51:03 +08:00 还是喜欢 Mysql，坑大家都踩的差不多了。好解决 |
 | 64 sunsh2017 2017-11-21 17:11:24 +08:00 我用 pg 的原因是，它支持的数据类型比较多，array,jsonb 数据类型，都很不错。 |
| 65 cstj0505 OP @crazyneo 你哪里看到我用了列存？还是你自己脑补的，“估计你光看结果都不知道我说了什么吧” 你列的那些需要吹吗，用过的人自然懂，没用过的你和他说他也不知道。基本的 copyin 你看有几个人知道 |
 | 66 XIVN1987 2017-11-21 17:24:53 +08:00 好奇，，为什么快那么多？？原因是啥？ 按说都是一个时代的东西，不可能 PG 有什么高科技技术 MySQL 开发人员不会啊！ |
 | 67 acczefly 2017-11-21 18:18:55 +08:00 一个级别的东西，没必要鼓吹某一个。。。 pg 要真能这么好大家早就全切换 pg 了 |
| 68 crazyneo 2017-11-21 18:21:36 +08:00 @cstj0505 什么，你用 pg 做 olap 不用列存…… copyin 这是客户端的水果糖而已，字节流而已，实际上就是命令行的 copy，mysql 对应的是 csv load data，你先查查这二者的对比再来说…… 你抬 pg 我不知道啥基本想法，德哥给 pg 打过多少年广告了，从来没有什么拿 copyin 来作为切入点的。顺便给德哥打个广告，https://github.com/digoal/ 算是国内 pg 业界内资深大佬吧。 |
| 69 cstj0505 OP @crazyneo 谁告诉你 olap 就必须用列存的。再说列存也不是 pg 原生支持的，pg 的优化器并没有为列存专门做优化，列存相比原生的堆处理能有多大优势。你自己脑补的够多的。 话说 pg 好用我还不能抬 pg 了？什么时候自己的嘴要账在别人身上。至于为什么说 copyin，只是恰好别人跑压测测到这个环节而已。批量导入确实谁都有，在你眼里 copyin 就是命令行的 copy 命令，那是你没玩好，copyin 在实时数据导入，流处理方面好处多了去。 德哥为 pg 做的贡献搞 pg 的谁不知道。 |
 | 70 crabRunning 2017-11-21 19:08:22 +08:00 还在用 5.5 各位大佬都用 8 了 |
 | 71 cjyang1128 2017-11-21 19:13:58 +08:00 特别不习惯 pg 命令行那些反斜杠开头的命令 |
 | 72 notreami 2017-11-21 19:41:27 +08:00 pg 多少钱，我 oracle 买了！！！ |
 | 74 frittle 2017-11-21 19:57:17 +08:00 没用过 postgresql 不奇怪，但没听说过就太孤陋寡闻了吧？ |
 | 75 owenliang 2017-11-21 20:00:01 +08:00 看过 instgram 用 pg 做图片服务器，前面加一层 http cache。 |
 | 76 sfqtsh 2017-11-21 20:00:55 +08:00 via Android pg 的文档写的非常好 |
| 77 cstj0505 OP @est 列存我知道好，不过 pg 优化器没有专门为列存做优化，我看一些评测下面 pg 下列存的效果不明显。 |
| 78 sunchen 2017-11-21 21:47:32 +08:00 @est 生产环境 postgres + vertica + s3 + kafka 一套看上去很简单的组件, 但是干啥都是美滋滋 |
 | 80 azh7138m 2017-11-22 02:01:59 +08:00 via Android @panpanpan 一般用 navicat 迁移的，都是不建索引的主，性能慢其实也可以理解了:) |
 | 81 kn007 2017-11-22 07:47:24 +08:00 via Android 呵呵 |
| 82 cstj0505 OP @yangqi 你内行，几亿条数据你 7 分钟从 oralce 搞进 8 核 16g io100 左右的机器上的 mysql 我就服你，有本事别只会打嘴炮啊 |
| 83 cstj0505 OP @azh7138m 后来直接用 java 写了代码开了 10 个线程写，也就 30000 条一分钟 |
| 85 azh7138m 2017-11-22 08:49:51 +08:00 via Android @cstj0505 MySQL 性能没这么不堪，姿势不对而已， 光说数据量没啥意思啊，load file 导入 20+G 数据，7.5kw 条，DO 的小 VPS 也就用了 30 分钟 |
| 86 cstj0505 OP @azh7138m load file 当然快啊，但是 load file 要先把数据从 oracle 里面写出来落地吧，再 load 到 mysql。不知道您这个数据多少索引，他们是几十张表，一共上面有 100 个索引 |
 | 87 DavidGao 2017-11-22 09:01:52 +08:00 目前使用 PG 9.5，准备紧跟时代步伐使用 PG 10 |
 | 88 hjlmjx 2017-11-22 09:05:39 +08:00 via Android 呵呵，呵呵，呵呵呵 |
 | 89 leeg810312 2017-11-22 09:07:44 +08:00 via Android 在 lz 的环境中 pg 性能好就符合 lz 的观点了，认为 lz 不对的，lz 放点模拟数据出来，让楼上试试 mysql，有更好的方案也好让大家学习，也可以证明 mysql 的性能，这样互相嘴炮有啥意思？ |
 | 90 kindjeff 2017-11-22 09:10:51 +08:00 via iPhone 为啥我用 mysql5.6 load data 四百万条数据才几十秒钟。 |
| 91 cstj0505 OP @kindjeff 这种导出到文件的，每个数据库都快。 我们同事是数据在 oracle 里面，不在文件里面。如果导文件每天要倒一次还要比较记录条数，控制数据格式，重建索引，如果把这个做成一套逻辑的话就比较麻烦了 |
 | 92 zacard 2017-11-22 09:23:09 +08:00 围观数据库大佬的解决方案 |
 | 93 sagaxu 2017-11-22 09:23:43 +08:00 via Android copyin 和 insert 原理不同，你应该分别尝试下 mysqldump 的几种不同体位 |
| 95 cstj0505 OP @sagaxu 他们数据源在 oracle 里面，不好用 mysqldump 吧 实际业务场景就是 oracle 与文物库里面的数据，每天算好报表以后同步到 mysql。大概几十张表，100 个索引，数据量 40 多 G。 |
| 96 cstj0505 OP @azh7138m navcat 是现在在生产上跑的。 然后这次测试他们有分别用过 kettle/和手写 java 程序 先导数据，再建索引；索引存在的时候导数据。测下来 10000 条 /30s 左右就没测了。数据落地的方案肯定要快些，但是流程控制比较长，他们也没人专门维护这个，所以不愿意选择 |
 | 97 janxin 2017-11-22 09:36:49 +08:00 MySQL 优点，用的人多，当然坑也多，好歹搜索能找到答案=，= |
 | 98 kiddult 2017-11-22 09:51:10 +08:00 看楼主描述大概能猜出同事的水平了，一个事情如果两种方式做，能有数量级的差距，基本是方式问题，不过具体到工具上，楼主真的觉得 MySQL 的开发人员智商会比 PG 的低一个数量级？我是不信 O(∩_∩)O |
 | 99 cloudzhou 2017-11-22 10:06:48 +08:00 这个事情我刚好测试过，分别是： 1 单个插入 2 批量插入 3 批量 + 事务 4 Load File 并且 Sql vs PrepareStatement，不同的批量个数，并发等 几种方式比较，时间数量级别的差距 所以这个本身你们就是要考虑的，需要仔细调优 |
 | 100 robinlovemaggie 2017-11-22 10:42:33 +08:00 用 NoSQL 的表示笑而不语，你们接着吵…… |
Select Language