这是一个创建于 1890 天前的主题，其中的信息可能已经有所发展或是发生改变。
用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
 | 1 1018ji 2020-08-11 15:04:55 +08:00 1G 多，啥子需求，告辞 |
 | 2 gz911122 2020-08-11 15:06:50 +08:00  1 不入库啊 为什么这种东西要入库? 存到对象存储不行么? |
 | 3 summerwar 2020-08-11 15:09:16 +08:00 1G 多的 excel 文件吗 |
 | 4 wakzz 2020-08-11 15:20:42 +08:00 大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。 |
 | 5 lscexpress 2020-08-11 15:56:27 +08:00 没看文档吗 mysql 就不适合大文件存储 |
 | 6 killergun 2020-08-11 16:17:04 +08:00 1G 的 excel 这得有千万行数据了吧 |
 | 7 blackmirror 2020-08-11 17:30:33 +08:00 这不是伪需求吗 |
 | 8 realpg PRO java 开发商业软件的一贯脑回路清奇 |
 | 9 xuanbg 2020-08-11 18:57:05 +08:00 文件存 7 牛什么的，url 入库就行了 |
| 10 xuanbg 2020-08-11 18:59:03 +08:00 或者把数据解析出来批量写入也行，整个文件入库怕是不太行。 |
 | 11 securityCoding 2020-08-11 19:14:27 +08:00 @xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储 |
 | 14 ccxml OP @lscexpress 这里是把大文件转换成表数据入库 |
| 17 ccxml OP @securityCoding 我搜到 loda data 这个命令可以实现我的需求 |
| 18 summerwar 2020-08-12 13:55:27 +08:00 @ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了 |
 | 19 robot1 2020-08-12 16:14:20 +08:00 果然什么样的工程都有 脑回路清奇算是夸人了 |
 | 21 tibazq929 2020-08-12 16:51:56 +08:00 用 oracle，lob 性能比文件系统还强 |
 | 22 b2byco 2020-08-21 17:22:07 +08:00 kettle ？ |
Select Language