V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 2088 days ago, the information mentioned may be changed or developed.
用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
 | 1 1018ji Aug 11, 2020 1G 多，啥子需求，告辞 |
 | 2 gz911122 Aug 11, 2020 1 不入库啊 为什么这种东西要入库? 存到对象存储不行么? |
 | 3 summerwar Aug 11, 2020 1G 多的 excel 文件吗 |
 | 4 wakzz Aug 11, 2020 大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。 |
 | 5 lscexpress Aug 11, 2020 没看文档吗 mysql 就不适合大文件存储 |
 | 6 killergun Aug 11, 2020 1G 的 excel 这得有千万行数据了吧 |
 | 7 blackmirror Aug 11, 2020 这不是伪需求吗 |
 | 8 realpg PRO java 开发商业软件的一贯脑回路清奇 |
 | 9 xuanbg Aug 11, 2020 文件存 7 牛什么的，url 入库就行了 |
| 10 xuanbg Aug 11, 2020 或者把数据解析出来批量写入也行，整个文件入库怕是不太行。 |
 | 11 securityCoding Aug 11, 2020 @xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储 |
 | 14 ccxml OP @lscexpress 这里是把大文件转换成表数据入库 |
| 17 ccxml OP @securityCoding 我搜到 loda data 这个命令可以实现我的需求 |
| 18 summerwar Aug 12, 2020 @ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了 |
 | 19 robot1 Aug 12, 2020 果然什么样的工程都有 脑回路清奇算是夸人了 |
 | 21 tibazq929 Aug 12, 2020 用 oracle，lob 性能比文件系统还强 |
 | 22 b2byco Aug 21, 2020 kettle ？ |
Select Language