
压缩包大小大概在 1G 左右,里面是非常多的小文件,大概平均 6 KB 左右。
压缩使用的 zip ,方式是 store ,解压时间超过 19h 。
有没有什么方式 /工具可以提高解压速度?
1 ClarkAbe 2022 年 8 月 31 日 via Android 用代码写个 reader.....然后多线程写入......或者加个通道.....先把大部分读到内存然后等慢得要死的 IO 写完...... |
2 keepeye 2022 年 8 月 31 日 磁盘瓶颈? |
3 hccsoul 2022 年 8 月 31 日 之前在 fitgril 下载的东西,解压安装时候电脑卡卡的,一看把 32g 占满了,cpu20 个框框都满了,不知道怎么做到的 |
7 imouto 2022 年 8 月 31 日 ramdisk |
8 oldshensheep 2022 年 8 月 31 日 1.用高速 nvme 硬盘 2.关闭杀毒软件 另一种方法不解压,因为 zip 没有固实压缩,所以可以直接读取想要的文件而不解压。 |
9 lingex 2022 年 8 月 31 日 via Android 现在用什么工具? Bandizip 解压支持多线程。不过你这个估计是 IO 问题比较大。 |
10 GOOD21 2022 年 8 月 31 日 pigz |
11 imzcg2 2022 年 8 月 31 日 用内存盘 |
12 eason1874 2022 年 8 月 31 日 解压到内存 +1 解压到内存,速度快了说明瓶颈在硬盘,速度还是一样慢说明瓶颈在 CPU 。Linux 系统 /dev/shm 目录就是内存盘,解压到这里就可以,Windows 系统要用软件创建 |
13 BBrother OP @oldshensheep #8 不解压可以考虑,不过服务端的改动就大了 @lingex #9 python 自带的 zipfile @GOOD21 #10 我先研究一下 @imzcg2 #11 @eason1874 #12 感谢建议,我先试试看 |
14 leimao 2022 年 8 月 31 日 via iPhone |
15 ijrou 2022 年 9 月 6 日 1 、提高 cpu 2 、换成固态硬盘,缓存要大那种 |