这是一个创建于 4085 天前的主题，其中的信息可能已经有所发展或是发生改变。
帮一个朋友写爬虫爬东西。
数据库和文件系统中都要存。
单个文件都很小，但数量有接近70-80万，总大小有20多G。
放在服务器爬了5天，爬完了，发现很多数据库中有的条目，在文件系统中并不存在。
找原因才发现是inode用完了，TAT。Google后发现，ext3好像默认16K分配一个inode，挂载的磁盘是40G（ext3），所以最大可用的inode大概是2600000左右个。但关键在于文件一般都小于16K，所以把inode耗完了...
目前有一种解决方法是格式化EXT3，格式化的同时指定每4K分配一个inode，这样就把最大可用的inode数量扩大到4倍。
但往长远看，感觉EXT3还是不太适合这种场景，所以求推荐一种适合海量存储小文件的文件系统。
谢谢。
数据库和文件系统中都要存。
单个文件都很小，但数量有接近70-80万，总大小有20多G。
放在服务器爬了5天，爬完了，发现很多数据库中有的条目，在文件系统中并不存在。
找原因才发现是inode用完了，TAT。Google后发现，ext3好像默认16K分配一个inode，挂载的磁盘是40G（ext3），所以最大可用的inode大概是2600000左右个。但关键在于文件一般都小于16K，所以把inode耗完了...
目前有一种解决方法是格式化EXT3，格式化的同时指定每4K分配一个inode，这样就把最大可用的inode数量扩大到4倍。
但往长远看，感觉EXT3还是不太适合这种场景，所以求推荐一种适合海量存储小文件的文件系统。
谢谢。
第 1 条附言 2014-08-13 23:41:05 +08:00
 | 1 reusFork 2014-08-13 11:56:29 +08:00  1 reiserfs |
 | 2 clino 2014-08-13 12:15:58 +08:00 via Android 1 ext4? 楼上这个都说小文件性能好，不过作者估计要把牢底坐穿。。。 |
 | 3 HavoStrean 2014-08-13 12:16:03 +08:00 1 fastdfs |
 | 5 tmqhliu 2014-08-13 12:26:17 +08:00  1 Taobao 的 TFS http://opensource.taobao.org/ |
 | 7 hellojinjie 2014-08-13 12:38:04 +08:00 1 douban 不是有个 douban fs 的嘛，用来存放小文件图片的，不知道现在的进展怎么样了 |
 | 8 wangdaimishu 2014-08-13 12:40:50 +08:00 1 你不会是把那些文件都放在同一个目录吧？我以前用 txt 存小说章节，300多万个，分三层目录，坨坨的。 |
 | 9 likuku 2014-08-13 13:17:17 +08:00 1 至少 ext4 , zfs也是个好选择...假若存储部分可以独立出去用 freebsd 的话。 |
 | 10 likexian 2014-08-13 13:20:09 +08:00 1 扔mongodb吧 |
 | 11 jsq2627 2014-08-13 13:32:56 +08:00 1 小文件完全可以存数据库的嘛 |
 | 12 notnumb 2014-08-13 13:37:31 +08:00 1 如果只是inode问题的话 xfs，zfs，jfs都可以。 |
 | 13 chilaoqi 2014-08-13 14:26:02 +08:00 1 我们以前也遇到过inodes耗尽的情况。用XFS |
 | 14 vainly 2014-08-13 15:56:32 +08:00 1 请无视我，MongoDB |
 | 15 wy315700 2014-08-13 16:01:31 +08:00 1 试试MongoDB或者HDFS |
 | 16 love 2014-08-13 16:04:22 +08:00 1 reiserfs啊，没有inode限制，想放多少放多少 |
 | 17 bigtan 2014-08-13 16:05:45 +08:00 1 https://code.google.com/p/weed-fs/ 你可以看看这个项目 |
 | 18 ryd994 2014-08-13 16:23:32 +08:00 1 这样的数据还是进数据库比较好，或者按网站打包，每次抓完更新 |
 | 19 soulteary 2014-08-13 19:04:56 +08:00 1 openstack swift |
| 20 soulteary 2014-08-13 19:05:47 +08:00 ps，如果是小图标一类的，或许找家带open api的图床更靠谱？ |
 | 21 haoba 2014-08-14 17:33:33 +08:00 1 fastDFS可以啊。 |
 | 22 faywong8888 2017-05-01 22:38:42 +08:00 @bigtan seaweedfs 挺好的，我 Like it |
Select Language