关于大硬盘服务器的分区 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Livid
267.42D
572.55D
V2EX    LVM

关于大硬盘服务器的分区

  •  
  •   Livid
    PRO
    Jun 7, 2013 10557 views
    This topic created in 4709 days ago, the information mentioned may be changed or developed.
    Dell R510 服务器,8 块 2T 的硬盘,有 RAID 卡,装 Ubuntu Server 12.04,大家觉得最科学的分区方式及文件系统会是?
    35 replies    1970-01-01 08:00:00 +08:00
    Sunyanzi
        1
    Sunyanzi  
       Jun 7, 2013
    那啥 ... 至少要说机器是做什么用的吧 ..?

    如果只有这些信息能提供的方案就只有都分给 root 了 ...
    Ultratude
        2
    Ultratude  
       Jun 7, 2013
    有 RAID 卡,这么组 RAID 也是一个问题。
    Livid
        3
    Livid  
    MOD
    OP
    PRO
       Jun 7, 2013
    @Sunyanzi 视频下载。
    pyKun
        4
    pyKun  
       Jun 7, 2013
    用对象存储的话,如果进程了硬盘是1对1的时候,数据盘不用raid,系统盘做mirror
    Sunyanzi
        5
    Sunyanzi  
       Jun 7, 2013
    @Livid 有什么和视频相关的逻辑在运行么 ..?

    比如视频格式转化或者来源视频会先堆在一个什么地方然后由程序分捡一类的 ...

    还是单纯就是只提供下载而已 ..?
    alexrezit
        6
    alexrezit  
       Jun 7, 2013
    有必要分区么?
    Livid
        7
    Livid  
    MOD
    OP
    PRO
       Jun 7, 2013
    @Sunyanzi 就是纯下载。
    cloudzhou
        8
    cloudzhou  
       Jun 7, 2013
    @alexrezit 很有必要,有时候对分区进行 fsck,还有重装系统的时候不影响数据分区
    iZr
        9
    iZr  
       Jun 7, 2013
    @Livid youtube-dl?
    ybf1220
        10
    ybf1220  
       Jun 7, 2013
    硬raid 做好,raid 5 或者 raid10,比较常用。采用 parted 创建 Gpt 分区,原本的 fdisk 已经不适合了,上次分了个 5块 2T 硬盘的分区。
    passluo
        11
    passluo  
       Jun 7, 2013
    raid 最好不要跨盘分区。血与泪的教训。
    Sunyanzi
        12
    Sunyanzi  
       Jun 7, 2013   1
    @Livid 如果是这样的话 ... 我的建议如下 ...

    八块硬盘组 RAID 1+0 ... 我们就有了 8T 的可用存储空间 ...

    当然如果有其他的备份下载机就算这台崩了也无所谓的话组个 RAID 0 单纯撑容量也可以 ...

    如果短期内不会有频繁的扩容或其他操作硬盘就是固定的 8 x2T 的话不用上 LVM ...

    分区方案如下 ... /boot 128M ... SWAP 双倍物理内存大小 ... root 10G 绰绰有余 ...

    /usr 10G ... 重要的路径是 /usr/local 和 /usr/share ...

    用于存放 webserver 及其他 log 分析软件 ...

    /var 视单天会产生的 log 文件大小而定 ... 一般来说预留一星期的足矣 ...

    重要的路径是 /var/log ... 用于临时存放 access.log 和 error.log ...

    log 处理软件处理完成之后保存报告删除原始 log ...

    这样就算 log 处理器崩了分区满了也不会影响到下载业务 ...

    /home 一般而言不用单独分 ... 如果有在 /home 下保存文件的需要按照需求分 ...

    /tmp 一般而言不用单独分 ... 如果有什么东西用到了 /tmp 再单独视需求分 ...

    大的原则就是 root 的 10G 只是 system 相关 ... 如果有了 user 相关的内容就分出去 ...

    这样我们至少会剩下 7.8T 的空间 ... 全都分给 /data ... 用以保存需要下载的文件 ...

    大体就是这样啦 ...
    Sunyanzi
        13
    Sunyanzi  
       Jun 7, 2013
    写完了一琢磨既然有 8 块硬盘的话 ... 闲着也是闲着 ... 组个 RAID 50 也不错 ...

    容量会比 RAID 1+0 大出 4 个 T ... 并且如果需要下载的是 flv 文件的话速度会快一些 ...

    容错低于 RAID 1+0 但至少比纯纯的 RAID 0 是让人放心多了 ...
    Kvm
        14
    Kvm  
       Jun 7, 2013
    @Sunyanzi swap是内存的双倍这个太残了,上限2G就可以了(如果你的内存是1G一下的当我什么都没说),一是swap不会经常被占用,二是如果长期大量开销swap的话还是加内存吧,加内存和消耗IO的成本和孰重孰轻自个应该都有底。

    本人常用分区 /boot 1g swap 2G /直接给120G 剩下的爱挂哪儿挂哪儿,LVM可做可不做,如果楼主条件适合可以再添加块SSD做系统,8块2T做RAID10兼顾数据安全和IO读写。
    tarsier
        15
    tarsier  
       Jun 7, 2013
    @Kvm 严重同意,现在内存很大的情况下,swap意义没以前那么大了。而且一旦swap,系统的负载就会很高
    Sunyanzi
        16
    Sunyanzi  
       Jun 7, 2013
    @Kvm 给物理的一倍大概只是为了有突发情况的时候不至于那么快死掉吧 ...

    多年的习惯而已 ... 32G 内存以下的机器都是双倍 ... 32G 内存以上的机器等同内存 ...

    不过事实上在运行良好设计的系统时确实不该吃到 SWAP ...

    只是为求个安心 ... 意外发生之后看到重病人和看到死人还是不太一样的 ...
    halfbloodrock
        17
    halfbloodrock  
       Jun 7, 2013
    RAID5,LVM卷,只分一个/就可以了。
    Kvm
        18
    Kvm  
       Jun 7, 2013
    @Sunyanzi 拿硬盘当内存使饮鸩止渴。。。。。
    likuku
        19
    likuku  
       Jun 7, 2013
    我的理想是2块小盘作RAID1,gpt装freebsd_9.1 amd64,其余6块都独立盘,gpt+4K对齐,五块组zfs的raidz1,剩余一块当spare。zfs可靠完善,有snapshot很方便备份,未来无损数据在线扩容也很方便。

    只考虑linux的话,则所有盘作RAID5,LVM卷,/boot 200M,swap 4G,/ 30G,剩余空间作一个vl,使用btrfs,因为有snapshot,当前3.8 内核下的btrfs已经相当稳定和快速了。
    lnehe
        20
    lnehe  
       Jun 7, 2013
    我的 2*2T

    1 primary ext3 / 1 2000 MB
    2 primary swap none - 2 x 1000 MB
    3 primary ext3 /home 0 2 x 1997000 MB

    全部数据放在home的一个目录(里面有多层子目录) 也是做纯下载服务器, 硬盘挂掉数据就没了。。。。
    likuku
        21
    likuku  
       Jun 7, 2013
    @passluo 「raid 最好不要跨盘分区。血与泪的教训。」那么,组raid还有意义么?
    likuku
        22
    likuku  
       Jun 7, 2013
    @lnehe ext3 在意外断电和长久没fsck时,作一次fsck风险很高的,且fsck非常缓慢。
    likuku
        23
    likuku  
       Jun 7, 2013
    补充:
    当前linux,系统和应用分区,建议xfs/ext4,都比较可靠,且支持大存储器。
    数据分区可以用btrfs,因为有snapshot机制,方便自动快照来本地本地备份。
    pubby
        24
    pubby  
       Jun 8, 2013   1
    @likuku 从freebsd7.x就长期使用zfs 不过没做过下载服务,性能未知。zfs就是吃内存, 9.1的zfs还未体验过,生产环境怕升级-_-。
    另外,raidz1貌似不够,这么多盘长期高负载工作,同时挂2个盘很正常,起码得2块做冗余。
    2台zfs raidz1分别遭遇过1次坏硬盘,好还每次都坏一个,及时更换没丢数据。

    个人建议不用卡自带的raid,因为机器硬件坏掉的话需要找同型号的raid卡。
    vixvix
        25
    vixvix  
       Jun 8, 2013
    我觉得用两块2T raid1做系统有点奢侈了,虽然在企业级别上这个指出不算什么。可以找两个500G raid1做系统,然后剩下的组raid做存储。

    或者硬件raid, 然后跑ESXi, 在虚拟机里面怎么分区都没关系。
    likuku
        26
    likuku  
       Jun 8, 2013   1
    @pubby fb7时的zfs还是比较稚嫩的,9.0已经非常靠谱了,只用release+默认内核的话,freebsd-update 非常顺利方便,比用过的 gentoo,debian,ubuntu 的升级都方便靠谱。

    freebsd 9.0/9.1 之前有3台用于生产,其中2台纯zfs环境,这2台纯zfs的其中一台是高强度的备份机,每小时备份全站php,每天备份全站 mysql (每日变化量在170GB),这样用了两年多,更新升级大于半个月一次,还是 make world 方式。

    拍坏盘,那就 raidz2,同时坏两盘也OK。

    不过,多机备份+定期离线存档,才是王道。
    mml
        27
    mml  
       Jun 8, 2013
    =.= btrfs就算了吧,还是生产环境。
    likuku
        28
    likuku  
       Jun 8, 2013   1
    @pubby 「个人建议不用卡自带的raid,因为机器硬件坏掉的话需要找同型号的raid卡。」是的,这点很中肯。且多年以后,此产品生命周期结束,就很难找到备件了。RAID1还好,盘上只是普通数据块,直接单盘直连也OK。但其他RAID就麻烦了。
    likuku
        29
    likuku  
       Jun 8, 2013
    @mml 3.4.8 内核以后 btrfs 已经进步巨大了,之前在繁忙的 mail 服务器 imap 服务保存mail目录是btrfs,还是可以接受。

    只接受linux,那么想要 snapshot机制只有btrfs了,这是无奈的事。
    likuku
        30
    likuku  
       Jun 8, 2013
    业内大牛看法「带冗余的ZFS要比绝大多数RAID卡和存储柜靠谱」。
    mml
        31
    mml  
       Jun 8, 2013
    @likuku 我从第一版放出来的就在用,到现在3.9.5-stable/3.10-rc4 我的btrfs分区都挂了很多次了,基本都是没办法修复的,只能格盘。
    pubby
        32
    pubby  
       Jun 8, 2013
    @likuku 嗯,目前有几台是 fb8.2+zfs raidz1 , 7.x的时候zfs问题导致死机过,所以升级了。
    zuroc
        33
    zuroc  
       Jun 8, 2013
    terry
        34
    terry  
       Jun 8, 2013
    FreeBSD + ZFS 是比较靠谱的方案。不介意没法打安全补丁的话,Solaris x86 也行,Sun ZFS Storage Appliance 用的就是。

    Btrfs 还是别用了,出了问题只能自行靠社区解决。

    非得用 Linux 的话,md + LVM 比较灵活,没用过硬 RAID 卡 -_-z
    fuxkcsdn
        35
    fuxkcsdn  
       Jun 8, 2013
    个人建议,不管是RAID1、RAID50、RAID10,都至少要保证有一个空闲盘
    About     Help     Advertise     Blog     API     FAQ     Solana     5570 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 73ms UTC 03:02 PVG 11:02 LAX 20:02 JFK 23:02
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86