高压缩比引擎/数据库有啥好推荐? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
YYDL
V2EX    数据库

高压缩比引擎/数据库有啥好推荐?

  •  
  •   YYDL 2018-03-21 10:23:08 +08:00 2067 次点击
    这是一个创建于 2771 天前的主题,其中的信息可能已经有所发展或是发生改变。

    游戏会记录许多日志(物品消耗、等级、经验等),这些日志是需要入库的

    后续会做统计、查询,但是不会很频繁

    日志量大不大? 这个看游戏成不成功....

    1.我有考虑过 ELK,但是这种方式不太适合

    2.尝试过 mariadb tokudb,使用默认压缩算法 zlib 3G 1000W 行的数据 load 到数据库后,数据+索引 1G 左右(infobright 300M 左右)


    原来是一直用了 infobright 的社区版(7-8 了),官方社区版很久之前就不支持了,老板也不舍得花钱买...

    janxin
        1
    janxin  
       2018-03-21 11:03:16 +08:00   1
    Terark ?
    owenliang
        2
    owenliang  
       2018-03-21 11:05:30 +08:00 via Android   1
    试试俄罗斯人写的那个。
    YYDL
        3
    YYDL  
    OP
       2018-03-21 11:25:11 +08:00
    @janxin Terark 刚去看了一下,非商业用途免费, 老板估计会拒绝
    YYDL
        4
    YYDL  
    OP
       2018-03-21 11:27:16 +08:00
    @owenliang sphinx ?
    feverzsj
        5
    feverzsj  
       2018-03-21 11:30:56 +08:00   1
    硬盘都是白菜价,没必要在这种问题上浪费时间
    YYDL
        6
    YYDL  
    OP
       2018-03-21 11:35:22 +08:00
    @feverzsj 说得也有道理...
    Yinnfeng
        7
    Yinnfeng  
       2018-03-21 12:26:47 +08:00
    不是很理解。ELK 为什么不太合适?
    swulling
        8
    swulling  
       2018-03-21 12:31:09 +08:00 via iPhone   1
    高压缩比是 CPU 换硬盘,值不值就要看你的场景了
    MeteorCat
        9
    MeteorCat  
       2018-03-21 12:32:09 +08:00 via Android   1
    我明确告诉你,数据量贼大!我们去年 10 月份开坑的一个游戏项目,用的 mongDB,现在单单活动数据量记录的库就超过 10G,游戏产生的数据量比传统的 Web 更大更密集,我们过年前加了 50G 硬盘内存,估计下半年又得加一次!
    wooyuntest
        10
    wooyuntest  
       2018-03-21 12:40:02 +08:00   1
    看一半标题,我第一个想到的是马自达
    akira
        11
    akira  
       2018-03-21 12:41:35 +08:00   1
    你一天的工资拿来加硬盘空间 已经够你们用几年了
    xuyl
        12
    xuyl  
       2018-03-21 12:47:39 +08:00   1
    clickhouse, 列式数据库; influxdb,时序数据库
    glues
        13
    glues  
       2018-03-21 13:21:44 +08:00   1
    创驰蓝天,高达 13 : 1 的压缩比
    kkfnui
        14
    kkfnui  
       2018-03-21 13:36:53 +08:00 via Android   1
    这个数据量也不大,几百 G 的数据也可以放在 MySQL 中,分库分表就是麻烦点。等到了那个量自然可以有对应的资源投入做事了。
    zts1993
        15
    zts1993  
       2018-03-21 14:10:05 +08:00
    @glues #13 一定要这么皮么
    YYDL
        16
    YYDL  
    OP
       2018-03-21 14:22:04 +08:00
    @limitsy 游戏研发好后,会代理给一些平台,各个平台的数据要独立分开,如果用 ELK,就会导致每个平台都要搭建一个
    YYDL
        17
    YYDL  
    OP
       2018-03-21 14:25:54 +08:00
    @akira
    @swulling
    加硬盘确实是最快的解决方法
    Yinnfeng
        18
    Yinnfeng  
       2018-03-21 14:58:08 +08:00
    @YYDL 那难道不是看你们服务器方案么?服务器都单独搭建了的话。ELK 单独搭建一套也不是什么事情吧?如果不分开。ELK 也可以使用区分 index 之类的方式啊。
    sujin190
        19
    sujin190  
       2018-03-21 15:20:38 +08:00
    @MeteorCat #9 黑的可以。。肯定是吧 T 协程了 G 了,2333
    sujin190
        20
    sujin190  
       2018-03-21 15:26:01 +08:00
    认真说起来,压缩比高的,使用时 cpu 压缩解压缩的消耗远远超过硬盘正常存储的消耗了吧,你要是弄几个 T,解压都又能要等一天,这还怎么用啊
    MeteorCat
        21
    MeteorCat  
       2018-03-21 19:02:25 +08:00 via Android
    @sujin190 更惨的的后台开发那些,业务量一大,关联这么多表+数据查询,一个页面卡几分钟才更新,哈哈哈哈
    min
        22
    min  
       2018-03-21 23:55:43 +08:00
    1 天 10g 可能还算比较有点量,好几个月才 10g 算什么?

    7 楼 12 楼的工具可以看看
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2939 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 13:26 PVG 21:26 LAX 06:26 JFK 09:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86