今天咱也用 rust 实现一个 redis 的 demo,性能差不多。[第二弹] - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
lsk569937453
V2EX    程序员

今天咱也用 rust 实现一个 redis 的 demo,性能差不多。[第二弹]

  •  
  •   lsk569937453 2024-04-12 16:02:28 +08:00 2726 次点击
    这是一个创建于 583 天前的主题,其中的信息可能已经有所发展或是发生改变。

    鉴于上次帖子,有很多同学提出想要对比一下 tokio 的mini-redis的性能(毕竟 tokio 在 rust 界就如高山一样让我们仰望)。我马不停蹄的开始拉镜像做对比,发现 mini-redis 在多线程下 QPS 居然是原生 redis 的两倍。我拜读了一下 mini-redis 的源码,发现流程非常之简洁。因此把 rcache 重构了一把,终于达到了 mini-redis 的水准。

    源码

    https://github.com/lsk569937453/rcache/tree/mutex

    性能对比(4 核心 8Gb 内存)

    • X 轴代表吞吐量
    • Y 轴代表 benchmark 下单线程和多线程(添加--threads 16)的测试 alt tag

    总共做了三组对比实验:

    • redis:原生 redis
    • rcache(mpsc 的 channel 版本):rcache 的 1.0 实现
    • rcache(全局 mutex 版本):rcache 参考 mini-redis 实现,性能和 mini-redis 一样

    实验结果

    rcache 基于 mini-redis 的实现,性能等于 mini-redis 。相比原生的 redis ,单线程吞吐量是 redis 的 90%,多线程的吞吐量是原生的 redis 的两倍。

    架构

    参考 mini-redis,直接用 Mutex 对全局的数据加锁,全局的 struct 内部其实就是用多个 HashMap 来存储 string,list,hash 以及过期 map 等数据结构。没想到效果出奇的好。

    6 条回复    2024-04-24 13:36:44 +08:00
    xxxccc
        1
    xxxccc  
       2024-04-12 16:12:54 +08:00
    没仔细了解过 mini-redis ,请教一下为啥多线程能够达到 redis 的两倍吞吐
    keakon
        2
    keakon  
       2024-04-12 16:18:45 +08:00
    大概是因为 redis 是单线程的。
    bug123
        3
    bug123  
       2024-04-12 16:35:10 +08:00
    cpu 占用分别是多少?一个是多线程一个是单线程
    lsk569937453
        4
    lsk569937453  
    OP
       2024-04-12 17:28:54 +08:00
    @bug123 rcache 和 redis 的机器配置都是 4 核 8G 。
    实验中 redis-benchmark 的请求数是 10 万,16 线程。
    当请求数为 10 万,线程数为 16 时,rcache 的 cpu 使用率 115%,吞吐量为 20 万。redis 的使用率为 70%,吞吐量 10 万。
    当请求数为 100 万,线程数为 16 时,rcache 的 cpu 使用率 380%,吞吐量为 33 万。redis 的使用率为 100%,吞吐量 11 万。
    bug123
        5
    bug123  
       2024-04-12 19:54:19 +08:00
    @lsk569937453 从你的数据看,redis 就是单线程呀,要不 rcache 用单线程试试?
    cfeitong
        6
    cfeitong  
       2024-04-24 13:36:44 +08:00 via Android
    有个最简单的优化可以试试:改系统内存分配器为 mimalloc ,几行代码的效果不小。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2760 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 13:20 PVG 21:20 LAX 05:20 JFK 08:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86