人生第一篇技术文章, redis 实现分布式阻塞非争抢锁 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
kkk212
V2EX    程序员

人生第一篇技术文章, redis 实现分布式阻塞非争抢锁

  •  3
     a href="Javascript:" Onclick="downVoteTopic(652830);" class="vote">
  •   kkk212 2020-03-14 19:44:05 +08:00 4166 次点击
    这是一个创建于 2119 天前的主题,其中的信息可能已经有所发展或是发生改变。

    php 好几年了,突然觉得写文章记录很重要。一个能加深理解,一个能技术分享。看 redis 的 brpop 命令时候,突发奇想,这可以实现非争抢阻塞锁。于是有了这篇文章,看看这个锁帅不帅,欢迎拍砖。 在简书上: https://www.jianshu.com/p/6dbc44defd94

    27 条回复    2020-03-15 10:16:37 +08:00
    momocraft
        1
    momocraft  
       2020-03-14 19:55:51 +08:00
    思路不错
    如果有防意外的方案可能更好 (我猜如果进程 1 得到锁后释放前崩溃, 其他线程都要永远阻塞)
    Lax
        2
    Lax  
       2020-03-14 20:00:50 +08:00
    持的进程挂掉,就丢了
    kkk212
        3
    kkk212  
    OP
       2020-03-14 20:03:36 +08:00
    @momocraft 嗯嗯,是的。redis 队列 pop 空了以后队列 key 就不存在了,完整的方案还需要再想想。
    fighterlyt
        4
    fighterlyt  
       2020-03-14 20:11:28 +08:00
    这不是类似于传统的 linux 的 pid 防止并发? IT 行业已经根深叶茂了,没必要自己从 0 开始,站在巨人的肩上,才能走的更远
    kkk212
        5
    kkk212  
    OP
       2020-03-14 20:13:02 +08:00
    @Lax 是这样 还需要完善
    fighterlyt
        6
    fighterlyt  
       2020-03-14 20:17:28 +08:00
    分布式系统,所有操作,除了正常的成功、失败,还必须考虑因为网络分片等原因造成的通信中断等等问题
    kkk212
    &bsp;   7
    kkk212  
    OP
       2020-03-14 20:20:39 +08:00
    @fighterlyt 不局限在 id 并发业务,感觉这是并行转串行的另一种方案。有点同步消息队列的意思,epoll 思想的一种应用。
    kkk212
        8
    kkk212  
    OP
       2020-03-14 20:23:02 +08:00
    @fighterlyt 有个思路就先写出来了,用于项目还需要完善。
    23571113
        9
    23571113  
       2020-03-14 20:25:35 +08:00 via Android
    kkk212
        10
    kkk212  
    OP
       2020-03-14 20:44:02 +08:00
    @23571113 书不错
    fighterlyt
        11
    fighterlyt  
       2020-03-14 20:59:48 +08:00
    @kkk212 并发都是资源竞争
    kkk212
        12
    kkk212  
    OP
       2020-03-14 21:03:59 +08:00
    @fighterlyt 是竞争,用排队思路解决了争抢
    fighterlyt
        13
    fighterlyt  
       2020-03-14 21:35:32 +08:00
    @kkk212 资源竞争最传统的解决思路就是排队,临界区,建议锁。你这是重复造了个轮子
    kkk212
        14
    kkk212  
    OP
       2020-03-14 21:43:54 +08:00
    @fighterlyt 造轮子没啥不好,这样才能更好理解原理。不过这还没到造轮子水平,这个思路是借用 redis 的 epoll 机制和队列,实现分布式的同步排队锁。
    fighterlyt
        15
    fighterlyt  
       2020-03-14 21:46:49 +08:00
    @kkk212 还有个重要的问题,brpop 并发量大,容易导致读取错误,个人经验,忘了出处了
    kkk212
        16
    kkk212  
    OP
       2020-03-14 22:07:33 +08:00 via iPhone
    @fighterlyt 嗯嗯 这个没想到 我再看看
    pabno
        17
    pabno  
       2020-03-15 00:20:26 +08:00
    这样会导致连接一直被占用,redis 默认最大连接数为 10000,当被阻塞的连接过多的时候会影响性能吧
    lasuar
        18
    lasuar  
       2020-03-15 08:04:48 +08:00
    你这个不是锁了,而是把 redis 当做调度中间件了,只有从 list 中拿到数据的 process 才能往下执行,没有就阻塞,就类似于令牌桶算法或者 go 的 GPM 调度模型。
    kkk212
        19
    kkk212  
    OP
       2020-03-15 09:21:34 +08:00 via iPhone
    @pabno brpop 可以设置最大阻塞时间,不过太高的并发这个思路是不适合的。可以前边再加上限流。
    kkk212
        20
    kkk212  
    OP
       2020-03-15 09:22:19 +08:00 via iPhone
    @pabno 可以设置最大阻塞时间,不过太高的并发这个思路是不适合的。可以前边再加上限流。
    fighterlyt
        21
    fighterlyt  
       2020-03-15 09:29:06 +08:00
    @kkk212 如果是刚入行或者 1-2 年经验,造这个轮子很正常,但是你都几年 PHP 了,才来造这样的轮子,有点晚了
    kkk212
        22
    kkk212  
    OP
       2020-03-15 09:29:27 +08:00 via iPhone
    @lasuar 操作系统的锁或者信号量,也需要进程的阻塞和唤醒。思路是利用 redis 的 epoll 机制,做分布式的阻塞和唤醒,也有点像进程间的通信和调度。
    kkk212
        23
    kkk212  
    OP
       2020-03-15 09:34:13 +08:00 via iPhone
    令牌桶属于限流模型吧,感觉是限流和减少了并发,但是还存在并发。限流后的并发,还是需要一种解决方案。
    kkk212
        24
    kkk212  
    OP
       2020-03-15 09:41:21 +08:00 via iPhone
    @fighterlyt 不对呀,现在 php 并没有这样的轮子。令牌桶机制属于限流,限流后还会存在并发。系统调度是单机的,不是分布式的。然后消息队列是异步消费的,不是同步。
    kkk212
        25
    kkk212  
    OP
       2020-03-15 09:43:03 +08:00 via iPhone
    @lasuar 令牌桶属于限流模型吧,感觉是限流和减少了并发,但是还存在并发。限流后的并发,还是需要一种解决方案
    lasuar
        26
    lasuar  
       2020-03-15 10:05:31 +08:00
    你往深了看。
    令牌桶的原理是通过控制桶内令牌数量控制并发,相当于是一种调节 /调度机制,这种调度机制实现了限流的功能。转过来看看 brpop 这种方式,上游仍然可以通过 lpush 的频率控制下游执行的速率,这里是不是异曲同工呢,其实是实现了一样的功能,所以我说后者也是一种调度机制,用了 redis 就是做全局(分布式)的调度,同样可以不用 redis 而使用编程语言内部的队列框架实现这个机制(单机)。golang 的 GPM 模型比这个复杂一些,它的上游是操作系统(调度器),下游是 goroutine,goroutine 需要调度器分配 P(processor)和 M(内核线程)才能执行,否则就等待。
    kkk212
        27
    kkk212  
    OP
       2020-03-15 10:16:37 +08:00 via iPhone
    @lasuar 嗯嗯,相当于“调度”的一种应用,或者说分布式的进程间通信。不过令牌桶的算法是灵活限流,要是限制成比如多少 ms 放行一个进程,处理并发也不太适用。
    关于     帮助文档     自助推广系统     博客     API       Solana     2333 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 05:14 PVG 13:14 LAX 21:14 JFK 00:14
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86