golang 简单的协程工作池 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
ppmoon
V2EX    Go 编程语言

golang 简单的协程工作池

  •  
  •   ppmoon 2018-07-11 15:56:42 +08:00 2262 次点击
    这是一个创建于 2657 天前的主题,其中的信息可能已经有所发展或是发生改变。

    写了一个简单的 golang 协程工作池,用于学习交流想和大家讨论一下。 https://github.com/ppmoon/pool 欢迎 star 共同学习交流

    GOLANG 简单的工作池

    本 repo 是一个简单的 golang 工作池,仅供交流和学习使用。golang 工作池的作用是可以限制 goroutine 的启动数量。

    use

     //NewTask 是放到工作池当中运行的函数。使用的时候需要先实例化他 w := pool.NewTask(func() error { fmt.Println(time.Now());return nil }) //实例化工作池 p := pool.NewPool(3) //这里启用另外一个 goroutine 向 worker 当中写入,不然会出现 all goroutines are asleep,需要从管道中获得一个数据,而这个数据必须是其他 goroutine 线放入管道的 go func() { for { p.Worker <- w //把需要运行的函数依次放入工作池。 } }() p.Run() 

    讨论

    为什么需要工作池?

    一般情况下,goroutine 在操作系统上只要你的硬件资源够它是可以无限启动的。但是如果出现大规模的启动 goroutine 的情况会造成大量占用系统资源,我们知道普通的部署一个 golang 应用的时候操作系统不仅仅会运行 golang 程序还有其他辅助的程序运行,所以理论上讲工作池的目的就是为了限制 golang 的启动数量,保证不会出现硬件计算资源溢出的情况。

    实际我们真的需要工作池吗?

    理论上来讲,我们其实不需要在 golang 层面设置工作池的。如果是网络请求大部分时候我们会使用 nginx 或者其他网关,中间件作为 golang 程序的代理,我们可以在请求访问流量进入到 golang 程序之前使用 nginx 或者其他中间件限制流量或者使用熔断机制来保证我们的 golang 程序不会开满 goroutine 造成硬件计算资源溢出的情况。 如果流量小完全没必要限制 goroutine 如果流量大没有熔断机制对整个服务都是很危险的。

    工作池性能的讨论

    我在编写自己的工作池之前使用了很多其他的工作池,我发现工作池本身并不会提升执行效率,反而会拖慢效率,使用工作池程序执行时间大概是原来的 2/3,但是有一些 pool 会在一定程度上节省内存,比如 ants,但内存的节省我觉得更多的是在于数据结构的复用,没有大量的重复创建数据对象导致的内存节省。

    goroutine 是否需要像其他编程语言一样使用 I/O 多路复用?

    根据我在网上可以搜索到的资料,以及我自己的理解,golang 本身是有一个 pool 用来复用 goroutine 的,所以我们并不需要自己再去实现一个多路复用的功能,反而会拖慢程序。

    其他

    以上论调并没有严谨的验证过,只是个人遇到的情况分享,希望和大家共同讨论学习,共同进步。希望以上有说的或者表述不对,以及代码有写的需要纠正的地方可以收到大家的反馈。虚心向大家求学。 https://github.com/ppmoon/pool 欢迎 star 共同学习交流

    2 条回复    2018-07-11 16:18:57 +08:00
    specita
        1
    specita  
       2018-07-11 16:12:56 +08:00
    学习了,感觉多数场景不需要协程池
    hjc4869
        2
    hjc4869  
       2018-07-11 16:18:57 +08:00
    goroutine 其实本身就是个 threadpool 一样的东西……
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2704 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 14:16 PVG 22:16 LAX 07:16 JFK 10:16
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86