推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1580 天前的主题，其中的信息可能已经有所发展或是发生改变。
伪代码如下，我发现整个函数的执行时间倒不是很长，但是关闭连接池，竟然要消耗 1 秒，看起来不多，几千条数据累加起来也挺不得了的，那么有什么办法优化这一部分的代码，让它的关闭耗时没那么高？
from multiprocessing.dummy import Pool as ThreadPool def my_function(page): print(page) pages_offset = [0, 100, 200, 300] pool = ThreadPool(5) pool.map(my_function, pages_offset) pool.close() pool.join() 第 1 条附言 2021 年 12 月 28 日
问题已经找到，是关闭打开连接池太频繁，虽然我的设计是一个连接池周期处理 7 ～ 8 个任务，但是这些任务处理的都非常快，所以连接池的开关瓶颈就出现了
6 条回复 2021-12-29 10:41:24 +08:00
 | 1 hahaba 2021 年 12 月 27 日 建议把业务逻辑说出来，最优解不一定要用上诉伪代码实现 |
 | 2 LeeReamond 2021 年 12 月 27 日 为什么从多进程库引入的会叫“线程池”，这是进程池啊 |
 | 3 shyling 2021 年 12 月 27 日 几千条数据要关系几千次 [连接池] ？ |
| 4 shyling 2021 年 12 月 27 日 关系->关闭 |
 | 5 Phishion OP @shyling 我也找到原因了，我关闭连接池太频繁了，现在已经解决了，我之前都是多线程跑网络数据瓶颈不在这上面，现在性能终于上来了，谢谢 |
 | 6 ruanimal 2021 年 12 月 29 日 @LeeReamond multiprocessing.dummy 没用过？ |
Select Language