推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 820 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了一个程序，使用 PySide6 带有 GUI ，用来处理字幕的文本内容
因为要用到 CPU 处理，多线程和异步效果不佳，所以想做成多进程的形式处理，用的进程池来操作
pool = multiprocessing.Pool() results = pool.map(analysisSubtitles, subtitles_list) pool.close() pool.join() analysisSubtitles 是识别每个字幕每行内容并做替换。每个字幕文件处理时间 30-300ms 左右，但使用了多进程以后，无论拖入一个还是十个文件，都要至少 1.5s 起步才能处理完成
这是什么原因导致的，有没有办法优化？
百度谷歌必应和 GPT 都问过了，实在找不到问题原因
===
macOS 上我加了 multiprocessing.set_start_method("fork") 解决，基本在 0.5s 内就可以完成
但我也有在 windows 使用的需求，请问 windows 下如何优化才能减少执行时间？
感谢各位
 | 1 sordidclown 2023-07-18 07:58:30 +08:00 Python 新手，猜一下可能是任务太轻量了？ Windows 上没有 `fork`，默认是 `spawn` 这种重量级的构建方式。鉴于 MacOS 上使用 `fork` 能降低执行时间。所以可能任务执行的时间还没有构建新进程的时间长，也就是“构建新进程”所占时间的比重较大。 我觉得如果要减少执行时间，又要多进程，你可以试着限制进程池的大小。或者说任务比较多的时候再开多进程，这样能有效减少构建新进程占用的时间。 PS：网上搜了点资料猜的，大佬们轻喷。 |
| 2 sordidclown 2023-07-18 08:05:40 +08:00 我再提供一个思路，比如说将“读写文件”和“实际处理处理”分离成两个函数，一个作为 IO 密集函数，一个作为 CPU 密集函数。IO 密集的部分使用线程或者协程处理，CPU 密集的部分采用多线程处理。这两部分可以使用管道或者队列通信。 |
 | 3 JustBecause OP @sordidclown #2 任务确实非常轻量，可以理解成 time.sleep(0.3)这样子，主要是执行的数量多 实际上拖放文件进窗口就开始执行了，这部分没有太多的操作 时间主要在 pool.map 这一步上，所以读写文件和实际处理分开大概没效果 试过把多进程执行的函数改成 time.sleep(0.3)，但也要花 1.5s 以上处理 |
 | 4 wuwukai007 2023-07-18 11:18:02 +08:00 开多个进程启动很慢的，做一个常驻进程池 |
| 5 JustBecause OP |
 | 6 runstone 2023-07-19 16:55:20 +08:00 concurrent.futures.ProcessPoolExecutor 作为进程池应该好一些吧。 |
Select Language