推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1518 天前的主题，其中的信息可能已经有所发展或是发生改变。
机器学习炼丹过程中，图片预处理速度完全跟不上训练速度。看了下电脑 cpu 和内存，才占用 20%不到，有啥办法提升下吗
伪代码
im = openImg("xxxx.png") # 已经确定这里不是瓶颈，磁盘 io 没问题 im=dosome(im) # 图片预处理（主要是裁剪，缩放，修改格式等待），使用 pillow 库 ，目前瓶颈在这里 data = nnumpy.array(im) # 转成数组 # 提交 TensorFlow 炼丹 想问下，dosome 那一步有什么办法并发吗？
 | 1 fgwmlhdkkkw 2021-10-29 17:51:58 +08:00 你都说了多线程呀。虽然有 GIL ，但是依然会有提升的。 |
| 2 fgwmlhdkkkw 2021-10-29 17:52:40 +08:00 也可以开多个进程，每个进程负责一部分图片。 |
 | 3 imycc 2021-10-31 06:06:42 +08:00 IO 多的可以用多线程，计算多的用多进程，去看下 multiprocessing 这个库咯 |
Select Language