V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3481 days ago, the information mentioned may be changed or developed.
写了个爬虫 但只是单进程的 想开多进程 具体要求就是可以自动协商不重复 不要开 100 个进程 回头输出了 100 份完全一样的结果
 | 1 Livid MOD PRO  1 |
 | 3 ericls Oct 18, 2016 via iPhone asyncio |
 | 4 clino Oct 18, 2016 也可以用协程吧,如果非 cpu 密集型的话 |
 | 5 9hills Oct 18, 2016 multiprocess 就行 |
 | 9 Nostalgia Oct 18, 2016 推荐 concurrent.futures ，支持多进程 /多线程，且封装的接口一致；抽象的程度比 threading, multiprocessing 更高些。 |
| 10 ericls Oct 18, 2016 via iPhone asyncio 有 back port 吧 另外楼上说的 promise 写起来也挺舒服的 要注意 process pool executor 必须要 picklable |
 | 11 shyling Oct 18, 2016 concurrent.futures ， MultiThreadPool |
 | 12 reyno Oct 18, 2016 via iPhone 直接上 gevent |
Select Language