推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 4293 天前的主题，其中的信息可能已经有所发展或是发生改变。
首先： 我知道紧凑着写两条请求非阻塞IO是有效果的,请求1并不会阻塞请求2,如下：
request_One= session.get('http://httpbin.org/get') request_two = session.get('http://httpbin.org/get?foo=bar') 但我的问题是有个循环,每次循环调用一次请求,然后处理请求数据,这时第二次循环要等第一次请求处理完成吗？
for url in url_list: request = session.get(url) data=str(beautifulsoup(request.text))  | 1 dreampuf 2014 年 7 月 24 日/span> 有效果，不会等待上一次。 requests-futures返回的是一个future对象，不是等待请求完成 |
 | 2 leafonsword OP @dreampuf 可我抓取后还要处理数据，要不要等处理完成后才能下一次循环的抓取？假如要等待，那岂不是无所谓什么非阻塞IO，因为还是要等一次循环(抓取+处理抓取后数据)？ |
| 3 dreampuf 2014 年 7 月 25 日 @leafonsword 抓去完成之后的处理只会影响CPU，在机器处理能力足够的情况下，比IO要几个量级。 至于每个抓取批次等待所有任务完成的等待，这没有让程序Block在IO wait中，也就是你用request-futures的动因，在这个等待循环中，你还可以做别的事情，比如提取之前抓遇到的数据一个一个处理，或者打印进度条。 |
Select Language