推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 5081 天前的主题，其中的信息可能已经有所发展或是发生改变。
在写一个爬虫，用Queue配合thread来实现线程池，爬完一个地址，调用一次queue.task_done()
但在爬的过程中，有可能出一些Error，比如TimeOutError什么的，这样的话线程就挂了，永远也不会返回，也就调用不了queue.task_done()，最后就卡住了
请问这种情况该如何处理？
我想的是重写个queue.join()，在其中判断queue是否为空，如果是空的，就说明已经都爬完了，然后就退出，有没有更好的解决方法？
但在爬的过程中，有可能出一些Error，比如TimeOutError什么的，这样的话线程就挂了，永远也不会返回，也就调用不了queue.task_done()，最后就卡住了
请问这种情况该如何处理？
我想的是重写个queue.join()，在其中判断queue是否为空，如果是空的，就说明已经都爬完了，然后就退出，有没有更好的解决方法？
 | 1 quake0day 2012 年 5 月 27 日  2 try catch pass 不行？ |
 | 2 Livid MOD PRO 2 用 try catch 处理异常。 |
 | 4 INT21H 2012 年 5 月 27 日 1 global队列，然后 while len(q) > 0: try-except判断是否timeout，若timeout，该线程q.get() 不能让一个线程挂掉 |
| 5 Livid MOD PRO 2 或者你可以重新写一下你的程序，用 celery 来实现多任务并行处理。 |
 | 6 sivacohan PRO 1 我是这么干的，一会检查一下那些进程挂掉了。。。。 |
 | 7 clowwindy 2012 年 5 月 27 日 1 try except finally 为什么不行？楼主贴一下 except 代码，和异常堆栈信息看看。 |
 | 8 reus 2012 年 5 月 27 日 1 用multiprocessing.Pool |
 | 10 gonbo 2012 年 5 月 28 日 scrapy 这种框架已经很无敌啦。。。。 |
 | 11 zealot 2012 年 6 月 9 日 scrapy +1 |
Select Language