最近在做一个爬虫系统，本地的爬虫端我我做的，包含了几款 app 的登录爬取操作，后台是后端兄弟用 springboot 做的，现在在进行对接，他那边下发任务通过 redis 消息通道，我这边要上报心跳和任务爬取状态，要支持并发。 想问下，我这边客户端怎么做并发操作，就是定时节点心跳上报同时开站爬虫、任务采集状态上报。 难道用进程和线程吗？ python 这边有没有比较好的异步处理方案或者工具
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
Select Language