推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3253 天前的主题，其中的信息可能已经有所发展或是发生改变。
岗位职责：
1 、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析，按要求抓取金融数据；
2 、负责网页信息 /APP 数据抽取、数据清洗、数据消重等研发和优化工作，包括爬虫、调度、信息提取、信息存储等，提升平台的抓取效率；
3 、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4 、实时监控爬虫的进度和警报反馈；
任职要求：
1 、熟悉 Linux 系统，熟悉 Java 或者 Python ；
2 、熟悉网页抓取原理及技术，熟悉基于正则表达式、 XPath 、 CSS 等网页信息抽取技术，熟悉基于 Cookie 的登录原理；
3 、熟悉 APP 模拟及接口验签破解技术，熟悉 APP 用户授权访问机制及模拟；
4 、熟悉多线程、多进程、网络通信编程相关知识；
5 、熟悉 Selenium 优先，熟悉 APP 破解技术优先。
6 、有分布式爬虫架构，数据挖掘经验优先。
7 、对数据敏感，做过数据处理相关工作者优先，做过 ETL 工作者优先；
1 、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析，按要求抓取金融数据；
2 、负责网页信息 /APP 数据抽取、数据清洗、数据消重等研发和优化工作，包括爬虫、调度、信息提取、信息存储等，提升平台的抓取效率；
3 、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4 、实时监控爬虫的进度和警报反馈；
任职要求：
1 、熟悉 Linux 系统，熟悉 Java 或者 Python ；
2 、熟悉网页抓取原理及技术，熟悉基于正则表达式、 XPath 、 CSS 等网页信息抽取技术，熟悉基于 Cookie 的登录原理；
3 、熟悉 APP 模拟及接口验签破解技术，熟悉 APP 用户授权访问机制及模拟；
4 、熟悉多线程、多进程、网络通信编程相关知识；
5 、熟悉 Selenium 优先，熟悉 APP 破解技术优先。
6 、有分布式爬虫架构，数据挖掘经验优先。
7 、对数据敏感，做过数据处理相关工作者优先，做过 ETL 工作者优先；
 | 1 sofasky OP 有没有意向的欢迎加 QQ ： 1258083995 细聊 工作地点北京三元桥 |
 | 2 asd103 2016-11-16 18:59:33 +08:00 我觉得我可以试一番 |
 | 6 linuxzpf 2016-11-16 22:18:28 +08:00 via Android 瞄了两眼，岗位职责就是我现在工作的一部分，我是爬取各大 P2P 平台的数据，实时同步，互联网金融。 |
Select Language