python数据采集工程师

岗位职责：

1、负责构建高效稳定的爬虫系统，满足企业多源数据采集的实际需求；

2、持续优化爬取算法，提高数据抓取速度与准确性，应对各类反爬策略；

3、设计并开发分布式爬虫架构，维护爬虫集群，保障系统长期稳定运行；

4、参与RPA系统开发工作，推动业务流程的自动化升级；

5、研究目标数据源特性，制定合理抓取方案，攻克验证码识别、JS加密等技术难点。

任职要求：

1、熟练掌握Python语言，具备规范的代码风格和良好的文档编写能力；

2、熟悉HTTP协议原理，掌握HTML、DOM、XPath、CSS、JavaScript等相关技术；

3、具有分布式爬虫开发经历，熟悉Scrapy等主流爬虫框架的使用与调优；

4、能够有效应对常见反爬机制，具备处理复杂验证码、JS加密等问题的实战经验；

5、了解MySQL、MongoDB等数据库技术，有数据库性能优化经验者优先考虑；

6、具备出色的学习能力与问题分析解决能力，能快速掌握并应用新技术。