python数据采集工程师

岗位职责：

1、负责构建高效稳定的爬虫系统，满足企业多源数据采集的实际需求；

2、持续优化爬虫逻辑与算法，提高数据抓取速度及准确性，应对各类反爬策略；

3、设计并维护分布式爬虫架构，管理爬虫集群，保障系统高可用性与稳定性；

4、参与RPA技术开发，推动业务流程自动化能力的提升；

5、研究目标数据源特征，制定合理抓取方案，攻克验证码识别、JS加密等技术难点。

任职要求：

1、熟练掌握Python语言，具备规范的代码风格和良好的文档编写能力；

2、熟悉HTTP协议原理，掌握HTML、DOM、XPath、CSS、JavaScript等相关前端技术；

3、具有分布式爬虫项目开发经历，熟悉Scrapy等主流爬虫框架的使用与原理；

4、能够有效应对常见反爬机制，具备处理复杂验证码、JS动态加密等问题的经验；

5、了解MySQL、MongoDB等数据库技术，有数据库性能调优经验者优先考虑；

6、具备出色的学习能力与问题分析解决能力，能快速掌握并应用新技术。