职位详情
微信扫码分享
投诉
岗位职责:
1、负责构建高效稳定的爬虫系统,满足企业多源数据采集的实际需求;
2、持续优化爬取算法,提高数据抓取速度与准确性,应对各类反爬策略;
3、设计并开发分布式爬虫架构,维护爬虫集群,保障系统长期稳定运行;
4、参与RPA系统开发工作,推动业务流程的自动化升级;
5、研究目标数据源特性,制定合理抓取方案,攻克验证码识别、JS加密等技术难点。
任职要求:
1、熟练掌握Python语言,具备规范的代码风格和良好的文档编写能力;
2、熟悉HTTP协议原理,掌握HTML、DOM、XPath、CSS、JavaScript等相关技术;
3、具有分布式爬虫开发经历,熟悉Scrapy等主流爬虫框架的使用与调优;
4、能够有效应对常见反爬机制,具备处理复杂验证码、JS加密等问题的实战经验;
5、了解MySQL、MongoDB等数据库技术,有数据库性能优化经验者优先考虑;
6、具备出色的学习能力与问题分析解决能力,能快速掌握并应用新技术。

朱先生IP:河北石家庄
今日活跃|
泓安建设集团有限公司
相关推荐查看更多 >
石家庄
相同职位推荐
企业招聘

