爬虫工程师

岗位职责 1.负责数据的抓取、抽取、清洗、存储及日常维护工作； 2.从非结构化网页中精准提取核心字段，输出高质量数据结果； 3.实现任务的周期性调度、异常重试、数据一致性校验等功能； 4.搭建监控体系，对任务运行状态、数据规模等指标进行实时监控与告警。 岗位要求 1.具备3-5年爬虫开发经验，深入理解爬虫机制，具备独立分析和解决问题的能力； 2.精通Python语言，熟练运用Scrapy、Drissionpage等主流爬虫框架； 3.熟悉Redis、MySQL、MongoDB等常用数据存储中间件； 4.熟练使用xpath、re表达式，掌握异步IO编程者优先考虑； 5.具备扎实的JS逆向能力，能有效应对复杂验证码（如滑块、点选）场景； 6.有代理池建设经验，熟悉容器化部署（如Docker），具备Linux基础运维能力； 7.曾独立主导中大型数据采集项目或拥有丰富数据抽取经验者优先录用。