爬虫开发工程师

岗位职责 1. 负责数据的抓取、抽取、清洗、存储及日常运维工作； 2. 从非结构化网页中提取核心字段，输出高准确率的数据结果； 3. 实现任务的周期性调度，支持失败自动重试与数据一致性校验； 4. 搭建监控体系，对任务运行状态、数据规模等关键指标进行实时监控并触发告警。 岗位要求 1. 具备3-5年爬虫开发经验，掌握爬虫核心技术，能独立分析并处理技术问题； 2. 精通Python语言，熟练运用Scrapy、Drissionpage等主流爬虫框架； 3. 熟悉Redis、MySQL、MongoDB 等常用数据存储组件； 4. 熟练使用xpath、re等解析工具，具备异步IO编程能力者优先； 5. 拥有扎实的JS逆向能力，可应对复杂验证码（如滑块、点选）场景； 6. 具备代理池建设经验，熟悉容器化部署流程（如Docker），了解Linux基础运维操作； 7. 独立主导过中大型采集项目或具备大量数据抽取经验者优先考虑。