1. 基于Python+Scrapy框架开发高效、稳定的网络爬虫，完成各类网站（电商/资讯/社交/企业信息等）的数据采集、清洗、存储； 2. 分析目标网站结构及反爬机制，制定并落地反反爬策略（如IP池、UA池、验证码识别、动态渲染页面处理等）； 3. 负责爬虫系统的日常维护、监控与优化，解决爬虫运行中的卡顿、漏采、封禁等问题，保障数据采集的完整性和时效性； 4. 对接业务需求，梳理数据采集规则，输出标准化的数据格式，配合数据分析师/产品经理完成数据应用落地； 5. 参与爬虫架构优化，提升爬虫集群的并发能力、容错能力和可扩展性； 6. 编写爬虫开发文档、接口文档，沉淀技术方案和最佳实践。一、任职要求【基础要求】 1. 精通Python编程语言，熟练使用Scrapy框架进行爬虫开发，熟悉Scrapy的核心组件（Spider、Item Pipeline、Middleware、Downloader等）； 2. 熟悉HTTP/HTTPS协议，掌握请求头、Cookie、Session、代理IP等爬虫核心知识点，能独立分析并突破常见反爬手段（如封IP、验证码、JS加密、动态加载、User-Agent验证等）； 3. 熟悉数据解析方式：XPath、CSS Selector、正则表达式，了解JSON/XML数据处理，能处理非结构化/半结构化数据； 4. 熟悉常用数据库（MySQL/Redis/MongoDB等），能根据数据特点选择合适的存储方案，具备基本的SQL优化能力； 5. 具备良好的代码规范和编程习惯，能独立完成模块开发，有排查和解决线上问题的能力。【重点看】 1. 熟悉Selenium/Playwright/Pyppeteer等动态页面渲染工具，有分布式爬虫（Scrapy-Redis）开发经验； 2. 了解爬虫监控、日志分析工具（如ELK、Prometheus），有爬虫集群部署和运维经验； 3. 有过验证码识别（OCR/打码平台对接）、滑块验证、短信验证绕过等实战经验； 4. 具备逆向工程基础，能分析JS加密逻辑（如AST、Hook）； 5. 有美团、携程、或酒店网站爬虫开发经验优先！！！！！

职位总结围绕职位描述，归纳工作内容、招聘要求

招聘人数1-2人

薪资报酬1-2万元/月

招聘有效期职位25天内有效

工作地点深圳光明区华强科技生态园8B东栋

核心工作内容：

岗位基本条件：

【基础要求】1. 精通Python编程语言，熟练使用Scrapy框架进行爬虫开发，熟悉Scrapy的核心组件（Spider、Item Pipeline、Middleware、Downloader等）；2. 熟悉HTTP/HTTPS协议，掌握请求头、Cookie、Session、代理IP等爬虫核心知识点，能独立分析并突破常见反爬手段（如封IP、验证码、JS加密、动态加载、User-Agent验证等）；3. 熟悉数据解析方式：XPath、CSS Selector、正则表达式，了解JSON/XML数据处理，能处理非结构化/半结构化数据；4. 熟悉常用数据库（MySQL/Redis/MongoDB等），能根据数据特点选择合适的存储方案，具备基本的SQL优化能力；5. 具备良好的代码规范和编程习惯，能独立完成模块开发，有排查和解决线上问题的能力。【重点看】1. 熟悉Selenium/Playwright/Pyppeteer等动态页面渲染工具，有分布式爬虫（Scrapy-Redis）开发经验；2. 了解爬虫监控、日志分析工具（如ELK、Prometheus），有爬虫集群部署和运维经验；3. 有过验证码识别（OCR/打码平台对接）、滑块验证、短信验证绕过等实战经验；4. 具备逆向工程基础，能分析JS加密逻辑（如AST、Hook）；5. 有美团、携程、或酒店网站爬虫开发经验优先！！！！！