python开发

大小休，一定要有爬虫经验，需要有3年+经验！！

【职位职责】

1.构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。

2.针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定专项抓取方案。

3.提升爬虫执行效率，涵盖请求调度优化、并发管理、IP资源调配、验证码处理及动态代理配置。

4.实现采集数据与后端存储、清洗、任务调度系统的无缝对接，支撑数据分析和产品应用。

5.持续监控目标站点变动，快速响应网站结构调整或反爬机制升级。

【任职要求】

1.具备3年以上实际爬虫开发经历，精通Scrapy、Playwright、Selenium、Requests等主流采集工具。

2.深入理解各类反爬技术，可逆向分析网页加密逻辑，熟练使用抓包工具、JS代码调试、ChromeDevTools等，具备处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的经验，能独立完成JS加密算法还原。

3.掌握常见反检测手段，包括IP代理池建设、浏览器指纹规避、User-Agent伪装、Cookie管控等实践能力。

4.有成功逆向主流平台（如抖音、小红书、快手、微博、视频号）的经验，熟悉电商、社交、营销类APP的数据采集，具备分布式架构设计、任务调度及大数据清洗背景。

5.熟练操作MySQL、PostgreSQL、Clickhouse等常用数据库。

6.熟悉iOS逆向、Android逆向，具有丰富的风控对抗实战经验。

7.具备基于深度学习的验证码识别开发能力。

【加分项】

*掌握JAVA编程技能，且愿意未来向JAVA工程师方向发展。

*有爬虫集群搭建与运维经验