高级爬虫工程师 航旅数据方向

有个人技术博客或作品展示者优先考虑 具备航司数据采集经验者优先，熟悉机票业务场景者优先 岗位职责 1. 针对H5、APP、小程序等多端平台制定爬虫方案，实施数据采集，突破反爬限制，应对反爬策略 2. 承担Android应用的逆向分析工作，定位核心接口与数据传输逻辑 3. 深入研究各类验证码技术，涵盖图形、滑动、点选等形式，并实现高效识别与破解 4. 使用AutoJS等工具完成自动化流程开发，提升数据获取效率 5. 持续优化爬虫性能，处理高并发请求、IP封禁等技术难题 6. 与数据分析师、产品团队协同配合，按业务需求调整采集策略，主导分布式爬虫系统的设计与实现，完成多源信息抓取与分析 任职要求 1. 本科及以上学历，计算机相关专业，具备3年以上Python爬虫开发经历，有机票领域经验者优先 2. 熟练掌握Python语言，精通Scrapy、Requests、BeautifulSoup等主流爬虫库与框架 3. 拥有丰富的H5、APP及小程序数据抓取实战经验，理解常见网络通信协议 4. 具备Android逆向能力，熟悉Smali语法及IDA等逆向分析工具 5. 具有实际验证码破解项目经验，能有效应对复杂验证防护机制 6. 熟练运用selenium、AutoJS编写自动化执行脚本并落地应用 7. 理解常见反爬手段及其解决方案，包括代理IP调度、UA伪装、Cookie池管理等技术 8. 具备扎实的问题排查与解决能力，学习能力强，适应高强度工作环境