高级数据采集工程师

有个人技术博客或开源项目者优先考虑 具备航空领域数据采集经验者优先 岗位职责 1. 针对H5、APP、小程序等不同平台设计适配的爬虫方案，实施数据抓取，突破反爬限制，应对各类反爬策略 2. 负责Android应用的逆向分析工作，提取核心接口与关键数据信息 3. 深入研究多种验证码类型，包括图形、滑动、点选等形式，实现高效识别与破解 4. 使用AutoJS等工具完成自动化流程开发，支持移动端数据采集任务 5. 提升爬虫系统运行效率，处理高并发请求、IP封锁等技术难题 6. 与数据分析师、产品团队协同配合，依据业务需求优化爬虫逻辑，主导分布式爬虫系统的架构设计与开发，实现多平台数据整合与分析 任职要求 1. 本科及以上学历，计算机相关专业背景，具备3年以上Python爬虫开发经历，有民航票务行业背景者优先 2. 熟练掌握Python语言，精通Scrapy、Requests、BeautifulSoup等常用爬虫库与框架 3. 具备扎实的H5、APP及小程序数据抓取实践经验，了解主流网络通信协议 4. 拥有Android平台逆向能力，熟悉Smali语法及IDA等逆向分析工具 5. 具备实际验证码攻防经验，能有效应对复杂验证机制 6. 能熟练运用selenium、AutoJS编写自动化脚本并落地应用 7. 掌握常见反爬对抗技术，如代理IP池、UA轮换、Cookie管理等手段 8. 具备较强的逻辑思维与问题排查能力，学习能力强，适应高强度工作环境