高级爬虫工程师

【岗位职责】 1.负责大型 APP 的数据采集体系全流程搭建、设计、开发与长期稳定运行，主导采集架构的规划、迭代与优化，确保架构适配采集需求。 2.独立攻克 APP 端各类高难度反爬机制，包括签名算法、设备校验、账号风控、模拟器检测、双向证书校验等，主导反爬对抗策略的设计、落地与持续迭代，应对平台风控升级，保障采集连续性。 3.设计与维护分布式、高可用、可监控的爬虫架构，统筹任务调度、代理池、设备池、账号池的搭建与优化，实现异常自愈、故障快速排查，保障采集效率与稳定性。 4.参与数据清洗全流程工作，处理脏数据、冗余数据、异常数据，完成数据标准化处理，输出高质量结构化数据。 5.参与数据分析工作，结合采集数据，分析数据缺失、异常波动原因，输出数据质量报告，为采集策略优化、业务决策提供数据支撑；挖掘餐饮数据潜在价值，辅助业务需求落地。 【任职要求】 1.计算机相关专业本科及以上学历，五年以上数据类工作经验，其中三年以上专职爬虫开发经验，必须有大型 APP 稳定采集实战项目，熟悉至少一种主流爬虫框架：Scrapy / Airtest / Playwright + ADB。 2.精通 APP 抓包与逆向： ① 抓包：熟练使用 Charles、Fiddler、HttpCanary，掌握 VPN 抓包、HTTPS 证书绕过技巧，能高效捕获餐饮 APP 核心接口流量。 ② 脱壳：精通 Android 各类加固脱壳、反编译、重打包流程，能应对餐饮 APP 常见加固方式。 ③ Hook：熟练运用 Frida、Xposed、InlineHook ，能快速定位核心逻辑。 ④ 能独立定位并还原 sign/token/device_id/session 等核心加密算法，结合餐饮 APP 接口特点，高效完成算法还原与落地。 3.熟悉反爬对抗： ① 精通 IP 封禁、频率限制、设备指纹、行为风控、账号风控的对抗方法，能结合餐饮 APP 采集场景（高频采集门店、菜品数据）制定针对性对抗策略。 ② 熟悉模拟器检测、Root 检测、多开检测、环境检测的绕过技巧，能搭建稳定的采集环境。 4.具备较强的工程化爬虫架构能力： ① 能独立设计并搭建分布式爬虫架构，统筹任务调度、去重策略、重试机制的设计与优化，实现全链路监控告警。 ② 能根据餐饮数据采集需求，优化代理池、设备池、账号池的配置，提升架构可用性与采集效率。 5.具备采集规则、数据清洗规则的设计能力，制定科学、高效的规则，解决数据冗余、异常等问题。 6.具备基础数据分析能力，能进行数据统计、异常分析，输出数据质量报告，能结合分析结果优化采集与清洗策略。 【优先条件】 有大型 APP 稳定采集经验，了解端安全、加固、壳代码、SO 逆向、ARM 汇编，熟悉小程序反编译、Web JS 混淆、AST 还原、RPC 接口采集，能拓展餐饮相关小程序、H5 页面的数据采集能力者加分。 有爬虫平台化、配置化、可视化后台开发经验，能实现采集规则、反爬策略可视化配置者优先。 有数据治理、数据分析相关经验，能深度挖掘餐饮采集数据价值，为业务提供支撑者优先。