爬虫开发工程师

工作职责： 1. 负责Web页面及接口数据的采集工作，涵盖动态网页、API接口以及小程序端的数据抓取，保障数据获取的准确性与实时性。 2. 构建并维护小程序接口采集系统，优化数据抓取流程，提高数据提取效率与质量。 3. 开发和维护现有爬虫架构，包括任务调度、数据抓取、系统维护、结果校验等全流程工作。 4. 深入研究各类网站的防护机制与反爬策略，总结核心技术应对方案。 5. 具备处理协议层反爬、风控策略、人机识别等复杂问题的能力。 6. 攻克爬虫技术中的关键难题，推动系统稳定性和性能提升。 7. 编写相关技术文档，确保系统代码具备良好的可读性和可维护性。 任职要求： 1. 熟悉Python语言及计算机网络原理，熟练使用多线程编程，掌握主流爬虫框架，具备小程序数据采集实际经验； 2. 精通JavaScript逆向分析技术，熟悉虚拟机机制、代码混淆、抽象语法树（AST）等方法，能独立完成小程序包的解析、反编译与接口逆向分析； 3. 掌握常见反爬应对策略，如验证码处理、IP代理池部署、headers与cookie认证管理等； 4. 能够分析网络通信链路，解决TLS/HTTP2协议流量解析、IP特征识别等问题； 5. 了解基础机器学习算法，可用于简单图像验证码识别与人机对抗场景的应对； 6. 熟练使用Redis、MySQL、git等常用中间件与开发工具；