中高级数据采集工程师

岗位职责: 1、负责网页及APP端数据采集相关技术实施； 2、设计并优化爬虫策略与反爬机制，提高数据采集的效率、完整性和系统稳定性； 3、参与智能采集系统的研发工作，包括采集任务调度、页面解析与结构化提取、大规模数据存储与高效读取等模块； 4、持续监控和分析爬虫系统的运行情况，针对技术短板进行架构优化与策略升级，增强公司产品与服务的技术竞争力。 任职资格: 1、具备约5年爬虫开发经验，可独立完成爬虫项目开发与维护； 2、掌握JAVA/Python/go其中一种或多种语言，了解常用数据结构与算法；熟悉分布式架构、缓存、消息队列、搜索等相关技术原理； 3、理解爬虫核心技术与分布式系统架构，熟练使用至少一种主流开源爬虫框架，如scrapy、feapder等，掌握协议分析、模拟操作、AST解混淆、APP逆向等常见采集技术，具备应对账号封禁、IP限制、验证码识别等反爬问题的能力； 4、熟练运用Mysql、ES、Kafka等数据组件； 5、有电商类平台如淘宝、拼多多等数据抓取经验者优先考虑； 6、掌握Android逆向技术，具备主流App逆向分析、风控对抗及算法破解实践经验