Python开发工程师

岗位职责： 1.负责目标网站的页面采集、信息提取及反爬机制破解； 2.承担多平台数据抽取、清洗、存储及服务化等研发与性能优化任务； 3.参与分布式网络爬虫系统的开发与架构设计，完成数据抓取与分析工作； 4.持续优化爬虫算法，提升系统运行稳定性与横向扩展能力； 5.独立应对开发过程中各类数据需求及接口相关技术问题。 任职要求： 1.本科及以上学历，计算机相关专业，具备3年以上相关领域工作经验； 2.深入掌握网页采集原理与技术手段，熟练运用正则表达式，能高效提取结构化与非结构化数据； 3.精通JAVA/PYTHON编程语言，了解数据库性能调优及常用缓存机制与策略； 4.熟练使用至少一种主流开源爬虫框架，具备反爬处理和验证码识别经验者优先； 5.熟悉互联网常见技术方案与通用解决路径，有源码级理解或开源项目贡献经历者优先； 6.具备出色的逻辑分析能力，热衷于攻克复杂技术难题，善于归纳与解决问题； 7.掌握APP脱壳、逆向反编译、JS解密等逆向工程技术者优先考虑。 加分项： 1）具备移动端App数据采集实战经验 2）具有Airflow、DolphinScheduler或xxl-job等开源调度系统部署经验 3）拥有浏览器插件实现数据采集的相关经历