python开发工程师

工作职责：

1.针对指定网站开展网页抓取、数据提取及反爬机制破解工作；

2.负责多平台信息抽取、数据清洗、入库及服务化等研发与性能优化任务；

3.参与分布式网络爬虫系统的开发与架构设计，完成信息采集与分析功能；

4.持续研究并优化爬虫算法，提升系统稳定性与可扩展能力；

5.独立应对开发过程中各类数据需求及接口技术问题。

任职要求：

1.本科及以上学历，计算机相关专业，具备3年以上相关领域工作经验；

2.深入掌握网页抓取原理与技术，熟练运用正则表达式，能高效提取结构化与非结构化数据；

3.精通JAVA或PYTHON编程语言，熟悉数据库性能调优及常用缓存技术与策略；

4.熟练使用至少一种主流开源爬虫框架，具备反爬虫应对经验，掌握验证码识别技术者优先；

5.熟悉互联网常见技术方案与通用解决方案，有源码级理解或开源项目贡献经验者优先；

6.具备出色的逻辑思维能力，热衷于攻克复杂技术难题，善于分析并解决实际问题；

7.掌握APP脱壳、逆向反编译、JS解密等逆向技术者优先考虑。

加分项：

1)具备移动端App数据采集实践经验

2)有Airflow、DolphinScheduler或xxl-job等开源调度平台部署经验

3)拥有浏览器插件实现数据采集的相关经历