高级Python数据采集工程师

岗位职责：

1.负责完成公司商业查询数据及电商平台数据的采集任务；

2.负责分布式爬虫系统的搭建与维护，管理相关服务器资源，设计并实现任务调度模块；

3.针对各类反爬机制进行技术攻关，确保数据稳定获取；

4.参与公司底层数据平台及相关工具的研发与优化工作。

任职要求：

1.本科及以上学历，计算机或相关专业，具备3年以上爬虫领域开发经验；

2.熟练掌握Python编程语言，拥有至少3年基于Python的项目开发经历；

3.具备大规模数据抓取、解析、清洗和存储的实际项目经验；

4.熟悉Linux操作系统环境及常用操作命令；

5.熟悉Mysql、redis等数据库技术，具备海量数据存储处理经验者优先考虑；

6.掌握逆向工程技术（含App、so文件逆向），熟悉极验、瑞数等防护机制，具备安卓签名校验对抗经验者优先；

7.有多个网站数据采集系统开发或通用采集工具研发经验者优先；

8.具备机器学习、自然语言处理相关研发背景者优先