爬虫

岗位职责：

1、负责完成公司的数据采集任务代码编写，进行多平台信息的采集、清洗、入库等操作；

2、负责爬虫项目的集成、部署，任务调度等工作；

3、负责管理项目工程数据提取、清洗、结构化、入库等工作；

4、维护及稳定现有的爬虫相关工作；

任职要求：

1、有大规模数据采集经验优先；

2、至少熟悉mysql、mongodb、redis、clickhouse等数据库；

3、熟悉scrapy-redis或其他分布式爬虫框架、了解网页数据采集原理及技术，正则、Xpath等数据提取技术；

4、具备良好的分析解决能力，能独立完成爬虫代码编写以及服务部署爬虫；

5、熟悉python编程，熟练使用多线程编程。

6、熟悉服务器linux命令，有良好的编码习惯。