爬虫工程师

爬虫工程师

1、负责分布式网络爬虫系统设计，搭建系统框架，开发分布式网络爬虫系统；

2、负责数据的抓取、提取、数据分析等工作，满足业务部门对数据的需求。

3、负责公司自动化项目研发。

4、设计和优化数据抓取策略，能够应对各种反爬策略，提高数据抓取的效率和质量。

5、参与项目的需求调研和需求分析、自动化工具软件设计与开发；

6、理解数据需求，快速响应和解决数据相关问题。

7、参与数据清洗、提取和转换工作，能快速从海量数据提取所需数据，构建高效、稳定的数据处理流程；

任职要求

熟练使用JS逆向加解密解析，有新媒体社交平台抓取经验者优先