爬虫开发工程师

岗位职责： 1、负责公司数据采集任务的代码开发，完成多平台信息抓取、数据清洗及存储入库等相关工作； 2、负责爬虫项目的整合、部署与任务调度管理； 3、负责项目中数据抽取、清洗、结构化处理及数据库写入等流程的实施； 4、保障现有爬虫系统的稳定运行，及时进行维护与优化。 任职要求： 1、具备大规模数据采集实践经验者优先考虑； 2、至少熟练掌握mysql、mongodb、redis、clickhouse等数据库中的其中一种； 3、熟悉scrapy-redis或其它分布式爬虫框架，掌握网页数据采集原理与技术，能熟练运用正则、Xpath等数据解析方法； 4、具备较强的逻辑分析与问题解决能力，可独立完成爬虫程序编写及服务部署； 5、精通python语言，熟练应用多线程编程技术； 6、熟悉linux系统常用服务器命令，具备良好的编程规范与代码习惯。