爬虫工程师助理

一、岗位职责

1.爬虫辅助开发：协助工程师进行爬虫需求分析，整理目标数据源信息（如网站结构、数据格式）；参与简单爬虫脚本的编写、调试及优化辅助工作，确保数据采集效率。

2.数据采集执行：根据开发的爬虫程序或采集规则，执行数据抓取任务，监控采集过程，及时反馈程序运行中的异常（如反爬拦截、数据缺失等）。

3.数据清洗与整理：对采集到的原始数据（结构化、非结构化）进行初步清洗，包括去重、格式标准化、缺失值处理等，提升数据质量，为后续分析提供基础。

4.数据存储与归档：按照规范将处理后的数据录入数据库或指定存储系统，做好数据分类、备份及归档工作，保障数据安全与可追溯性。

5.信息调研与维护：调研目标网站的反爬机制及更新情况，整理相关信息反馈给工程师；协助维护爬虫工具及环境，记录工具使用问题及解决方法。

6.文档与报表工作：协助编写爬虫开发日志、数据采集报告等文档；按要求统计采集进度、数据量等信息，形成基础报表。

7.其他工作：完成上级交办的其他与爬虫开发、数据采集相关的辅助性任务。

二、任职要求

1.学历背景：本科及以上学历，计算机科学与技术、数据科学、信息管理、软件工程等相关专业优先。

2.技能要求：

-了解Python编程语言基础，熟悉常用数据处理库（如Pandas、NumPy）者优先。

-了解爬虫基本原理，知道常见爬虫工具（如Scrapy、BeautifulSoup、八爪鱼）或框架者优先。

-掌握基础的SQL语法，能进行简单的数据查询、插入操作；熟悉Excel等办公软件的数据处理功能。

-了解HTML/CSS基础结构，能看懂简单网页源码，识别数据所在标签者优先。

-具备快速学习能力，能快速掌握新的爬虫工具及技术。

3.素质要求：

-工作认真细致，责任心强，具备良好的逻辑思维和问题排查能力。

-严格遵守网络爬虫相关法律法规及公司规范，重视数据隐私与安全，具有良好职业操守。

-具备良好的沟通协调能力和团队合作精神，能高效配合工程师完成任务。

-对数据采集、爬虫技术有浓厚兴趣，能承受一定的工作压力，适应业务需求变化。

三、薪资福利

-薪资范围：5k~8k

-福利保障：五险一金、带薪年假、节日福利、定期体检、专业技能培训、项目奖金、团队团建等。

-晋升路径：爬虫工程师助理→爬虫工程师→高级爬虫工程师→爬虫技术主管→数据技术经理