爬虫开发工程师

岗位职责：

1、负责网络爬虫系统的开发与爬虫策略优化，实现多平台数据的采集与分析；

2、完成数据抓取、解析处理及存储等日常数据相关工作；

3、主动思考并探索爬虫技术在业务场景中的应用价值，参与制定数据高效使用方案，从数据完整性与合理性角度提出专业建议；

4、主导爬虫核心技术的研究方向，持续探索系统优化路径，提升爬虫架构的稳定性与可扩展能力；

5、制定高效的爬取策略与反屏蔽机制，提高页面抓取效率与数据质量。

任职要求：

1.统招本科及以上学历，计算机相关专业，具备扎实的计算机理论基础，2年以上爬虫项目实战及团队管理经验；

2.精通Python语言，拥有良好的编程基础和代码设计能力；

3.掌握爬虫运行机制，熟悉Scrapy、pyspider等主流框架，具备应对账号封禁、IP封锁、验证码识别、网页反爬限制等问题的实际解决经验；

4.熟练运用Python中request、xpath、BeautifulSoup、正则表达式等相关技术模块；

5.具备Django、flask等Web框架的基础应用能力；

6.熟练操作MySQL、MongoDB、Redis，了解Hadoop、hbase等相关大数据技术；

7.具备较强的业务理解与数据转化能力，积极进取，富有团队协作意识，责任心强，沟通顺畅，能适应高强度工作环境；