大数据爬取工程师

工作地点：可远程/北京/上海/深圳（可选）

岗位职责：

.能够爬取条件苛刻的图片视频文本试题等

.只会简单爬虫的不行‍

•负责设计、开发和维护高效稳定的数据爬虫系统，采集结构化与非结构化数据；

•分析目标网站结构，制定爬虫策略，解决反爬机制；

•管理爬虫任务调度、数据清洗与存储流程；

•与数据分析、产品团队协作，提供高质量数据支持；

•持续优化爬虫性能与稳定性，提升数据获取效率。

任职要求：

•熟练掌握Python，熟悉Scrapy、Selenium、Playwright等爬虫框架；

•熟悉HTTP协议、网页DOM结构、常见反爬机制及应对策略；

•熟悉正则表达式、XPath、CSSSelector等数据提取技术；

•熟悉MongoDB、MySQL、Elasticsearch等常见数据库；

•有分布式爬虫、代理池、任务调度经验者优先；

•具备良好的代码规范、文档习惯与团队协作能力。

加分项：

•有大型爬虫项目经验或爬虫平台搭建经验；

•熟悉Linux环境及Shell脚本；

•了解数据分析、机器学习相关知识；

•英文阅读能力良好，能处理海外网站数据。

我们提供：

•有竞争力的薪资与绩效奖金；

•弹性工作时间与远程办公支持；

•技术驱动的团队氛围，丰富的成长空间；

•定期技术分享与培训机会；

•丰富的项目资源与挑战性任务。