爬虫工程师

岗位职责：

1、负责构建高效稳定的爬虫系统，保障数据采集的准确与及时；

2、深入分析网站页面结构，制定并优化爬取策略，应对各类反爬机制；

3、持续维护和迭代爬虫脚本，提升数据处理性能与结果质量；

4、积极参与团队技术沟通，共享爬虫实践经验，助力项目顺利推进。

任职要求：

1、熟练掌握Python语言，熟悉Scrapy、Selenium、Requests等主流爬虫工具；

2、具备处理复杂反爬方案的能力，包括IP代理池搭建、验证码破解等技术；

3、了解多线程/多进程编程模型，掌握分布式爬虫基本架构；

4、具备良好的协作意识，能独立完成任务模块，拥有较强的问题解决与学习能力。