爬虫工程师

工作职责：

1、研究给到既定网站的爬虫策略和防屏蔽规则，议破解完成资源的抓取和存储。

2、进行前沿技术研究，攻克技术难题；

3、实时监控爬虫任务的执行状况，处理爬虫异常。

岗位要求：

1、3年以上爬虫经验，熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验；

2、熟悉各种抓取技术，包括代理、PhantomJS/selenium、验证码处理；

3、熟悉反爬虫技术，有分布式爬虫架构经验；

4、对爬虫有浓厚的兴趣，责任感强，热衷挑战困难的工作，拥有良好的团队协助和沟通能力。