爬虫工程师

核心职责：

1.爬虫开发：使用Python及相关框架（如Scrapy,Selenium）开发稳定高效的网络爬虫。

2.数据采集：精准抓取商品信息

3.应对反爬措施：处理IP限制、动态加载（AJAX）、User-Agent验证及简单验证码等问题。

4.数据处理与存储：对采集的数据，并存入指定格式（如Json或数据库）

5.自动化与维护：将爬虫部署到服务器，配置定时任务以实现每日自动运行，并根据网站变化进行长期维护。

职位要求：

·技术栈：熟练掌握Python，并有Scrapy或Selenium等框架的使用经验。

·核心能力：具备处理各类反爬机制的能力，以及设计和维护稳定爬虫系统的能力。