爬虫

岗位职责： 1. 负责PC端、手机App等平台的数据信息抓取与采集； 2. 根据指定数据源开展数据采集工作，并按标准对采集结果进行清洗及结构化整理； 任职要求： 1. 具备数据爬取相关经验，了解海外网站的数据结构与访问特点； 2. 精通Python编程语言，熟练运用Scrapy等主流框架，拥有丰富的应对反爬机制的实战经验； 掌握境外站点数据获取技术，熟悉VPN配置、境外服务器部署、IP资源管理与代理策略，以及API调用、验证码处理等相关技能； 3. 能够熟练操作各类抓包工具，具备App脱壳、逆向分析和抓包能力，可独立完成项目搭建与实施； 4. 掌握Scrapy等常用Python开发框架，具备扎实的数据采集与清洗处理能力； 5. 熟悉MySQL、MongoDB、Redis、ES等常见数据库的使用； 6. 熟练应用正则表达式、XPath等数据解析方法； 7. 了解数据采集与处理领域的相关法律法规，能够依法依规开展数据采集与处理工作；