大数据 高级数据采集工程师

岗位职责： 1 负责PC端及手机App端的数据采集工作； 2 根据指定数据源进行信息抓取，并按要求完成数据清洗与结构化处理； 任职要求： 1 本岗位不招聘实习生，需具备相关工作经验，薪资可面议； 2 精通Python语言，熟练运用Scrapy等常用框架，具备丰富的反爬虫应对经验； 3 掌握正则表达式、Xpath等数据解析技术； 4 熟悉主流数据库技术，如MySQL、MongoDB、Redis、ES等； 5 熟练使用各类抓包工具，能够实现App脱壳、逆向分析与抓包操作，具备独立部署和搭建项目的能力； 6 熟悉海外网站环境，有境外站点数据采集经验，熟练掌握VPIN、境外服务器配置、IP管理与代理策略、API调用及验证码处理等相关技能。