网络数据抓取

【岗位职责】： 1、负责动态网页数据的采集，并对采集到的数据进行分类、解析、分析、清洗及存储管理； 2、具备3年以上c#开发经验，编程基础牢固，熟练掌握io、多线程与并发编程技术； 3、主导爬虫核心技术研发与策略优化工作，保障所获取数据的准确性与完整性； 4、攻克关键技术难点，处理开发过程中遇到的各类实际问题。 【岗位要求】： 1、本科及以上学历，计算机相关专业背景，具有3年以上爬虫领域工作经验； 2、熟悉网页抓取机制及相关技术，掌握正则表达式、httpClient、jSoup、Xpath、CSS等信息提取方法，了解主流爬虫框架的使用； 3、具备良好的问题分析与解决能力，熟悉常见爬虫与反爬技术，包括动态页面采集、浏览器模拟采集及App数据抓取； 4、有自然语言处理、语法句法分析、文本分类/聚类、图像识别等相关经验者优先考虑； 5、具备hadoop、Spark、HBase、Storm、Hive等大数据平台的设计、部署与开发经验者优先； 6、需具备2年海外航空公司数据抓取经验，能有效应对国际环境中的PerimeterX、shape、Tls指纹、cloudflare、reCAPTCHA等反爬封锁机制；