爬虫开发工程师

职位描述 1.参与分布式爬虫架构及数据采集系统的设计与实现 2.制定爬取策略与反屏蔽机制，优化页面抓取效率与数据准确性 3.承担海量文本、图像及相关数据的采集、清洗与格式化处理 4.分析目标网站结构特征，开展互联网信息挖掘，总结其规律与特性 【岗位要求】 1.基础能力扎实，掌握常见数据结构与算法，精通JavaIO、多线程、集合等核心技术 2.熟悉缓存技术、消息队列、并发处理框架以及异步编程模型 3.掌握TCP/IP、HTTP等网络基础协议原理与应用 4.熟练使用Appium、Selenium、PhantomJS、WebDriver等自动化工具 5.具备网页结构自动识别与数据抽取算法、输出结构化结果经验者优先 6.有可视化采集、基于JS的规则自动生成、分布式采集项目经验者优先 7.具备良好的协作精神，热爱技术研发工作