爬虫工程师

岗位职责： 1、负责网络爬虫系统的开发及爬虫策略的优化，实现多平台数据的采集与分析； 2、完成日常数据抓取、解析处理及数据入库等相关工作； 3、主动思考并探索爬虫技术在业务场景中的应用价值，参与制定数据高效利用方案，从数据完整性与合理性角度提出优化建议； 4、主导爬虫核心技术的研究方向，持续探索系统优化路径，提升爬虫架构的稳定性与可扩展性； 5、设计高效的网页抓取策略及反屏蔽机制，提高数据采集的效率与准确率。 任职要求： 1.统招本科及以上学历，计算机相关专业，2年以上爬虫项目实战经验并具备团队管理经历，具备扎实的计算机理论基础； 2.精通Python语言，编程基础牢固，具备良好的代码设计能力； 3.深入理解爬虫工作机制，熟练掌握Scrapy、pyspider等主流爬虫框架，具备应对账号封禁、IP封锁、验证码识别、页面反爬限制等问题的实际解决方案； 4.熟练运用Python中request、xpath、BeautifulSoup、正则表达式等相关技术模块； 5.具备Django、flask等Web框架的基本应用能力； 6.熟练操作MySQL、MongoDB，熟悉Redis，了解Hadoop、hbase等相关大数据技术； 7.具备较强的业务理解与数据转化能力，积极进取，具有良好的团队协作意识，责任心强，沟通能力强，能适应高强度工作环境；