大数据运维技术员

【岗位职责】 1、负责大数据集群核心组件的全生命周期运维工作，涵盖Ambari的部署与管理、Hadoop（HDFS/YARN）集群的日常维护、Spark/Flink计算任务的技术支持，以及Hive/HBase的数据存储运维；同时承担Kylin、Doris、ES、Zookeeper、海豚调度器等组件的例行巡检、故障定位与版本升级任务，确保系统7×24小时高可用运行。 2、参与大数据平台在信创环境下的技术适配与落地实施，针对飞腾、海光、鲲鹏架构服务器，以及麒麟 V10SP2/3 操作系统的部署场景，解决组件兼容性问题（如Hadoop与鲲鹏芯片驱动的适配、Flink在麒麟系统中依赖库的冲突），并形成可复用的信创运维文档和应急响应方案。 3、基于RedHat、CentOS及麒麟 V10SP2/3 系统，使用Shell脚本实现运维流程自动化，包括集群状态批量检测、日志周期性清理、配置文件跨节点同步等操作；同时运用Python或Go语言开发定制化运维工具，提升整体运维效率（例如历史故障智能分析工具、配置一致性校验工具）。 4、参与集群资源容量评估、性能优化及监控告警体系的持续改进，结合业务侧数据增长趋势和计算负载需求，提出合理的资源扩容建议；对慢查询、任务阻塞等问题，协同业务团队进行SQL优化与组件参数调优。 5、负责运维知识体系的积累与沉淀，输出完整的集群架构图、组件安装部署文档、典型故障处理案例及信创适配技术指南，并协助完成新成员培训和技术交流工作。 6、完成上级交办的其他工作任务。 【任职要求】 1、本科及以上学历，计算机、大数据、软件工程等相关专业优先考虑，具备3年以上大数据集群运维经验，有金融、互联网行业大规模集群（50节点以上）运维背景者优先。 2、深入掌握Hadoop生态各组件的工作原理与运维实践，能够独立处理HDFS块丢失、YARN资源死锁、Hive元数据异常、Flink任务背压等复杂问题；熟悉Spark/Flink任务提交机制、资源配置策略及性能调优方法，了解Kylin/Doris的预计算模型与查询加速机制。 3、熟练掌握RedHat/CentOS系统常用命令，具备扎实的Shell脚本编写能力；拥有Python或Go语言开发经验，有实际运维工具开发成果（如自动化部署系统、巡检平台）者优先录用。 4、熟悉主流监控告警工具（如Prometheus、Grafana、夜莺）的使用与配置，能独立搭建组件监控视图并设置有效告警规则；具备资源容量规划与系统性能调优经验，了解云原生技术栈（Docker、K8s）者优先考虑。 5、具备良好的问题分析能力和突发事件应对能力，工作认真负责，能接受节假日值班安排及突发故障的紧急响应任务。