高级大数据运维工程师

岗位职责

集群治理

熟练掌握Hadoop生态系统的运维工作，保障YARN、Spark、Flink、Kafka等核心组件集群的高可用性，具备独立排查并处理各类生产环境问题的能力。

性能优化与成本管控

通过资源调度策略优化（如YARNCapacityScheduler、K8SHPA）及数据倾斜问题治理，持续提升任务运行效率。

构建集群资源使用模型，识别低效节点，推进资源利用效率的整体提升。

全链路监控与应急响应

搭建三层监控架构（硬件层→服务层→业务层），结合Prometheus与Alertmanager实现5分钟内异常发现。

主导P1级别故障处置，制定标准化应急流程（Runbook），推动关键场景自动切换机制落地（如HDFSNameNode主备快速切换）。

安全与规范

实施Kerberos身份认证与Ranger权限管理策略，对高风险操作进行审计追踪（如敏感HDFS文件删除行为）。

编制大数据平台各组件运维标准文档（如Kafka版本升级操作指南、磁盘故障应对方案）。

技术要求

硬性条件

精通以下至少两类组件的运维能力：

存储层：HDFS/Ceph/Alluxio

计算层：YARN/Spark/Flink

消息层：Kafka/Pulsar

调度层：Airflow/DolphinScheduler

熟练运用运维核心工具链：

监控：Prometheus/Zabbix+Grafana

部署：Ansible/SaltStack+Kubernetes

日志：ELK/ClickHouse

具备复杂问题诊断能力（如ZooKeeper脑裂、HDFSBlock丢失、KafkaISR频繁波动等）。

优先考虑

主导完成过PB级集群迁移或升级项目（如Hadoop2.x升级至3.x）；

拥有多个租户环境下资源隔离实践经验（YARN队列配额控制、Kafka流量限制）；

熟悉云原生架构，具备K8S实际使用经验者优先；

有AI大模型相关技术支持经验者优先；

具备运维团队管理经历者优先。

团队协作要求

以数据支撑决策：例如基于集群QPS与延迟统计报告，推动开发侧优化Shuffle执行逻辑；

注重知识沉淀：每解决一次线上问题，输出一篇完整的故障分析复盘文档；

具备DevOps理念：推动CI/CD在数据任务发布中的落地应用（如SparkJar包自动化测试流程建设）。

福利待遇

工作保障：

全额缴纳社保及公积金

生活关怀：

提供免费午餐和晚餐

发放生日礼品