高级大数据运维工程师

岗位职责: 1、负责大数据平台(Hadoop/Spark/Flink/Kafka/Hive/HBase 等)的部署、运维、监控与优化,保障平台高可用与稳定; 2、负责数据上报与采集系统(日志/埋点/监控数据上报链路)的建设与运维,保障海量数据高吞吐、低延迟、不丢失上报; 3、负责集群容量规划、资源调度与扩缩容(YARN/Kubernetes),支撑业务数据增长; 4、建设并维护数据监控告警体系,覆盖平台组件健康、数据延迟、完整性与质量,主导故障应急响应与复盘; 5、负责数据作业与 SQL/引擎的性能调优,协助数据开发团队排查作业瓶颈,保障数据 SLA; 6、推动数据治理与成本优化,包括存储冷热分层、计算资源治理、生命周期管理与降本; 7、负责集群安全与权限管理(Kerberos/Ranger 等)、数据访问控制与合规; 8、编写并维护运维文档、操作手册与应急预案,推动运维自动化与标准化。 任职要求: 1、统招本科及以上学历,计算机相关专业,5 年以上大数据平台运维或开发经验; 2、深入理解 Hadoop 生态(HDFS/YARN/Hive/HBase/ZooKeeper 等),具备大规模集群运维与故障排查能力; 3、熟悉 Spark、Flink 等计算引擎,具备作业调优与问题定位能力; 4、熟悉 Kafka 及数据采集组件(Flume/Logstash/Filebeat 等),有海量数据上报/采集链路运维经验; 5、熟悉调度系统(Airflow/DolphinScheduler 等)与监控体系(Prometheus/Grafana、ELK/EFK); 6、熟练掌握 Linux 及 Shell/Python/Go 至少一种,具备自动化运维开发能力; 7、熟悉 Kubernetes/容器技术,有大数据 on K8s 或存算分离架构经验者优先; 8、熟悉主流公有云大数据服务(如 EMR、MaxCompute、Redshift、MSK 等),有云上大数据运维经验; 9、具备良好的架构设计、性能调优与成本优化能力,沟通协作能力强。 优先条件: - 有上报系统/海量日志采集链路(日均 TB 级)运维经验者优先; - 有 Flink 实时数仓或流批一体建设经验者优先; - 有大数据 on Kubernetes / 存算分离架构落地经验者优先; - 有数据治理、数据质量保障或成本优化体系建设经验者优先; - 有 CDN/监控海量数据处理或公有云大数据(EMR/MaxCompute 等)经验者优先。