大数据平台开发工程师

岗位职责 1. 参与数据平台核心组件（如数据采集、存储、计算、调度、元数据管理等）的设计与开发，使用主流大数据技术栈（如Hadoop/Spark/Flink/Kafka等）构建高可靠、高性能的平台服务； 2. 根据业务需求，开发平台功能模块（如数据血缘追踪、任务调度优化、资源管理、权限控制等），解决平台性能瓶颈（如任务延迟、资源利用率低等问题）； 3. 参与数据治理工具的开发（如数据质量监控、元数据管理、数据标准落地），提升平台的数据规范性与可用性； 4. 设计并实现平台的高可用架构（如故障自动转移、服务降级策略），监控平台运行状态（如任务失败告警、资源使用监控），快速定位并解决线上问题； 5. 与数据仓库、算法、分析等业务团队合作，理解其平台使用需求，提供技术支持与功能优化，推动平台工具的落地应用； 6. 编写平台技术文档（如架构设计文档、API接口文档）、开发规范（如代码规范、部署规范），推动团队技术资产的沉淀。 任职要求 教育背景 1. 本科及以上学历，计算机、统计学、数学、信息管理等相关专业(优秀者可放宽)；2026届应届毕业生 专业技能 1. 基础专业课程优秀, 熟练掌握Java/Scala/Python至少一种语言，具备扎实的面向对象编程能力，熟悉常用的数据结构和设计模式； 2. 了解Hadoop/Spark/Flink/Kafka等大数据生态组件（如HDFS、YARN、Spark Core/SQL、Flink流批一体计算），有至少1-2个组件的深入实践（如基于Spark开发离线计算任务、基于Kafka构建数据管道）； 3. 熟悉关系型数据库（MySQL/PostgreSQL）与NoSQL数据库（HBase/Elasticsearch），了解数据存储模型（如分区表、索引优化）； 4. 理解分布式系统基本概念（如CAP理论、一致性协议），有基础的服务开发经验（如RESTful API设计、RPC框架使用）； 5. 熟悉Linux常用命令与Shell脚本，掌握Git版本控制工具，有Docker/Kubernetes容器化技术经验者优先； 6. 有数据平台/工具开发实习经验（如参与过任务调度平台、元数据管理平台、数据质量平台开发）者优先。 能力素质 1. 对大数据技术有浓厚兴趣，愿意深入钻研底层原理（如Spark执行引擎、Flink状态管理），跟踪技术前沿（如湖仓一体化、实时计算）； 2. 具备扎实的编码能力与系统设计能力，能独立完成模块开发并编写高质量代码（如注重代码可读性、可维护性）； 3. 能快速定位复杂问题（如任务失败、性能瓶颈），通过日志分析、性能调优等手段解决问题； 4. 良好的团队协作意识，能清晰表达技术方案，与跨团队（如数据开发、算法、运维）高效沟通需求与问题； 加分项 1. 有数据平台/中间件开发实习经验（如参与过任务调度系统、元数据管理系统、数据集成工具开发）； 2. 熟悉实时计算技术（如Flink流处理、Kafka Streams）或有实时数仓项目经验； 3. 了解数据湖技术（如Delta Lake/Iceberg/Hudi）或有湖仓一体化项目实践； 4. 在校期间参与过开源项目贡献、数据竞赛（如Kaggle、天池）或发表过技术博客/论文。