hadoop大数据开发工程师

岗位职责： 1.集群管理：负责Hadoop集群的部署、配置、日常维护与性能优化，保障系统持续稳定运行。 2.性能调优：持续监控集群运行状态，针对性地进行参数调整与资源配置优化，提升数据处理效率和资源使用率。 3.故障排查：及时响应并处理系统异常，精准定位故障根源，采取有效措施恢复服务。 4.安全管理：构建并完善集群安全策略，落实数据保护机制，防范非法访问与数据泄露风险。 5.技术选型：结合业务发展需求，评估并选用适配的Hadoop生态组件及相关技术方案。 6.项目支持：为业务部门提供专业技术支撑，参与需求讨论，协同设计高效的数据处理架构。 7.文档编写：整理编写各类技术文档，包括操作规范、排错手册等，促进团队知识沉淀与共享。 任职要求： 1.教育背景：计算机科学或相关专业本科及以上学历。 2.经验要求：具备3年以上大数据平台运维经验，熟练掌握Hadoop生态系统。 3.技术技能：精通Hadoop体系架构及核心模块（如HDFS、YARN）；熟悉Hadoop生态常用组件（如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等）；熟练使用Linux系统；掌握Shell脚本编写；具备Python、Java或Scala中至少一种语言的实际开发能力。 4.软技能：具备良好的沟通协调能力与团队协作意识；能独立分析和解决问题；持续关注新技术并保持学习热情。 5.加分项：有AmbariMpack开发经验，或拥有百台以上服务器、PB级数据规模的运维实践经验。