数据开发工程师

一、岗位职责 1、负责大数据平台离线、实时数据开发工作，完成海量数据ETL清洗、加工、转换与落地，搭建稳定高效的数据处理流程，保障数据流转的准确性与时效性。 2、参与数据仓库整体规划与建模设计，结合业务场景搭建合理的数据模型，持续优化数据架构、计算逻辑与存储结构，完善数据仓库体系。 3、负责大数据平台架构设计、性能调优及运维优化，针对计算、存储、调度环节进行专项优化，完成系统高可用、容灾方案设计，保障大数据平台稳定、高效运行。 4、根据业务需求开展数据处理、数据分析及数据可视化开发工作，输出标准化数据服务与数据解决方案，支撑日常业务数据需求落地。 5、对接业务及协作团队，高效响应各类数据支撑需求，同步项目进度、解答业务问题，基于用户反馈、现网数据情况及业务迭代变更，对数据处理机制、系统性能进行敏捷迭代与持续优化。 6、参与大数据相关项目落地实施，全程跟进开发、测试、上线全流程，保障项目高质量交付与稳定运行。 二、岗位要求 1、技术能力扎实，精通Hadoop、Hive、HBase、Spark、Flink、Kafka等主流大数据框架，具备海量数据离线处理、实时流处理实战能力。 2、熟练掌握SQL语法及数据仓库建模理论与设计方法，精通Python、Scala、Java至少一种编程语言，熟练使用各类自动化开发工具，可独立完成数据开发全流程工作。 3、深入理解分布式系统原理，熟悉大数据实时、离线整体架构，具备数据架构设计、大数据平台搭建与优化能力，擅长系统性能优化、任务调度优化及高可用、容灾体系设计。 4、具备专业的数据分析能力，能够精准拆解业务需求，独立完成数据处理、数据分析及可视化开发工作，适配各类业务数据应用场景。 5、拥有运营商大数据项目实战经验，具备大数据平台项目支撑经验，有中移互联网相关业务支撑经验者优先。 6、具备良好的沟通协调能力、问题排查能力和团队协作意识，思维敏捷，具备较强的业务理解能力和自主迭代优化意识，能够适配业务快速迭代节奏。 备注：该岗位需要线下面试