ETL开发工程师

一、职位概述 负责企业级数据体系的搭建与运维，覆盖数据抽取、转换、加载（ETL）全流程，支持业务分析、数据建模及实时与离线数据处理需求。 二、工作内容 1、ETL流程开发与优化 1）设计并实施高效ETL流程，完成数据清洗、加工、迁移与加载，确保数据质量与处理时效。 2）根据业务场景编写数据采集脚本，搭建数据仓库分层架构（ODS/DW/DM）。 2、数据分析与建模 1）建立业务指标体系与风控模型。 2）跟踪数据波动情况，定位异常原因并提出改进方案，助力业务决策。 3、系统架构与协作 1）参与大数据平台架构规划，提升数据存储与计算效率（如Hive、Flink、Doris）。 2）联动业务团队梳理需求，输出数据映射文档，支撑BI报表开发与数据可视化落地。 三、任职资格 1、教育背景 计算机类专业本科及以上学历。 2、技术要求 1）数据库：精通SQL（HiveSQL、MySQL、Oracle等），了解NoSQL及分布式存储技术。 2）编程语言：掌握Shell、Java，具备脚本开发与存储过程编写能力。 3）大数据技术：熟悉Hadoop生态（HDFS、Hive、HBase）、实时计算框架（Flink）及Doris。 3、经验要求 1）3年以上数据开发或挖掘经验，有能源、电力行业经验者优先。 2）掌握数据仓库理论，可独立完成数据模型设计与ETL全链路开发。