ETL开发工程师

一、职位概述

负责企业级数据体系的搭建与运维，覆盖数据抽取、转换、加载（ETL）全流程，支持业务分析、数据建模及实时与离线数据处理需求。

二、工作内容

1、ETL流程开发与优化

1）设计并实施高效ETL流程，完成数据清洗、加工、迁移与加载，确保数据质量与处理时效。

2）根据业务场景开发数据采集脚本，构建数据仓库分层架构（ODS/DW/DM）。

2、数据分析与建模

1）建立业务指标体系及风控模型。

2）跟踪数据波动情况，定位异常原因并提出改进方案，助力业务决策。

3、系统架构与协作

1）参与大数据平台架构规划，提升数据存储与计算效率（如Hive、Flink、Doris）。

2）配合业务团队梳理需求，输出数据映射文档，支撑BI报表开发与数据可视化落地。

三、任职资格

1、教育背景

计算机类相关专业本科及以上学历。

2、技术要求

1）数据库：精通SQL（HiveSQL、MySQL、Oracle等），了解NoSQL及分布式存储技术。

2）编程语言：掌握Shell、Java，具备脚本编写与存储过程开发能力。

3）大数据技术：熟悉Hadoop生态（HDFS、Hive、HBase）、实时计算框架（Flink）及Doris。

3、经验要求

1）3年以上数据开发或数据挖掘工作经验，有能源、电力行业经历者优先考虑。

2）掌握数据仓库理论，可独立承担数据模型设计与ETL全链路开发任务。