ETL开发工程师

一、职位概述

负责企业级数据体系的搭建与运维，覆盖数据抽取、转换、加载（ETL）全流程，支撑业务分析、数据建模以及实时与离线数据处理需求。

二、工作内容

1、ETL流程开发与优化

1）设计并实施高效ETL流程，完成数据清洗、加工、迁移和加载，确保数据质量与更新时效。

2）根据业务场景编写数据采集脚本，构建数据仓库分层架构（ODS/DW/DM）。

2、数据分析与建模

1）搭建业务指标体系及风控模型。

2）跟踪数据波动情况，定位异常原因并提出改进方案，助力业务决策支持。

3、系统架构与协作

1）参与大数据平台架构规划，提升数据存储与计算效率（如Hive、Flink、Doris）。

2）联动业务部门梳理需求，输出数据对接文档，配合BI报表开发与可视化应用落地。

三、任职资格

1、教育背景

计算机相关专业本科及以上学历。

2、技术要求

1）数据库：精通SQL（HiveSQL、MySQL、Oracle等），了解NoSQL及分布式存储技术。

2）编程语言：掌握Shell、Java，具备脚本开发与存储过程编写能力。

3）大数据技术：熟悉Hadoop生态（HDFS、Hive、HBase）、实时计算框架（Flink）及Doris。

3、经验要求

1）3年以上数据开发或数据挖掘工作经验，有能源、电力行业经历者优先考虑。

2）掌握数据仓库理论，可独立完成数据模型设计及ETL全链路开发任务。