大数据开发工程师

岗位职责: 1、负责大数据平台的整体架构设计与核心开发工作； 2、开展数据仓库的搭建及性能优化； 3、基于Hadoop等大数据技术体系进行数据加工与分析处理； 4、开发MapReduce程序及Spark相关作业任务； 5、参与数据挖掘类项目的研发与落地实施。 任职要求: 1.表达流畅，逻辑思维能力强。 2.掌握大数据生态相关技术栈 *分布式计算框架：Hadoop、Spark、Flink（需理解底层原理，具备调优与故障排查能力）。 *数据处理工具：Hive、Pig、SparkSQL、FlinkSQL等。 *实时与离线数据湖架构：了解Lambda/Kappa架构，熟悉分层建模方法（ODS/DWD/DWS/ADS）。 *消息中间件：Kafka、Pulsar、RocketMQ等（需具备消息积压、顺序消费等典型场景的应对经验）。 3.数据存储与查询能力 *熟悉主流分布式存储系统（HDFS、HBase、Cassandra）。 *掌握列式存储格式（Parquet/ORC），了解OLAP引擎（ClickHouse/Doris/Presto） 4.数据治理与质量保障 *具备数据清洗、去重及数据一致性校验的实际项目经验。