大数据开发工程师

基本要求 负责基于Hadoop、Spark、Flink等技术的金融级数据平台的规划、建设和持续迭代。 主导数据仓库、数据湖/湖仓一体等数据体系的设计与实施，包括ODS、DWD、DWS、ADS等数据分层建模，并熟悉Iceberg、Hudi等表格式。 负责数据采集、集成、清洗、加工的全链路开发，确保数据的准确性、完整性和时效性。 实时与离线计算 精通SparkStreaming/StructuredStreaming、Flink等实时计算框架，构建低延迟、高可用的实时数据处理管道。 优化HiveonTez/Spark、Impala等离线数据处理作业，保障大规模数据计算任务的效率和稳定性。 熟练运用Kafka、Flume等组件，解决数据接入与集成问题。 性能优化与治理 持续对Hive/Spark作业进行性能调优，具备解决数据倾斜、GC（垃圾回收）问题、SQL优化等复杂技术难题的能力。 业务赋能与协作 深入理解金融业务（如风控、交易、资产、营销等），能将业务需求转化为清晰的技术方案和数据模型。 与业务部门、数据分析师紧密协作，提供高质量的数据支持和服务。 必备条件 -学历与经验：统招本科及以上学历，计算机相关专业，7年及以上大数据开发经验，至少3年银行业（背景。 -技术栈：精通Hadoop（HDFS/YARN）、Hive（尤其熟悉HiveonTez）、Spark、Kafka、Flink。熟练使用Impala,Hue等Cloudera数据平台组件。 -数据架构：深刻理解数据仓库建模理论（如维度建模），具备大型数仓或指标体系建设经验。有数据湖/湖仓一体项目经验者更佳。 -编程能力：熟练掌握Python和Shell脚本编程，能够进行自动化脚本开发和任务调度。 优先考虑 -具备Hive/Spark作业性能调优实战经验，能独立解决数据倾斜等疑难杂症。 -拥有SparkStreaming/StructuredStreaming或Flink实时计算项目经验。 -熟悉HBase,impala,Sqoop等Hadoop生态其他组件，了解Kerberos、Ranger等安全认证与权限管理机制。