大数据开发工程师

基本要求

负责基于Hadoop、Spark、Flink等技术的金融级数据平台的规划、建设和持续迭代。

主导数据仓库、数据湖/湖仓一体等数据体系的设计与实施，包括ODS、DWD、DWS、ADS等数据分层建模，并熟悉Iceberg、Hudi等表格式。

负责数据采集、集成、清洗、加工的全链路开发，确保数据的准确性、完整性和时效性。

实时与离线计算

精通SparkStreaming/StructuredStreaming、Flink等实时计算框架，构建低延迟、高可用的实时数据处理管道。

优化HiveonTez/Spark、Impala等离线数据处理作业，保障大规模数据计算任务的效率和稳定性。

熟练运用Kafka、Flume等组件，解决数据接入与集成问题。

性能优化与治理

持续对Hive/Spark作业进行性能调优，具备解决数据倾斜、GC（垃圾回收）问题、SQL优化等复杂技术难题的能力。

业务赋能与协作

深入理解金融业务（如风控、交易、资产、营销等），能将业务需求转化为清晰的技术方案和数据模型。

与业务部门、数据分析师紧密协作，提供高质量的数据支持和服务。

必备条件

-学历与经验：统招本科及以上学历，计算机相关专业，7年及以上大数据开发经验，至少3年银行业（背景。

-技术栈：精通Hadoop（HDFS/YARN）、Hive（尤其熟悉HiveonTez）、Spark、Kafka、Flink。熟练使用Impala,Hue等Cloudera数据平台组件。

-数据架构：深刻理解数据仓库建模理论（如维度建模），具备大型数仓或指标体系建设经验。有数据湖/湖仓一体项目经验者更佳。

-编程能力：熟练掌握Python和Shell脚本编程，能够进行自动化脚本开发和任务调度。

优先考虑

-具备Hive/Spark作业性能调优实战经验，能独立解决数据倾斜等疑难杂症。

-拥有SparkStreaming/StructuredStreaming或Flink实时计算项目经验。

-熟悉HBase,impala,Sqoop等Hadoop生态其他组件，了解Kerberos、Ranger等安全认证与权限管理机制。