大数据开发

1、熟练掌握SparkSQL与HiveSQL开发，具备不少于3年的实际项目经验

2、理解执行计划的解析过程，精通Spark和Hive性能调优技术：包括分区裁剪、谓词下推、Join策略优化、内存配置及并行度调整

3、了解大数据平台核心组件：HDFS、YARN、HBase等，能够通过执行计划分析识别并解决SQL性能瓶颈

4、具备实时计算框架使用经验，熟悉Flink或SparkStreaming相关技术

5、优先考虑：了解主流数据湖方案如DeltaLake、Iceberg，具有Python或Scala语言开发能力

6、任职要求：计算机类相关专业本科及以上学历，3年以上大数据开发背景，有处理PB级别数据经验者优先