大数据开发

岗位职责： 1、参与大数据平台的搭建与日常运维工作； 2、负责数据采集流程及处理逻辑的设计与开发实施； 3、攻克项目实施过程中的各类技术难点，推进数据存储与处理应用的提速，优化海量数据的计算架构，提升数据存储与运算效能。 岗位要求： 1、掌握java、python编程语言，了解springboot框架，具备基础开发能力； 2、熟练使用PostgreSQL、Clickhouse、Doris、Hbase等数据库系统，能够编写复杂SQL语句； 3、深入理解Flink/Spark/Hadoop等大数据组件的工作机制并能实际应用，具备大规模数据实时与离线处理经验，熟悉相关性能调优方法； 4、熟悉Linux常用命令，具备shell脚本编写能力； 5、具备基于kubernetes的大数据平台部署与运维实践经历； 6、有数据治理、大数据分析或数据仓库建设相关经验者优先； 7、熟悉Linux下的开发环境与工作流程。 备注：具备flink、clickhouse及实时流处理经验，有高频、大规模传感器数据接入落地经验者优先