大数据平台或大数据产品开发

职位描述： 1.使用Java开发实时数据流处理应用程序，包括Flink和SparkStreaming。 2.处理大规模数据集，包括在Hadoop、HBase、MPP数据库、PostgreSQL等存储系统中进行数据操作。 3.参与大数据项目的需求分析、系统架构设计、并完成需求设计相应文档的编写。 4.从事大数据平台或大数据产品的开发、优化工作。 5.进行大数据相关的新技术研究，提高技术创新能力。 职位要求： 1.本科及以上学历，4年以上大数据开发经验，计算机相关专业。 2.精通Java编程语言，具有FlinkApi和SparkCore实时数据处理经验,如sparkdataframerdd/flinkdatastream/hive或dorisudf。 3.熟悉业界常见的数据平台、产品和工具，如Hadoop、腾讯TBDS，并熟悉开源大数据平台核心组件的工作原理,有一定的集群运维经验,能处理简单的问题。 4.熟练使用HDFS、Hive、HBase、DolphinScheduler、Doris、Spark、Flink、Paimon等开源组件。 5.熟悉事务型数据库(如Oracle、MySQL、PostgreSQL、SQLServer等)和分析型数据库(如Doris等)，具有丰富的SQL语言开发经验和数据库调优经验。 6.熟练使用Shell脚本和命令，进行数据处理、文件操作等任务，确保高效的大数据处理。 7.良好的沟通能力、表达能力和文档编写能力。 10.良好的抗压能力和团队协作能力。 11.参与过医疗行业的数据加工和开发者优先,如对接hl7/fhil。 12.参与过医疗行业指标开发、标签模型设计优先。