高级大数据开发工程师

主要岗位职责: 一、协同产品规划，优化数据产品功能、服务及业务流程； 二、承担数据仓库的规划、设计、开发工作，完成各业务线数据的采集、清洗、整合、调度与性能优化； 三、参与企业内部数据治理体系搭建，涵盖元数据管理、数据质量监控、权限管控及数据开发规范制定； 四、主导内部数据应用与工具的产品化设计、开发及日常维护； 五、处理大数据集群与线上数据服务中的各类技术问题，确保系统安全、高效、稳定运行； 六、跟踪大数据领域前沿技术，规划大数据平台类产品的整体架构，推动数据能力的服务化输出，支撑数据产品的研发与落地。 任职资格要求： 一、专业要求：计算机、通信、信息系统、数学等相关专业背景。 二、专业技能 1. 掌握Java、Scala、Python中至少一种编程语言； 2. 熟悉Hadoop生态组件的工程化开发，精通Hadoop、Spark、Hive、HBase、Flink、Kafka、ElasticSearch等主流大数据技术栈，具备Java与Scala项目实战经验，熟悉Python者优先考虑； 3. 对大规模数据场景下的数仓建设（包括离线和实时架构）在模型设计、服务构建、治理机制等方面有深入理解，拥有大型数仓或数据中台实施经验； 4. 熟练运用Mysql、Redis、Hive、Hbase等数据库的性能调优方法； 5. 具备较强的学习能力、沟通协调能力及团队协作意识。 加分项： 1、具备PB级别数据治理实践经验； 2、参与过个性化推荐引擎开发，熟悉spark mllib相关技术； 三、工作经验 8年以上相关领域工作经验，统招全日制本科及以上学历。