高级大数据架构师（央-双休）

优先录用条件 1)有大型企业级数据中心/数据中台架构设计经验，主导过数据采集-存储-计算-服务全链路搭建。 2)具备Kafka、hive、PostgreSQL等⼤数据组件⼆次开发经验，或有开源项⽬贡献经历。 3)熟悉湖仓一体、实时数仓等前沿数据架构，并有落地案例。 任职要求： 1)硬性技能要求 编程语言与架构：5年及以上Java后台开发经验，精通Java基础（集合、多线程、JVM调优、IO/NIO），深⼊理解Spring Boot、Spring Cloud微服务架构原理，具备微服务架构设计与调优经验。 大数据组件深度经验 a.精通Kafka原理与应用，具备集群架构设计、分区策略优化、消息可靠性保障、高并发场景调优实战经验，能独立解决Kafka消息积压、重复消费、分区不均等问题。 b.精通hive/PostgreSQL/clickhouse，具备分布式表设计、索引优化、查询性能调优、分库分表方案落地经验，能针对TB级数据场景设计高效存储与查询方案。 c.熟悉Hadoop、Spark、Flink等计算框架，具备实时/离线数据处理、ETL架构设计经验者优先。 技术能力：精通Linux系统，熟练使用Shell/Python脚本进行运维自动化与数据处理；具备扎实的数据库建模能力，理解数仓分层（ODS/DWD/DWS/ADS）设计理念；具备分布式系统问题排查能力，能通过日志、监控定位并解决性能瓶颈、稳定性问题。 工程化能力：精通Git、Maven/Gradle，熟悉CI/CD流程，具备自动化部署、容器化（Docker/K8s）经验者优先；具备良好的代码评审能力，能识别代码中的性能、安全、扩展性问题。 2)软技能要求 具备极强的需求分析与逻辑思维能力，能将复杂业务需求转化为清晰的技术方案。 具备优秀的跨团队沟通协调能力，能推动跨部门项目落地。 具备技术领导力，能带领团队攻克技术难点，推动技术创新与沉淀。 具备前瞻性思维，能预判技术风险并制定应对方案。 核心岗位职责 1)架构设计与技术决策 主导数据中心整体技术架构设计，包括数据链路（采集-存储-计算-服务）、微服务架构、大数据组件集群架构，输出架构设计文档并推动落地。 负责技术选型决策，针对Kafka、hive、PostgreSQL、flink、clickhouse等组件的集群部署、高可用方案、性能优化方向进行评估和确定。 牵头解决数据中心建设中的核心技术难点，如海量数据存储性能瓶颈、高并发数据服务稳定性问题、实时/离线数据融合方案等。 2)数据服务与组件深化开发 负责核心数据服务的架构设计，指导团队完成RESTful API、RPC接口的开发，保障接口的高性能、高扩展性。 主导大数据组件的二次开发与深度调优，例如Kafka消息积压治理、hive小文件合并处理、海量数据查询笛卡尔积深度优化、flink流任务谓词下推导致的数据不一致问题优化、PostgreSQL分库分表方案落地。 参与数据资产管理平台、任务调度系统等核心后台系统的方案设计，把控核心模块的开发质量。 3)团队指导与技术沉淀 指导中级、初级工程师的开发工作，参与代码评审，规范团队编码标准与技术方案。 沉淀数据中心建设的技术方法论，输出组件调优手册、架构设计规范、故障排查指南等文档。 跟踪大数据领域前沿技术（如Flink实时计算、湖仓一体架构），引入成熟方案优化现有数据中心架构。 4)跨团队协作与方案落地 与业务部门、运维团队、数据分析团队深度协作，梳理业务数据需求，推动数据链路打通与数据质量提升。 参与重大项目的立项与评审，保障技术方案的可行性与合理性。