大数据工程师（外包至华测）

职位描述 主要职责 平台架构与开发 负责大数据平台核心功能模块的架构设计、编码实现及持续迭代升级 基于ClickHouse/Doris等OLAP引擎搭建高性能实时数据仓库体系 设计并落地高吞吐、低延迟的数据流转通道 开发并维护统一数据服务接口，满足各类业务系统的数据调用需求 数据处理与优化 构建实时与准实时数据处理体系，适配多样化复杂业务场景 持续优化大数据相关组件性能，涵盖查询效率、存储结构及计算资源利用 设计大对象（BLOB/CLOB）数据的高效存取与网络传输机制 确保数据处理过程准确可靠，建立完善的数据质量检测与预警机制 技术架构与演进 参与制定大数据平台整体技术路线与架构演进策略 调研并引入先进的大数据技术工具，增强平台处理能力 制定数据处理流程规范与技术实施标准 设计具备高可用性与弹性扩展能力的系统架构，匹配业务规模快速扩张需求 跨团队协作 与产品及业务部门密切配合，将实际业务诉求转化为可行的技术解决方案 带领初级技术人员成长，提升团队整体研发能力 参与关键技术选型讨论，推动先进技术实践在项目中落地应用 任职要求 必备技能 技术栈 扎实掌握Java语言，具备5年以上真实项目开发经历 熟练运用Spring Boot/Spring Cloud微服务技术栈 具有ClickHouse或Doris的深入使用经验，包含： 集群部署与日常运维管理 性能调优与SQL查询加速 数据模型设计与分区策略制定 熟练使用Kafka，具备大规模消息队列处理实战经验 熟悉Linux操作系统及常用操作命令 具备大文件（图片、视频、文档等）存储与传输的实际项目经验 了解主流分布式存储系统（如HDFS、S3、OSS等） 拥有TB至PB级别数据量的处理实践经验 掌握数据仓库建模方法论及ETL流程开发 主导过完整大数据平台从零到一的建设过程 能够独立完成复杂数据处理系统的设计与实现 熟悉Flink/Spark/Hive等大数据生态常用组件 具备高并发、高可用系统的设计与实施经验 理解微服务架构原理及服务治理机制 加分项 了解MPP数据库架构特点 具备从系统设计到上线部署全流程的实践经验