大数据开发工程师

工作职责： 设计与实现高并发、高可用的服务端数据上报系统，支撑日均百亿级数据采集 搭建实时流式处理与离线批量处理的数据通道，保障数据处理的及时性与准确性 规划并优化大数据存储架构，对HDFS、Hive、ClickHouse等组件进行性能调优 构建数据质量监控机制，制定数据标准与规范，推动数据治理能力提升 参与大数据平台的研发建设，为业务团队提供稳定高效的数据底层支持 持续改进数据处理效率，减少资源占用，增强系统的稳定性与可维护性 任职要求： 计算机相关专业本科及以上学历，具备3-5年大数据开发工作经验 熟练掌握Java/Scala/Python，熟悉多线程编程、网络通信及JVM性能优化 精通Flink/Spark Streaming等流计算框架，具有大规模数据处理实战经验 深入理解Hadoop技术生态，掌握HDFS、YARN、Hive等核心组件原理与调优策略 熟悉Kafka、ClickHouse、Doris等大数据中间件的使用场景及性能优化方法 了解数据仓库建模方法论，具备实时数仓项目经验者优先考虑 具备良好沟通协作能力，责任心强，具有积极主动的工作态度 有大型数据系统架构设计实践经验者优先