大数据开发

工作职责 1、负责大数据处理系统的设计、开发与性能调优，保障系统运行的稳定性与高效率。 2、运用ApacheKafka、Flume等工具完成实时或批量数据采集，确保数据传输的安全性与可靠性。 3、基于Spark、MapReduce、Flink等分布式计算框架开展数据处理与分析，提升整体计算效能。 4、参与数据仓库架构的规划与实现，支撑各类业务分析场景，保障数据存储与访问的高效性。 5、开发shell脚本及自动化运维工具，简化日常操作流程，提升研发与运维协作效率。 职位要求： 1、计算机相关专业本科及以上学历，具备3年以上Spark平台开发经验 2、熟练掌握Hadoop生态核心技术（HDFS、Yarn、MapReduce），并能使用Spark进行大规模数据处理及性能调优 3、熟悉SQL与NoSQL数据库技术，如MySQL、MongoDB、es、kafka、redis等 4、精通Java、Python中至少一门编程语言，具有分布式系统设计与开发实践经验 5、有实际的数据去重处理与数据挖掘项目经历 6、具备扎实的大数据项目开发背景，拥有良好的跨团队沟通与协作能力 7、了解数据安全、隐私保护及相关合规要求，并具备落地实施经验 8、掌握容器化技术（如Docker、Kubernetes）及DevOps流程，能够推动数据处理任务的持续集成与部署