数据工程师

岗位职责： -深度参与大规模、高可用数据基础设施的建设与持续优化，覆盖数据采集、传输、存储与计算的完整链路。综合运用多种技术手段，确保数据流程高效稳定运行，满足企业海量数据处理需求。通过分布式存储方案优化架构设计，提升数据读写性能。 -主导自动化数据预处理与清洗系统的研发工作。结合ETL工具、自研脚本及机器学习方法，对多源异构的复杂数据进行清洗、转换与整合，实现数据质量的实时监控与迭代优化。构建数据质量评估体系，有效提升数据准确性与一致性。 -与NLP、推荐系统等业务团队紧密协作，提供专业的数据工程支持。开发高性能数据接口与服务模块，保障数据高效流转与精准调用，助力业务系统性能提升与用户体验优化。为推荐引擎搭建实时数据通道，显著增强推荐内容的时效表现。 -积极参与LLM/AI类项目的数据工程实施。深入探索数据处理流程的优化路径，通过改进数据采样策略、特征加工环节，显著提升模型训练的速度与效果。优化训练数据处理流程，有效缩短整体处理周期。 任职要求： -计算机科学、电子工程、数学等相关专业本科及以上学历。 -具备2年以上数据工程相关工作经验，有大型数据项目实战经验者优先，如曾参与亿级用户规模的数据处理项目。 -精通Python、Java等至少一种主流编程语言，熟练掌握Hadoop、Spark、Flink等大数据处理框架，熟悉Kafka、RabbitMQ等消息中间件技术，具备独立完成复杂大数据任务开发与调试的能力。 -掌握数据仓库建模原理与实践方法，具备数据质量管理与数据安全防护的实际经验。曾主导数据安全方案落地，确保数据资产安全可控。 -深入理解NLP、推荐系统等场景下的数据需求，掌握LLM/AI领域数据处理的核心技术与实施方法，具备新技术在数据工程中成功落地的应用案例。 -具备出色的故障排查与问题解决能力，拥有创新思维，能在复杂环境中快速定位并解决数据相关问题。具备良好的沟通协调与团队合作能力，可跨部门协同推进项目进展。 -熟悉广东话或英文者优先，有助于支持跨区域、跨文化的协作与交流。