大数据开发工程师

工作职责 1. 负责大数据平台的数据抽取、清洗与转换等ETL流程的架构设计与开发，确保数据准确性与处理性能。 2. 基于Hadoop、Spark等分布式计算环境，实现高效能数据处理任务，满足业务分析与决策支持需求。 3. 参与数据仓库模型的构建与调优，搭建分层数据结构，增强数据资产的可复用性与维护效率。 4. 协同业务部门明确数据需求，提供数据接口或统计报表，推动业务问题的有效解决。 任职要求 1. 本科及以上学历，计算机、统计学等相关专业背景，具备扎实的专业基础。 2. 熟练掌握Java/Python中至少一种编程语言，理解SQL语法及数据库基本原理。 3. 具备使用Java或Scala在Spark等分布式框架下进行开发的经验，了解其底层执行机制。 4. 熟悉数据仓库建模方法论，有维度建模或数据集市建设实践者优先考虑。 5. 具备较强的故障排查能力与团队合作意识，能够快速识别并解决数据处理中的技术难题。