大数据开发工程师

【核心职责】 1. 负责大数据平台（Hadoop/Spark/Flink 等）的架构规划、部署实施与性能调优，确保系统稳定高效运行； 2. 参与数据采集、清洗、转换、存储等全流程开发，构建高可用、高性能的数据处理链路； 3. 结合业务需求设计并实现大数据分析模型与算法应用，支持数据驱动的决策流程； 4. 主导大数据组件的定制化开发与功能扩展，突破关键技术难题； 5. 制定并执行数据安全、备份及恢复方案，保障数据资产的完整性与安全性。 【任职要求】 1. 精通 Hadoop 技术生态（HDFS、MapReduce、YARN、Hive、HBase），熟练掌握 Spark（Core/Streaming/SQL）、Flink 等分布式计算框架，具备实际集群优化经验； 2. 熟悉分布式数据库（Cassandra、MongoDB）、时序数据库（InfluxDB、Prometheus）以及传统关系型数据库（MySQL、Oracle），了解数据分片与分区机制； 3. 至少熟练掌握一门编程语言（Java/Scala/Python），具备扎实编码能力，可独立完成复杂数据模块开发； 4. 熟悉 Flume、Sqoop、DataX、Canal 等数据采集工具，掌握实时与离线数据同步方案的设计与落地； 5. 了解 Airflow、Azkaban 等任务调度系统，熟悉 Grafana、Prometheus 等监控平台，能构建完善的告警体系； 6. 具备 Docker 容器化部署经验，了解 Kubernetes 集群管理，有在云平台（AWS/Azure/阿里云）使用大数据服务者优先； 7. 熟悉 Linux 操作系统，具备 Shell 脚本编写能力，了解数据建模与数据治理相关理论与实践方法； 8. 重点大学计算机、电子工程、数学、统计学等相关理工科专业本科及以上学历； 9. 具备数据分析、数据挖掘或数据开发相关项目经历或工作经验； 10. 熟练运用数据分析工具 Python/R/MATLAB（必备），精通数据库操作，掌握 SQL 语法规范； 11. 拥有 FLINK 实时数仓实践经验，具备大数据领域实际项目落地经验者优先考虑。 【工作内容】： 1. 负责项目所需数据的获取（含内部与外部数据源）、清洗与预处理工作 2. 根据项目目标开展数据建模与分析处理，输出有价值的分析结论 3. 承担数据库与数据仓库的架构设计、开发实现与性能优化任务 4. 推进数据产品从设计到开发再到优化的全周期建设 5. 为公司各职能部门的数据应用提供技术支持与专业指导 需要出差，公司总部在北京，五险一金，年底双薪，每年涨薪。