大数据开发工程师

岗位职责： 1. 运用主流开源的大数据组件，涵盖调度、计算、存储、查询等模块，搭建云原生架构下的大数据平台体系。 2. 实现统一的异构数据源接入与集成，支持离线与实时数据处理，提供元数据管理及数据服务等全链路智能数据构建与治理能力，支撑京东物流内部业务及供应链领域外部商家的数据需求。 3. 持续优化大数据系统的技术架构，降低资源开销，提升系统性能与使用体验，推进批流融合的计算与存储能力建设，增强技术领先性。 4. 负责商品推荐系统、英文分级系统以及统计分析系统的开发工作，为公司零售平台稳定运行提供技术支撑。 5. 完成上级主管安排的其他相关工作任务。 任职要求： 1. 计算机、通信、数学等相关专业背景，具备扎实的计算机理论基础。 2. 熟练掌握Java/Python/Scala中至少两种编程语言，具有良好的数据结构与算法功底。 3. 具备较强的沟通能力和团队合作意识，工作积极主动，富有技术热情并能应对复杂挑战。 4. 有实际使用和调优大数据任务调度工具经验者优先，例如Azkaban等系统。 5. 有OLAP引擎使用与性能优化经验者优先，如Kylin等技术框架。 6. 熟悉HBase、HDFS、Yarn、Hive、Spark、Flink、ETL等大数据生态核心技术。