大数据开发

数据开发工程师，需同时具备Java与Python开发能力。 1、Java 技术方向： 扎实掌握Java语言基础，熟悉Hadoop、Hive、Spark、Flink的核心机制及典型应用场景，能够独立完成大数据相关后端功能开发与常见问题定位。（优先考虑：熟练运用SpringBoot、SpringCloud进行数据服务、后台系统及接口开发；了解微服务架构设计） 2、Python 技术方向： 熟练使用Python开展数据开发工作，精通Pandas、Numpy进行数据清洗、转换与统计分析；掌握大数据生态常用组件；能基于Python编写数据调度脚本、自动化处理工具及数据服务接口，支持数据仓库构建、数据治理与监控等业务需求。 3、数据存储、数仓架构与中间件： 精通MySQL，掌握SQL性能优化、复杂查询编写与数据统计分析方法；理解数据仓库建模理论，熟悉ODS、DWD、DWS、ADS分层模型，具备实际数仓分层建设经验；熟练进行Hive数仓开发，掌握分区、分桶策略及Hive SQL调优技巧；了解Redis、Kafka等常用中间件的使用。