大数据开发

关键字：华为云大数据，大数据迁移、pyspark、python、scala spark 主要职责： 1、承担大数据搬迁及系统集成相关工作。 2、使用华为云数据迁移工具完成数据仓库的迁移，并执行数据一致性核对。 3、处理大规模数据集，开展实时与批量数据分析，满足业务发展需要。 4、具备扎实的SQL优化能力；可独立完成数据比对任务，在数据异常时能通过数据流溯源定位问题脚本。 任职资格： 1、具有5年大数据开发经验，掌握主流大数据技术体系。 2、熟练运用 Hadoop、Spark、Flink、Hive 等大数据处理框架，具备4年以上 python、pyspark、hive、sparksql 开发经验，可独立完成 flink、spark 作业的开发与迁移，支持端到端调试。 3、熟练使用 Java、SQL、Scala 或 Python 编程语言。 4、具备较强的SQL调优能力，了解关系型数据库与NoSQL数据库特性。 5、有大数据平台性能调优实践经历。 6、具备良好的沟通协作能力及书面表达能力。 7、熟悉华为MRS、DataArt Studio、Data Lake、GaussDB(DWS)者优先，具备数据迁移项目经验者优先。