大数据实施工程师

【岗位职责】 1. 参与交通行业大数据平台、数据治理平台及数据资源管理平台建设实施工作。 2. 负责数据接入、数据交换、数据清洗、数据转换、数据加工及数据治理相关工作的实施落地。 3. 配合客户开展业务系统、数据库、数据表、字段及数据接口调研和梳理。 4. 负责数据标准、数据目录、元数据、数据质量规则等治理成果整理与配置。 5. 负责ETL任务开发与配置，完成多源异构数据采集、同步、转换和加工。 6. 参与数据仓库、主题库、专题库建设，配合完成基础数据加工。 7. 负责数据任务运行监控、异常分析、问题定位及处理。 8. 配合完成实施方案、数据调研报告、治理成果报告、操作手册等项目材料编制。 9. 协助项目经理开展客户沟通、需求确认、进度跟踪及成果汇报。 10. 配合完成系统部署、功能验证、用户培训、试运行及项目验收工作。 【岗位要求】 1. 大专及以上学历，计算机、大数据、软件工程、信息管理等相关专业优先。 2. 具有2年以上大数据、数据治理、数据中台或数据平台实施经验。 3. 熟悉数据标准、数据质量、元数据、数据目录、数据资产等概念及实施流程。 4. 熟悉SQL，能够完成数据查询、核对、统计及数据问题分析。 5. 熟悉ETL开发流程，具备数据采集、数据交换、数据清洗、数据转换和数据同步项目经验。 6. 熟悉Hadoop生态，掌握Hive、HDFS等离线数据处理技术。 7. 熟悉Spark或Flink等分布式计算框架，具备Spark SQL、Flink SQL经验优先。 8. 熟悉Kafka、DataX、Sqoop等数据采集和同步工具。 9. 具备需求分析、问题定位和实施协调能力。 10. 具备良好的文档编写及客户沟通能力。 【优先条件】 具有交通行业相关经验者优先，包括交通数据平台、交通数据治理、数据交换、数据资源目录等项目经验。