大数据开发

岗位职责: 1、负责集市平台相关运营指标、用户行为特征的数据开发与处理工作 2、设计、开发并测试用于从历史数据系统及生产数据库中提取数据的程序 3、设计、开发并测试在数据加载至BI系统前完成转换、校验与清洗的程序 4、设计、开发并测试将源系统初始数据与日常增量数据导入BI系统的程序 5、确保所设计的ETL流程符合系统整体目标要求 6、明确需保留历史记录的数据字段及其存续周期 7、协助完成物理模型的设计工作 任职要求: 具备银行数据平台、数据仓库、数据集市类项目经验，累计3年左右相关工作经验 专业技能‌：熟练使用SQL、Python等常用编程语言，熟悉分布式数据库高斯DB及Linux操作系统 技术框架‌：掌握主流大数据技术框架，如Hadoop、Hive、HBase、Spark、Kafka等 数据建模与处理‌：具备数据建模与数据处理能力，可完成数据质量检查、数据分析及报表生成 问题解决能力‌：能高效排查并解决ETL过程中各类技术问题，涵盖数据抽取、清洗、整合等环节 业务理解‌：深入理解业务需求，持续推动业务产品在数据采集与挖掘方面的优化 数据安全与运维‌：能够制定并落地执行数据建模、数据处理、数据运维及数据安全等方面的架构规范