数据开发工程师

Hadoop/Big Data 技术栈：Hadoop、HDFS、HBase、Hive、Hue、Sqoop、Spark2.x/3.x、Oozie、YARN、Kafka、Zookeeper、Dremio、Cloudera 数据平台 编程语言：Python、SQL、PL/SQL、Shell 脚本 常用库：pandas、NumPy、PySpark 数据库：Oracle 12c/11g/10g 操作系统：Windows 10/8/7、Linux 及 Unix 开发工具与环境：PyCharm、Jupyter Notebook 非关系型数据库：HBase、MongoDB 代码管理工具：Azure Repo 任务调度工具：Airflow、Control-M 数据工程师职责： 深入理解所属领域的整体架构，并有效管理其中的变更 熟悉领域内的各项应用系统，掌握其运行逻辑与业务关联 具备基于EDM平台的ETL作业流程开发与优化能力 基于Hadoop框架开发大数据分析程序 具备独立工作能力，主动积极，富有责任心 在遇到阻碍项目进度的关键问题时，按既定升级机制及时上报 行业知识要求： 熟悉交易银行业务领域，尤其了解企业银行及商业银行业务流程 附加技能： 掌握 Java、Spring、Spring Boot、Spring Cloud、Oracle、Kafka、REST API、JSON/YML 等技术 专业背景要求： 计算机科学、信息技术、数学、统计学、量化分析或商科相关专业本科及以上学历 熟悉IT基础理论及软件开发生命周期 具备扎实的统计学基础，良好的数据分析能力和问题解决能力