职位详情
微信扫码分享
举报
5-10年本科JavaHive要求数据开发经验KafkaSpark数据仓库开发经验Flink金融行业经验Python数据开发
岗位职责:
1、负责公司各类业务数据(包括结构化与非结构化数据)的清洗、整合、转换与预处理,构建高效稳定的数据ETL流程,确保数据质量与更新时效。
2、设计并开发企业级数据仓库、数据湖及实时数据通道,满足大规模数据的存储、计算与访问需求,为业务分析、模型训练与决策支持提供可靠的数据底座。
3、开展数据探索与初步分析,识别数据分布特征、潜在质量问题与核心价值点,协同需求分析师明确指标加工逻辑与数据应用要求。
4、搭建并维护数据中间层与数据服务体系,输出标准化数据模型与API接口,支撑下游报表系统、大模型训练、知识图谱及其他应用系统的数据调用。
5、持续优化数据架构与任务执行性能,提升数据处理效率、系统稳定性与可扩展性,降低运维复杂度与资源消耗。
6、与产品、业务及AI团队紧密协作,参与数据相关技术方案的设计与落地,推动数据驱动业务目标的实现。
任职要求:
1、计算机、软件工程、数据科学等相关专业本科及以上学历。
2、熟悉浦发ETL开发规范,精通SQL,具备出色的复杂SQL编写与性能优化能力,拥有数据仓库、大数据平台或ETL开发实际经验。
3、熟悉浦发数据交换系统,了解数据资产发布与订阅机制,掌握行内CASE开发、测试到上线的完整投产流程。
4、熟悉大数据集群中基于Flink的实时流作业算子开发。
5、掌握Python语言,具备模型开发实践经验。
6、熟悉浦发各平台间的数据链路连接关系。
7、深入理解数据仓库建模理论及相关技术体系,具备批流融合数据管道的设计与调优经验,了解常用数据治理与质量管理方法。
8、具备较强的数据业务洞察力与逻辑分析能力,能独立梳理并实现复杂数据需求,善于定位和解决数据链路中的各类问题。
9、具备良好的团队合作意识与沟通能力,能够准确理解业务需求并转化为可行的数据解决方案,责任心强、主动性高。
10、对大数据与人工智能技术有浓厚兴趣,学习能力强,能持续关注并引入行业前沿数据技术。
职位总结围绕职位描述,归纳工作内容、招聘要求
刘女士IP:上海
威士顿信息
·人事经理合肥

