数据开发
1-1.2万/月发送简历
聊一聊
职位详情:
不合适
投诉
3-5年大专数据开发
【岗位职责】
1. 负责Hive离线开发,及时排查并解决数据开发及运行过程中的各类技术问题。
2. 能够快速对接业务需求,支撑现有业务数据处理需求,同时具备前瞻性,能应对未来业务快速增长带来的海量数据处理挑战。
3. 保障数据的准确性、完整性、及时性与可靠性。
4. 参与大数据离线开发全流程,包括数据采集、清洗、转换、加载(ETL)等任务的设计与实施,优化离线计算性能。
5. 配合数据治理工作,参与数据字典梳理、元数据管理等相关任务,提升企业数据资产价值。
【岗位要求】
1. 数据仓库与建模:熟悉数据仓库模型设计方法论,精通数仓分层(ODS/DWD/DWS/ADS)设计理念,具备丰富的数据仓库开发实战经验;对数据ETL全流程有深刻认识,能独立完成ETL流程的设计、开发与优化。
2. 大数据组件与工具:精通Hive编程,能编写复杂Hive SQL并具备性能优化能力;熟悉Hadoop生态相关技术及实践经验,包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具备海量数据加工、处理与分析的实战经验。
3. 编程与脚本开发:掌握至少一门主流编程语言(Java/Scala/Python/Shell等),能熟练运用其进行大数据相关脚本开发、任务调度及自动化工具实现。
4. 性能优化与问题排查:深入了解大数据在不同场景下的读写业务流程及优化原理,具备Hive/Spark/Flink等组件的性能调优能力;能快速定位分布式系统中的数据延迟、计算瓶颈等问题并给出解决方案。
5. 数据质量与治理:熟悉数据质量评估指标与管控方法,具备数据质量问题排查与解决的实战能力;了解元数据管理、数据血缘分析等数据治理相关技术者优先。
职位总结

李女士IP:广东广州
4个月内活跃|
亿达信息
·人事经理工作地址:
绵阳涪城区长虹商贸中心1
点击查看地图法定代表人:王刚
成立日期:2006-02-09
