数据开发工程师

目前在重庆本地，可随时到岗 **主要职责** - 数据管道开发与维护：在指导下，参与高效、稳定的数据流水线（ETL/ELT）的设计、编码与测试工作，负责从多种数据源（如数据库、日志文件、API接口等）向数据仓库或数据湖进行数据的抽取、清洗、转换与加载。 - 数据仓库支持：协助完成数据仓库系统（如 Snowflake、Redshift、BigQuery 或国内常用的大数据平台 Hadoop/Spark 生态）的日常管理与维护，参与星型或雪花模型的简单建模、表结构设计及数据分层工作。 - 数据处理与优化：使用 SQL 编写复杂查询逻辑，并结合 Python 或 Shell 脚本完成常规数据处理任务，逐步掌握大数据作业的性能调优方法。 - 数据质量与监控：配合建立基础的数据校验机制，参与数据链路运行状态的跟踪与巡检，及时识别并反馈数据异常情况。 - 协作与支持：与数据分析、产品管理等团队密切沟通，理解业务侧数据需求，提供可行的技术支持方案。 - 文档编写：输出清晰的技术文档，涵盖数据流程说明、ETL逻辑描述以及数据字典的更新与维护。 **任职要求** **必要条件（硬技能）** - 学历与专业：计算机科学、软件工程、数学、统计学或相关领域本科及以上学历。 - 编程与SQL：精通 SQL，能编写多层嵌套、关联复杂查询，熟悉窗口函数及执行计划优化；至少掌握一种编程语言（如 Python 或 Java），具备基本脚本开发能力。 - 数据库知识：掌握关系型数据库（如 MySQL、PostgreSQL）核心原理，对 NoSQL 类数据库（如 MongoDB）有基本认知。 - 大数据基础：了解大数据技术体系的基本架构，对 Hadoop、Hive、Spark、Flink、Kafka 等组件中至少一项有过学习实践或项目经历者优先。 - 版本控制：熟练使用 Git 进行代码版本管理，掌握常用命令操作。 **优先条件（加分项）** - 有数据开发方向的实习经验或自主实践项目（如个人搭建的数据处理流程、参与 Kaggle 比赛等）。 - 初步了解主流云平台（AWS、Azure、GCP 或阿里云、腾讯云）的数据服务模块。 - 接触过常见任务调度工具（如 Airflow、DolphinScheduler）。 - 熟悉数据仓库基础理论，如维度建模、缓慢变化维等概念。 - 具备较强的逻辑分析能力、问题排查意识和细致严谨的工作习惯。