数据工程师

岗位职责

1.采用Python作为主要开发语言，构建数据抽取、清洗与转换的ETL流程，满足业务侧数据处理需求；

2.主导ApacheAirflow工作流系统的部署、维护及性能调优，规划DAG任务调度策略，确保数据作业稳定高效运行；

3.参与大数据平台（Hadoop、Spark、Hive等）的日常运维，识别并解决数据处理中的性能瓶颈问题；

4.使用Python开发自动化脚本，推动数据流程与运维操作的标准化和自动化，提升整体执行效率；

5.建立数据处理相关的监控与告警体系，及时发现并处理任务异常与数据问题；

6.协同研发与业务团队，深入理解数据应用场景，交付高质量数据成果，保障业务运作顺畅。

任职要求

1.具备2年以上数据领域相关经验，熟练使用Python进行数据处理及脚本编写；

2.深入掌握ApacheAirflow，有实际的DAG设计、调度优化及系统升级经验；

3.熟悉主流大数据组件（Hadoop、Spark、Hive等），理解其核心处理机制；

4.掌握Linux系统基本操作，具备独立分析和解决数据与调度故障的能力；

5.具备较强的逻辑思维与沟通协作能力，英语表达良好，可支持跨团队项目推进；

6.有Ansible/Terraform类自动化工具或AWS/阿里云等公有云平台使用经验者优先。