etl

职位要求： 1.负责项目中ETL作业的设计、开发与性能调优工作 2.参与数据需求对接，协助梳理业务逻辑，具备独立完成数据分析与处理的能力，高效支撑数据加工与输出 3.针对生产环境中的数据问题，主导问题排查、跨团队协作、进度跟踪及闭环解决 4.深入理解项目及技术设计方案，具备钻研精神，能够应对复杂场景下的技术挑战并推动难点攻关 主要职责： 1.具备3年以上实际数据处理相关工作经验 2.熟练掌握SQL，熟悉Linux常用操作指令 3.理解ETL整体架构与运行流程 4.精通SQL开发，具备MPP/HQL/SPARK-SQL/PRESTO-SQL/HBASE等平台的SQL编写能力 5.熟悉大数据生态体系中的主流开源框架，如Hadoop、Spark、Hive、Storm、Kafka、HBase、Presto等，具备线上问题应急处理能力 6.掌握至少一种脚本语言，如SHELL或PYTHON；熟悉SPARK/STORM/FLINK中任一框架的开发应用 7.具有数据仓库建设实践经验，了解ETL清洗机制，熟悉离线与实时数据处理流程，可配合推进大数据项目的落地实施 8.具备良好的业务沟通技巧与逻辑分析能力，善于在大规模数据中挖掘潜在价值信息