大数据开发工程师（北京）

*初-中级 任职要求： 1.熟悉Hadoop生态相关技术，掌握Kudu、Hive、Impala、SQL、Spark、HDFS、Yarn、Zookeeper等组件的使用与原理。 2.掌握数据仓库架构设计与建模方法，具备3年以上数据开发实践经验。 3.熟练运用主流大数据ETL工具，如Sqoop、Kafka、Datax、Flink等，具备数据同步与流处理能力。 4.熟练使用Java、Scala、Python等大数据开发常用编程语言。 5.熟悉CDH大数据平台的基本架构及日常使用。 6.掌握常用Linux操作命令，了解Linux环境下程序的安装与配置方式。 岗位职责： 1.承担大数据开发任务，涵盖数据采集、清洗、转换与分析，通过Kettle、Shell脚本、SQL等方式搭建高效的数据处理流程。 2.参与大数据项目的方案设计、编码实现与上线部署，保障项目按时高质量交付。 3.持续优化现有数据处理流程，提升系统运行效率与稳定性。 4.实施数据脱敏策略，确保敏感信息的安全合规。 5.与团队成员协同配合，共同攻克技术难点，推动项目顺利推进。 6.主动学习行业前沿技术，不断提升自身在大数据领域的专业能力。