大数据开发工程师

岗位职责： 1、主导公司大数据平台的整体架构设计、技术选型与系统规划，打造具备高可用性、高扩展性和低延迟特性的PB级数据处理架构； 2、攻克大规模数据在采集、清洗、存储、计算及服务化过程中面临的核心技术挑战，如数据倾斜、背压控制、容错机制等； 3、构建并持续优化数据治理体系，涵盖数据标准化、元数据管理、数据质量监控、血缘追踪及生命周期管控； 4、设计并实施数据安全架构，落实数据分级分类策略，集成隐私计算技术，完善权限管理体系并满足合规要求； 5、承担TSP/FOTA等相关系统的分析、架构设计及编码实现工作； 6、参与业务需求研讨，协同团队完成产品新功能的设计与落地开发； 任职要求： 1、计算机或相关专业背景，具备三年以上Java/大数据方向开发经验； 2、深刻掌握Spark、Flink、MapReduce、Hive、HUE、Airflow等计算框架底层原理，具备内核优化或二次开发经验者优先； 3、熟练运用HDFS、Paimon、Doris/StarRocks、Elasticsearch等存储引擎，并具备选型与性能调优能力； 4、精通Kafka、Pulsar等消息中间件的高吞吐量架构设计与应用实践； 5、熟悉Docker与Kubernetes技术，具有在公有云（AWS/腾讯云/Azure）或私有云环境部署大数据平台的实际经验； 6、熟练使用SpringCloud/SpringFramework/Mybatis/Maven/MySQL等主流开发框架与工具； 7、通过大学英语CET-4及以上，具备独立阅读英文技术文档和撰写英文资料的能力； 8、有车联网领域相关系统开发经验者优先考虑； 9、具备较强的抗压能力、自主学习意识以及良好的团队协作精神；