阿里云智能-深度学习训练系统研发专家

职位描述： ● 负责PAI平台深度学习框架的技术研发，涵盖MoE模型的大规模训练架构、多模态训练体系、RLHF训练系统等方向，支撑通义实验室及阿里集团多个业务场景的技术需求；参与基模型Pretrain、SFT等关键阶段的训练流程优化与性能提升； ● 专注于提升各阶段模型训练任务的峰值吞吐能力，能够对不同模型负载进行系统性性能剖析，定位各环节耗时瓶颈，并提出针对性优化方案，包括但不限于算子层面改进、通信机制调优、分布式策略设计等技术手段； ● 主导超大规模训练系统的稳定性建设，通过多种技术路径提高训练任务的实际有效吞吐，构建高效的故障感知机制与自动恢复能力，保障大规模训练过程的平稳与流畅； ● 参与训练框架在多种硬件平台上的适配与性能优化工作，提升跨硬件环境下的执行效率与兼容性。 职位要求： ● 具备扎实的工程实现能力，良好的代码规范，熟练掌握Python/C++编程语言及常见设计模式，拥有复杂软件系统的架构设计、开发与调试经验； ● 理解深度学习基本理论，熟悉Transformer结构原理，了解主流大语言模型与多模态模型的技术特性与发展动态； ● 精通PyTorch等常用深度学习框架，深入理解Megatron、DeepSpeed、JAX等训练框架的设计理念与核心技术细节； ● 具备良好的沟通协作能力和团队合作精神，善于表达与交流；具备快速学习新技术的能力和深入探究技术难题的耐心与热情； ● 掌握计算机体系结构相关基础知识，具有异构计算优化（GPGPU/x86/ARM等）、高性能网络通信调优、分布式训练策略设计等方面的实践积累。