阿里云-深度学习训练系统研发专家-北京杭

职位描述 ● 承担PAI平台深度学习框架的开发工作，涵盖MoE模型大规模训练架构、多模态训练体系、RLHF训练流程等方向，服务于通义实验室、阿里集团等多个业务场景；参与基模型Pretrain、SFT等各阶段训练任务的性能调优； ● 专注于提升各类模型训练负载在不同阶段的极限吞吐能力，系统性分析耗时瓶颈并制定针对性优化方案，手段覆盖算子层面改进、通信机制增强、分布式策略调整等技术路径； ● 主导超大规模训练任务稳定性的架构设计，综合运用多种技术提升训练有效吞吐，建设高效的故障识别与自动恢复机制，保障大规模训练过程的流畅性与可靠性； ● 参与训练框架对多种硬件后端的适配与性能优化工作。 职位要求 ● 具备扎实的工程实现能力，良好的编码规范，熟练掌握Python/C++及常见设计模式，拥有复杂系统的架构设计、开发与调试经验； ● 理解深度学习基本理论，熟悉Transformer结构，了解主流大语言模型、多模态模型的技术特性； ● 精通PyTorch等相关框架，深入理解Megatron、DeepSpeed、JAX等训练框架的设计差异与核心技术细节； ● 具有良好的沟通表达能力和团队协作精神，具备快速获取新知识的能力和持续攻坚技术难题的韧性； ● 掌握计算机体系结构基础，具备异构计算优化（GPGPU/x86/ARM等）、高性能网络通信调优、分布式训练策略优化等方面的实践经验；