腾讯优化DeepSeek的DeepEP通信框架:开启AI大模型训练新时代


腾讯星脉网络团队优化了DeepSeek的DeepEP通信框架,显著提升了AI大模型训练的效率。DeepEP是全球首个专为混合专家模型设计的开源通信库,解决了MoE架构对NCCL的依赖问题。腾讯通过智能化带宽分配、绕过CPU控制面及原子化信令协同等关键技术,使DeepEP在RoCE网络环境性能提升100%,IB网络环境提升30%。这一合作推动了技术创新,为企业提供了高效解决方案,并加速了AI应用的普及。

DeepSeek开源周第二弹!DeepEP:解锁混合专家模型的高效通信之钥


随着AI模型规模持续膨胀,混合专家模型(MoE)凭借其灵活性成为研究热点。然而,分布式训练中的通信瓶颈和负载不均衡问题却成为制约其落地的“拦路虎”。今天,我们揭秘DeepEP——DeepSeek开源的专家并行通信库,如何为MoE模型训练和推理带来质的飞跃。