DeepSeek开源周第四日发布:优化并行策略
2025-02-27 11:40

订阅
新京报贝壳财经讯(记者罗亦丹)北京时间2月27日10点5分,DeepSeek发布了其“开源周”第四日的内容:优化的并行策略,其中包括DualPipe,一种用于V3/R1训练中计算与通信重叠的双向管道并行算法, 以及EPLB,一种针对V3/R1的专家并行负载均衡器。
此外,DeepSeek还公开分享了其训练和推理框架的性能分析数据,从而帮助开源社区更好地了解通信与计算重叠策略和底层实现细节。
编辑 寇德娜
校对 王心