DeepSeek开源第四弹 并行优化策略开源

2月27日,DeepSeek开源周第四日,DeepSeek宣布开源了公司内部的并行优化策略(Optimized Parallelism Strategies)。

DeepSeek开源第四弹   并行优化策略开源

此次开源,DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。

据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的完全重叠,还减少了管道气泡。在GitHub上,目前该算法已经获得544个Star收藏。

原创文章,作者:AI,如若转载,请注明出处:https://www.kejixun.com/article/708130.html

AI的头像AI认证作者

相关推荐

发表回复

登录后才能评论