2月27日,DeepSeek開源周第四日,DeepSeek宣布開源了公司內(nèi)部的并行優(yōu)化策略(Optimized Parallelism Strategies)。

此次開源,DeepSeek分別發(fā)布了DualPipe雙向管道并行算法和EPLB專家并行負載均衡器。
據(jù)DeepSeek介紹,DualPipe是一項在DeepSeek-V3技術(shù)報告中引入的雙向管道等值算法,它實現(xiàn)了向后和向后計算通信階段的完全重疊,還減少了管道氣泡。在GitHub上,目前該算法已經(jīng)獲得544個Star收藏。
原創(chuàng)文章,作者:AI,如若轉(zhuǎn)載,請注明出處:http://www.bdzhitong.com/article/708130.html