DeepSeek開源優化平行策略,發布DualPipe與EPLB

PANews 2月27日訊息,根據DeepSeek(@deepseek_ai)公告,在開源週第四天,團隊開源了多項優化並行策略,包括DualPipe(雙向管道並行演算法,優化V3/R1訓練中的計算-通訊重疊)、EPLB(專家並行負載平衡器,提高計算資源分配效率重疊

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊