DeepSeek DeepGEMM 推出 Mega MoE 與 FP4 Indexer 等重大更新

PANews 4月16日訊息,DeepSeek開源矩陣運算庫DeepGEMM發起一項名為「 Public release 26/04 的合併請求,引入Mega MoE FP4 Indexer等新功能。本更新將MoE中的dispatch linear1/SwiGLU/linear2 combine融合為單一mega-kernel ,並在NVLink通訊與tensor core計算間做重疊優化,目前僅支援FP8 x FP4 MoE 新增 EP≤8 且需增加xyTorch≥2.9 FP4 GEMM PDL DeepEPv2 MoE GEMM layout ,優化GEMM啟發式與核心、加速JIT編譯,並修復分散式檔案系統下JIT崩潰與部分kernel hang等問題。該發布僅與DeepGEMM開發相關,與內部模型發布無關。

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊
PANews APP
波蘭加密交易所Zonda稱約4,500枚BTC冷錢包私鑰未移交,提現受阻
PANews 快訊