DeepSeek DeepGEMMは、Mega MoEとFP4 Indexerを含む主要なアップデートをリリースしました。

PANewsは4月16日、DeepSeekのオープンソース行列演算ライブラリであるDeepGEMMが「Public release 26/04 というタイトルのマージ要求を開始し、Mega MoEFP4 Indexerなどの新機能を導入したと報じた。このアップデートでは、 MoEdispatch linear1/SwiGLU/linear2 combineを単一のメガカーネルに統合し NVLink通信とテンソルコア計算のオーバーラップを最適化している。現在、FP8 x FP4 MoE EP≤8のみをサポートし、PyTorch≥2.9を必要とする。また、 FP4 Indexer (MQA logits用、より大きなMTPをサポート)、 FP8 x FP4 GEMM PDL DeepEPv2 MoE GEMMレイアウトを追加し GEMMヒューリスティクスとカーネルを最適化し、JITコンパイルを高速化し分散ファイルシステムでのJITクラッシュや部分的なカーネルハングなどの問題を修正している。今回のリリースはDeepGEMMの開発に関するものであり、内部モデルのリリースとは関係ありません。

共有先:

著者:PA一线

この内容は市場情報の提供のみを目的としており、投資助言を構成しません。

PANews公式アカウントをフォローして、強気・弱気相場を一緒に乗り越えましょう
PANews APP
ポーランドの仮想通貨取引所Zondaは、約4,500BTCのコールドウォレットの秘密鍵が転送されていないため、出金が困難になっていると主張している。
PANews 速報