美団が次世代の1兆パラメータ大規模モデルLongCat-2.0を発表

PANews 6月30日、金十によると、本日、美団(Meituan)は次世代の1兆パラメータ大規模モデル「LongCat-2.0」を正式に発表し、オープンソース化する。LongCat-2.0の事前学習データは30Tトークンを超え、中国語、英語、多言語、コードなど多様なデータをカバーしている。1万枚超のGPUを使用するトレーニングにおけるハードウェア障害、通信異常、GPUメモリ負荷、数値変動といった課題に対し、LongCatチームは安定性、正確性、効率の3つの側面から、国産計算資源を用いたトレーニングの難題を克服した。安定性では、HCCLの異常処理、カードの柔軟な拡張・縮小、自動障害復旧により、月間平均の日次障害率を70%以上削減した。正確性では、自社設計の決定論的オペレーター、ビット単位の一貫性検証、パラメータチェックによりトレーニング結果の信頼性を確保し、さらに実践に基づいて主要モジュールの計算精度を向上させ、Reduceロジックを最適化した。

共有先:

著者:PA一线

この内容は市場情報の提供のみを目的としており、投資助言を構成しません。

PANews公式アカウントをフォローして、強気・弱気相場を一緒に乗り越えましょう
PANews APP
万向区块链实验室主办的“第十二届区块链全球峰会”将于9月23日在上海举行
PANews 速報