美團發布新一代萬億參數大模型LongCat-2.0

PANews 6月30日消息,據金十報道,今天,美團正式發佈新一代萬億參數大模型 LongCat-2.0,並將對外開源。LongCat-2.0 預訓練數據規模超過 30T tokens,覆蓋中文、英文、多語言和代碼等多類數據;面對萬卡級訓練中的硬體故障、通訊異常、顯示記憶體壓力與數值波動,LongCat 團隊從穩定性、正確性和效率三方面攻克國產算力訓練難題。在穩定性上,通過 HCCL 異常處理、彈性擴縮卡和自動故障恢復,將月均日故障率降低 70% 以上;在正確性上,通過自研設計確定性算子、Bitwise 一致性驗證和參數檢測,保障訓練結果的可靠,同時基於實踐提升關鍵模組計算精度、優化 Reduce 邏輯。

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊
PANews APP
MidChains CEO:主權基金將比特幣折價視為入場良機
PANews 快訊