메이투안, 차세대 1조 파라미터 대형 모델 LongCat-2.0 발표

PANews 6월 30일 소식, 진스(Jin10) 보도에 따르면, 오늘 메이퇀(美团)이 차세대 1조 파라미터 대형 모델 LongCat-2.0을 공식 발표하고, 외부에 오픈소스로 공개할 예정이다. LongCat-2.0의 사전 훈련 데이터 규모는 30T 토큰을 넘어서며, 중국어, 영어, 다국어 및 코드 등 다양한 유형의 데이터를 포괄한다. 수만 장의 카드 규모 훈련에서 발생하는 하드웨어 장애, 통신 이상, GPU 메모리 부담 및 수치 변동에 대해, LongCat 팀은 안정성·정확성·효율성 세 측면에서 국산 가속기 훈련의 난제를 해결했다. 안정성 측면에서는 HCCL 예외 처리, 탄력적 카드 확장·축소, 자동 장애 복구를 통해 월 평균 일일 장애율을 70% 이상 낮추었다. 정확성 측면에서는 자체 설계한 결정적 연산자, Bitwise 일관성 검증, 파라미터 검사를 통해 훈련 결과의 신뢰성을 확보했으며, 동시에 실제 경험을 바탕으로 핵심 모듈의 계산 정밀도를 높이고 Reduce 로직을 최적화했다.

공유하기:

작성자: PA一线

이 내용은 시장 정보 제공만을 목적으로 하며, 투자 조언을 구성하지 않습니다.

PANews 공식 계정을 팔로우하고 함께 상승장과 하락장을 헤쳐나가세요
PANews APP
MidChains CEO: 국부펀드, 비트코인 할인을 진입 기회로 간주
PANews 속보