百度、文心（ERNIE）5.5 Flash Baseを正式にオープンソース化

PANews 11月5日付のニュース。百度は最新の基盤モデル「文心5.5 Flash Base」を正式にオープンソース化した。ERNIE 5.5 Flash BaseはMoEアーキテクチャを採用し、総パラメータ数は2800億、各トークンで140億パラメータをアクティブ化し、33.5兆トークンで事前学習を完了。事前学習のコンテキスト長は最大128K、ファインチューニングと推論の段階では最大100万トークンのコンテキストをサポートする。