2.8兆パラメータは始まりに過ぎない：Kimi K3が大規模モデル競争を「AIがAIを作る」へと押し進めている

著者：Climber，CryptoPulse Labs

7月16日、月之暗面は新世代オープンソースモデル「Kimi K3」を正式に発表した。このモデルは2.8兆パラメータ、100万トークンのコンテキストウィンドウを持ち、ビジョン理解をネイティブサポートし、Kimi Delta AttentionやAttention Residualsなどの技術を採用している。

これは世界初の3兆レベル（規模）のオープンソースモデルである。Kimi K3の総合性能はClaude Fable 5やGPT-5.6 Solといった最強のクローズドソースモデルに依然及ばないものの、複数のベンチマークで最先端の水準を示しており、月之暗面はその総合性能が他のテストモデルを安定的に上回っているとしている。

さらに注目すべきは、Kimi K3がチップの設計も自律的に完了したことだ。大規模モデルが、AIを実行するのに必要なハードウェアの設計に挑戦し始めたことは、2.8兆パラメータという数字そのものより注目に値するかもしれない。

一、2.8兆パラメータの背後：大規模モデル競争は規模から効率へ

ここ数年、大規模モデル業界で最も理解しやすい指標はパラメータ数だった。数十億から数千億、さらに数兆へと、パラメータ規模はほぼモデルの能力を測る重要なシンボルとなってきた。

しかし、モデル規模が2.8兆パラメータに達した今、真の問題は「モデルがどれだけ大きいか」ではなくなった。真の問題とは、これほど巨大なモデルをどう訓練するのか？各タスクでいったいどれだけのパラメータを計算に参加させるのか？より高い能力を持たせつつ、どう運用コストを抑えるのか？である。

Kimi K3が示した答えは、スパースアーキテクチャのさらなる拡大である。

月之暗面によると、Kimi K3はMixture of Experts、すなわち混合専門家アーキテクチャを採用している。モデルは896個のエキスパートモジュールを持つが、タスクごとにそのうち16個のエキスパートのみを起動する。

これは、モデルが膨大な知識容量を持ちながら、毎回すべてのパラメータを呼び出す必要がないことを意味する。例えるなら、896の専門部門を持つ巨大組織が、異なる問題に直面した際、最も関連性の高い16部門だけを動員するようなものだ。

このアーキテクチャの核心的価値は、モデルの総規模と1回あたりの計算コストを分離できる点にある。

今後、大規模モデルの競争は、単により多くのパラメータを持つことではなく、より多くのパラメータをより低コストで効果的に呼び出せるかどうかになるだろう。

Kimi K3のもう一つの核となる革新は、Kimi Delta Attention、略してKDAである。従来のTransformerアーキテクチャは超長文テキストを処理する際、計算量とメモリ負荷が著しく増加する。KDAの目標は、モデルが長いシーケンス情報を処理する効率を高めることにある。

同時に、Kimi K3はAttention Residuals、つまり注意残差メカニズムを導入している。従来のモデルは通常、層ごとに順次情報を受け渡し、後ろの層へ情報が累積されていくが、そこでは冗長性や減衰も生じうる。

Attention Residualsは、モデルが異なる深さを越境し、より前の段階の情報を選択的に呼び出せるようにしようと試みるものである。

従来のモデルの情報の流れが起点から終点へと流れる一本の川だとすれば、Attention Residualsはむしろ、その道中に情報検索システムを構築するようなものだ。モデルはタスクに応じて、異なる深さの情報を再び呼び出すことができる。

月之暗面は、Kimi K2と比較してKimi K3は全体のスケーリング効率が約2.5倍向上したと述べている。

これは、AI業界が「規模が大きければ大きいほど強い」から、「より大きな規模をいかにして高い効率へと転換するか」へと移行しつつあることを示している。

Kimi K3の意義は、2.8兆パラメータモデルを発表したことだけではなく、オープンソースモデルの規模の上限をさらに押し上げたことにもある。

これまで、オープンソースモデルはクローズドソースモデルの追随者と見なされることが多かった。今、オープンソースモデルは、超巨大モデルであっても公開され、研究され、二次開発されうることを証明しようと試み始めている。

二、チャットボットからデジタルワーカーへ：Kimi K3が狙うのは複雑な仕事

2.8兆パラメータがKimi K3の最も広まりやすいキャッチフレーズだとすれば、その真のプロダクトの方向性は、実は長期的なタスクである。

これまでのAIアシスタントは、ほとんどの場合、質問に答えるものだった。ユーザーが質問すればモデルが答えを出し、コードを書けと指示すればコードを返し、文章を要約しろと言われれば要約を生成する。

しかし、現実の複雑な仕事は、一度の質疑応答で完了できるものではないことが多い。

研究者であれば、論文を読み、データを整理し、モデルを構築し、実験を実行し、結果を分析し、さらにレポートを作成する必要があるかもしれない。プログラマーであれば、大量のドキュメントを読み、プロジェクト構造を理解し、コードを修正してテストを実行し、エラーを特定してそれを繰り返し改良する必要があるかもしれない。

これらのタスクに共通する特徴は、サイクルが長く、ステップが多く、情報量が膨大であり、中間結果に基づいて次の行動を絶えず調整する必要があることだ。これこそが、Kimi K3が解決しようとしている課題である。

月之暗面が示した事例では、Kimi K3はある計算天体物理学の研究タスクを完了した。20本以上の論文を読み込んでクロス検証し、数値計算を完了し、数百にのぼる状態方程式の評価を実行し、発表済みの公式における不整合を発見した。さらに、3000行を超えるPythonコードとインタラクティブなHTMLダッシュボードを生成した。

公式によると、このタスクは約2時間で完了し、従来であれば経験豊富な研究者が1～2週間かかる可能性があるという。

これは、AIがすでに研究者に取って代われることを意味するわけではない。科学研究において最も重要な部分は、多くの場合、問題を提起し、仮説を判断し、結果を解釈することにあるからだ。

しかし、Kimi K3は重要な変化を示している。AIが、人間の特定のステップを支援することから、作業フロー全体を自律的に完了することへと、徐々に移行しつつあるのだ。これこそが、エージェント時代と従来のチャットボット時代の違いである。

従来のチャットボットは「あなたが何を問うか、私が何を答えるか」を解決していた。一方、エージェントが解決するのは、「あなたが目標を伝えれば、私が自らタスクを分解し、ツールを呼び出し、手順を実行し、結果を確認し、絶えず修正する」ことである。

Kimi K3の100万トークンのコンテキストウィンドウは、このプロセスにおいて重要な意味を持つ。

大規模なコードリポジトリ、研究レポート、企業資料、複雑なプロジェクト文書にとって、モデルが一度により多くの情報を理解できるということは、コンテキストを頻繁に忘れる必要がなく、ユーザーが背景を繰り返し説明する必要もないことを意味する。

同時に、Kimi K3はビジョン理解をネイティブサポートしており、AIがより完全な作業のクローズドループを形成できるようにする。

例えば、AIがコードを書いた後にウェブページの実行結果を確認したり、AIがプレゼンテーションを作成した後にページレイアウトをチェックしたり、AIがコンテンツを生成した後に視覚的フィードバックで結果を判断したりできる。

これまでのAIは、いわば目を閉じてコードを書いているようなものだったが、未来のAIは、タスクの理解、結果の生成、結果の観察、問題の発見、結果の修正というループを形成できるようになる。

月之暗面はまた、Kimiの能力をKimi Work、Kimi Code、Kimi APIなどのシーンに拡張し、それぞれ研究、文書、スライド、表、ダッシュボード、複雑なプログラミングタスクに対応させている。

将来、真に商業的価値を持つAIは、最も多く質問に答えるモデルではなく、最も多くの仕事を完了できるモデルになるかもしれない。

従来のソフトウェアはユーザーに複雑な操作フローを学習するよう要求するが、AIエージェントの目標は、検索、データベース、プログラミング、データ分析、オフィスツールを接続し、ユーザーが最終目標を記述するだけで済むようにすることだ。

これは、将来のソフトウェア業界の競争が、より多くのツールを持つことではなく、より強力なAI実行システムを持つことになる可能性を示している。

三、最も注目すべきはモデルではなく、AIがチップを設計し始めたこと

Kimi K3の最も衝撃的な部分は、自律的にチップ設計を完了したことかもしれない。

月之暗面が開示した情報によると、Kimi K3は48時間の自律実行において、オープンソースのEDAツールとNangate 45nmプロセスライブラリを使用し、自社アーキテクチャの小型モデル向けチップの設計、最適化、検証を完了した。

これは、Kimi K3がすでに現代の先端プロセスAIチップの商用量産を単独で完了できることを意味するわけではない。45nmプロセスには、今日の最先端AIアクセラレータとの間に依然として大きな隔たりがあり、チップは設計から量産に至るまで、複雑なIP、プロセス、製造、パッケージング、そしてサプライチェーン体系が関わってくる。

しかし、この試みは依然として重要な意義を持つ。チップ設計とは、単純なコード記述ではなく、論理設計、論理合成、配置配線、タイミング解析、消費電力最適化、物理検証といった複数の工程を扱う必要があるからだ。

これまで、AIはチップ業界において、レイアウトの最適化、タイミングの予測、設計欠陥の発見など、エンジニアを補助して部分的なタスクを完了することが主だった。

一方、Kimi K3が示したのは別の可能性だ。すなわち、AIはもはや単にツールを使うだけではなく、完全なエンジニアリングフローを完了するためにツールを自律的に組織化し始めたのである。

これは、AIがコードを記述する発展の道筋と非常によく似ている。初期のAIは短いコードの断片しか生成できなかったが、後に完全なプログラムを記述できるようになり、さらにその後、コードベースを読み取ってテストを実行し、バグを修正できるようになった。そして今、AIはAIを実行するのに必要なハードウェアの設計に挑戦し始めている。

これは、AIがより強力なチップの設計を支援し、より強力なチップがより強力なモデルを訓練し、より強力なモデルがさらに次世代チップの設計を支援するという、新たなAIの自己強化サイクルを形成する可能性がある。

さらに注目すべきは、Kimi K3がGPUプログラミングシステムを自律的に開発する能力も示したことだ。

月之暗面が開示したところによると、Kimi K3はMiniTritonを開発した。これはTritonに類似したコンパクトなコンパイラシステムであり、独自の中間表現層、最適化フロー、PTXコード生成フローを含んでいる。

これは、AIの能力の境界がソフトウェアの使用から、さらにソフトウェアツールの創造へと拡大しつつあることを示している。

将来、モデル自体がチップの最適化、コンパイラ開発、オペレーターの適応、システムチューニングに直接関与する可能性があり、これこそがKimi K3の最も重要な戦略的価値かもしれない。

それは単なるモデル製品ではなく、AIネイティブな研究開発モデルを模索している。モデルからコンパイラ、アルゴリズムからチップ、データからアプリケーションに至るまで、AIは次第にインフラ全体の一部になりつつある。

もちろん、AIが自律的に設計したチップには依然として厳格な検証が必要であり、AIが生成した科学研究の成果も専門家による審査が求められる。AIが自律的に複雑なタスクを実行する際にも、同じようにエラーは起こりうる。

しかし、Kimi K3はすでに一つの重要なシグナルを発している。それは、AIが創り出される対象から、徐々に次世代AIの創造に関与する主体へと変わりつつあるということだ。

おわりに

Kimi K3のリリースは、表面的にはモデルのアップグレードだが、その背後には大規模モデル競争のロジックの変化が表れている。

より大きなパラメータ規模から、より効率的なアーキテクチャへ。質問への回答から複雑な作業の遂行へ、そしてコンパイラの自律開発やチップの設計へと、AIは次第に次世代AIの創造に参加しつつある。

2.8兆パラメーターは単なる数字に過ぎないかもしれない。本当に注目すべきは、AIが自らの未来を設計し始めている点だ。