OpenAIは何年もAI業界全体をミスリードしてきた！
過去5年間、AI業界全体はスケーリング則に突き動かされてきた。
アルトマンがAGIを確信する根拠も、この曲線に由来する。
今、声を上げる者が現れた。この曲線は、そもそも最初から間違っていた、と。
後出しジャンケンではない。そう語るのは、当時OpenAIで大規模モデルの最適化に携わっていた研究者Diogo Almeidaだ。
彼はたった今、一篇のブログを公開した。そのタイトルは冷徹そのもの——『Scaling Laws, Honestly（スケーリング則、正直に）』。
冒頭の一文で、ずばり核心を突く。最初のスケーリング則は間違っていた、バグが存在していたからだ、と。
リンク：https://www.completeskeptic.com/p/scaling-laws-honestly
DeepMindで拡散モデルによって名声を博したSander Dielemanは、すぐさまTwitterでこれを取り上げ、「これはLLMにまつわる興味深い昔話だ」と述べた。
オリジナルのスケーリング則はバグのために誤っており、おそらく業界は「規模が大き過ぎで、訓練が不十分な」モデル群に、莫大な計算資源を無駄に費やしてしまったのだろう。
たった一つのバグが、2年を焼き尽くした。
バグが暴かれた時、我々が目にするのは、計算資源のブラックホールだけではない。言語そのものによって再定義された、想像をはるかに超える、より深遠な知能の境界である。
スケーリング則はLLM版「天動説」だった
2020年、OpenAIは結論を下した。固定の計算予算内では、より多くのデータを与えるよりも、モデルを大きくすることを優先すべきだと。
式で言えば、最適なパラメータ数は計算資源の0.73乗に比例する——つまり、パラメータこそが、より積極的に追求すべき変数だとしたのだ。
この一言が、GPT-3世代の姿を直接定義した。パラメータを積み上げろ。とことん積み上げろ。1750億だ。
世界中の開発者にこう言ったのだ。問答無用、パラメータを積め。モデルを十分に大きくしさえすれば、奇跡は起きる、と。
2年後、DeepMindはChinchillaを引っ提げて、この結論を根底から覆した。モデルとデータは、ほぼ同等に重要であり、一緒に拡大すべきで、パラメータ1つあたり約20トークンが費用対効果に優れると。
彼らは700億パラメータのChinchillaを訓練し、1.4兆トークンを与えた。規模はGPT-3の半分以下だが、データ量は4倍以上だ。
結果、同じ計算予算で、2800億パラメータを持ちながら3000億トークンしか与えられなかったGopherを全面的に上回った。
人間の言葉に訳せば、同じ資金で、一方は「見かけ倒しの」巨漢に育ち、もう一方はスリムなボクサーに鍛え上げられたのだ。
3年越しの掘り下げとして、北京大学出身の翁荔氏は、両者の差異に関する後続研究の主流な説明を深く考察した。すなわち、差異はパラメータ総数の計算方法にある、と。
だが、話はこれで終わらない。「正しい」とされたChinchilla自身も、決してクリーンではなかった。
2024年、BesirogluらはChinchillaの原論文のデータポイントを洗い直し、再実行したところ、そのフィッティング自体にもバグが潜んでいたことを発見した。
オプティマイザの損失スケールが高すぎる設定になっており、Huber損失をサンプルごとに和を取るべきところを平均してしまったため、フィッティングが早期に終了してしまっていた。
バグを訂正した論文が、自ら別のバグを抱えていた。
ここに至り、無数の人々が口にする「第一原理」という言葉が、突如として怪しくなってくる。
いわゆるスケーリング則とは、ニュートンの三法則のような鉄壁の物理法則では決してなく、単なる経験的フィッティングから得られた一本の曲線に過ぎないのだ。
**Diogo Almeidaは、真実はそうではないと考えている。**方法論の違いではなく、「最初のスケーリング則自体にバグがあったのだ」。
OpenAIは三つの手口で世界のAI関係者を欺いたのか？
世界中のAIを集団で信じ込ませる嘘を作り上げるには、たった三つのステップで十分だ。
第一歩：データの囲い込み。
OpenAIの論文は、すべてのモデルに対し——それがまだ歩き方を覚えたばかりの子供（小規模モデル）であれ、巨人に成長したモデルであれ——全く同じ「食事量」を与えた。約130Bトークンのデータである。
そのため小規模モデルは「満腹」になり、あるいは「食べ過ぎ」にさえなった。一方、膨大なデータによってその容量を満たす必要がある大規模モデルは、同じトークン予算の下で深刻な栄養失調に陥った。
Chinchillaの論文は後に、痛烈に指摘している。彼らはすべてのモデルに対し、「すべてのモデルに対して固定の訓練トークン数と学習率スケジュールを使用した」（fixed number of training tokens and learning rate schedule）のだ。
これは、幼稚園児と博士課程の学生に同じ試験問題を、同じ試験時間で解かせて、「成績は才能のみに関係する」と宣言するようなものだ。
第二歩：自己欺瞞的なLR減衰。
彼らはコサイン学習率減衰（Cosine Decay）を使用し、訓練が終点に近づくにつれて学習率を滑らかにゼロへと近づけた。
訓練が事前に設定された終点に近づくと、学習率は人為的にゼロへと押しつぶされ、モデルの進歩は自然と「平坦」になった。
曲線が平坦になると、あたかもこう見える。このモデルは学習し尽くし、これ以上与えても無駄だ、と。
研究者たちはそこで結論づけた。「データを追加しても無意味だ。モデルはすでに飽和している」と。
これはモデルの限界ではない。学習率が、モデルの成長の道筋を人為的に断ち切ったのだ。それは完璧な幻想を作り出す。パフォーマンスはすでに天井に達し、データを追加しても無駄だと。
しかし我々は今、知っている。それらの大規模モデルは全く限界に達していなかったのだ。
第三歩：権威の傲慢。
第三歩は、最も陰湿な一手だ。論文には、結果は「学習率曲線にほとんど依存しない（largely independent of learning rate schedule）」と記された。
当時OpenAIにいたDiogo Almeidaを含め、少なからぬ人々が漠然と違和感を覚えていたが、固定トークン上限の下では、この結論は技術的に正しかった。
しかしそれは、スケーリング則が本来記述しようとしている「データ無限」の理想世界には、決して当てはまらない。
彼らは有限条件下の局所的真実を、普遍的な宇宙の法則として扱ったのだ。
三つのステップが重なり合い、間違っており、かつ極めてデバッグが困難な法則が出来上がった。
Diogo自身も認めている。当時、彼もOpenAIで最適化に携わっていたが、そのバグを見抜けなかった。その学習率曲線はあまりにも「入念に設定されたもの」に見え、誰が疑うだろうか、と。
GPUは無駄に浪費され、計算資源のミスマッチは深刻だった
OpenAIの誤った公式に導かれ、AI業界は「力ずくで奇跡を起こす」の時代に突入した。
これはつまり、過去数年間、世界で最も聡明な頭脳、最も希少な計算資源が、無効な規模の拡張に浪費されていたことを意味する。
これは単なる金の問題ではない。AGI（汎用人工知能）への生死を賭けた競争において、人類は学習率の設定が原因で、集団で誤った滑走路を数千キロも疾走していたのだ。
バグの発見が人々の胸を痛ませるとすれば、その後に引き出された深い内省は、さらに背筋を凍らせる。
研究者Adam Zachary Wassermanは、誰もが無視してきた盲点を指摘する。たとえ公式が修正されたとしても、現在のスケーリング則は、単なる「英語のスケーリング則」に過ぎないのだ。
彼はある反直感的な実験を行った。同じアーキテクチャ、同じ計算リソースでモデルを訓練したのだ。
結果、フランス語モデルがある種の文法能力に到達する効率が、英語モデルに比べて50倍から100倍も高いことが明らかになった。
なぜか。それは英語が「形態的に貧弱な」言語だからだ。
英語は分布の規則性に過度に依存しており、膨大なデータの中からモデルに語義を推測させる必要がある。一方、フランス語や中国語のように形態が豊かだったり構造が厳密な言語では、語彙そのものに多くの明示的な情報が含まれている。
つまり、現在私たちが採用している計算リソース配分のすべての計画は、最も「データを喰い」、最も非効率な言語に基づいて策定されていることになる。
あなたが「汎用知能」の物理法則を探求しているつもりでも、実際には「英語という言語がいかに計算リソースを浪費するか」を測っているにすぎない。
それはまるで、一頭の豚の食欲を調べて、全宇宙の生物に共通する栄養基準を策定しようとするようなものだ。単なる偏見ではなく、認識の限界にほかならない。
私たちは本来なら、より小さなモデルと、より多くの良質なデータで、より高い性能を実現できたはずだ。
私たちは本来なら、数万基ものH100の稼働にともなう電力と熱を節約できたはずだ。
私たちは本来なら、2年早く「高効率AI」時代に突入できたはずだ。
