近未来についての46の考察：AI、ロボットと文明の激変

著者：bayes

翻訳：Felix, PANews

AIアルゴリズムの指数関数的飛躍、インテリジェンス・サプライチェーンのコモディティ化、そしてロボットの爆発的普及をめぐり、本稿は近未来に関する46の核心的洞察を体系的に整理する。

知能

人々はアルゴリズムの進歩に不意を突かれるだろう。市場、政府、軍、企業、個人を含む世界全体が、ごく最近の生産性や法則、物事のトレンドでもってAIとその影響を理解しようとしている。「RSI（再帰的自己改善）」を強く信奉するいくつかのイノベーションラボでさえ、これまで通りのビジネスモデルにエージェントが加わるだけだと考えているようだ。個人的な推測では、知能生産においてアルゴリズムにはなお何桁もの改善余地があり、おそらく（あくまで、おそらくの話だが）最大で10桁、ただし4～7桁のほうが現実的だろう。理論的には10桁を超える可能性もある。もしこれが事実なら、物事は見かけどおりには進んでおらず、巨大な跳躍が迫っている。この路線に沿って起こるいかなる出来事も、ほぼ誰の予想よりもはるかに不気味なものになる。
われわれはテイクオフの初期段階にいる。AIによるAIの改良は、最終的に史上最も影響力のあるマイルストーンの一つになるかもしれない。確かではないが、それは知能の物理的・計算的限界までの距離がわからないからだ。
現在、われわれはテイクオフの段階にあり、アルゴリズム研究は加速している。計算リソースは依然として稀少だが、研究者の時間的機会費用は下がっている。というのも、どんなタスクや無駄に思える探索にもエージェントを派遣できるからだ。何か成果が出るかもしれない。あらゆる新しいアイデアには最適化負債がつきものだが、いまやそれは教師なしのトークン消費によって返済できる。膨大な研究スケーリング則の曲線が次々と越えられていくだろう。
AIモデル、とりわけフロンティアモデルは、絶えず改善を続ける。唯一の本当の障壁は物理法則だ。モデルはますます自律的になり、賢くなり、刻一刻と進歩する。数学とコードは「スケール＋強化学習」によって攻略されつつあり、次は他のあらゆる領域だ。「検証可能」と「検証不可能」という意味のある区別は薄れていく。時間の経過とともに、自動化されたAI研究とAI学習はますます関連性を帯びて見えるようになる。モデルの訓練とモデル全体の学習効果は密接に結びついている。サンプル効率、創造性、その他すべての制約は解決され、やがてあらゆるスケールでアルゴリズム最適に近づき始める。
長時間のエージェントには常に同程度の長時間の訓練が必要だという考えは誤りだ。時間方向の汎化が存在するからである。長いタスクは単に時間の長さだけでできているわけではない。これはLeCunの(1-e)^n 誤差累積に関する誤謬に関係している。実際に起こっているのは誤り訂正だ。これは単一トークンの生成レベルから長いタスクのステップに至るまで、複数のスケールで起きている。METRのグラフが上昇している理由の一部は、エージェントが誤り訂正のエスケープ速度に達しつつあることだ。
ディープラーニングの工学的科学が到来しようとしている。これにより、われわれの予想をはるかに超える速さでAIアルゴリズムの成熟が進むだろう。もっとも、上で述べたように、この成熟度が理論的にどこまで達するかすら、まだ不透明ではあるが。たとえば、スケール不変性の科学は、単一GPUでの実験が10万GPUの使い方を教えてくれるため、有効な実験の規模と利益を大幅に引き上げることができる。
人間の技術活動のあらゆる領域で「Move 37」のようなブレイクスルーの瞬間が現れるが、それらの瞬間もまもなく取るに足らないものになる。すべての領域でそうなる。
計算能力は向上し続ける。今日の最良の行列積演算マシンは、AIアクセラレータの物理的限界にはほど遠い。デジタルシリコンには依然として大きな改善の余地がある。新たな基板候補も数多く存在し、それらが抱えるアルゴリズム負債は自動化によって極限まで追求されるだろう。しかし、空間／エネルギー／時間／製造可能性／コストの点で、どれがAIにとって最適解になるかはまだわからない。フォトニクスやランダムシリコンは興味深い候補だが、特異点は意外なところから現れるとも予想している。
ラボがどれだけ進歩できるかは、一部は自動化とスケールによる利益にかかっている。これにはアルゴリズムの深さの向上による利益も含まれる。ディープラーニングの実践（と理論）が永遠に浅いままであれば、長期的には、秘密を発見するコストが比較的低いため、アルゴリズムはもはや主な堀（モート）にはならないだろう。最終的には、蒸留＋データ＋時間が計算規模に追いつく可能性はあるが、そのプロセスは非常に遅いかもしれない。これまでのところ、部分的にはそれが現状に当てはまっているように見えるが、だからといってこのまま続く保証はない。
規模が大きくなるにつれて物事が浅くなくなっていくなら、自動化とスケールの向上によって得られるアルゴリズム上の秘密は、他者にとってますます到達困難なものになる。これもある程度は現在の状況に当てはまるようだ。いずれの場合も、最終的には限界効用が規模に回帰し、研究が飽和する段階に達する。その段階がいつ来るかはわからない。現在の地点からわずか2オーダー先かもしれないし、20オーダー先かもしれない。誰にもわからない。

知能サプライチェーン

計算能力は少なくとも今後数年間、非常に競争の激しいリソースであり続ける。しかし、その間にコモディティ化が始まる。規模は絶えず拡大して機能し、資本が流れ込み、知能産業の持続的発展を後押しする。より多くの行列積演算マシン、より多くのファブ、より多くのエネルギーが登場する。潜在的な経済的障壁があったとしても、知能生産のボトルネックは一時的なものにすぎない。
知能サプライチェーンの性質は変わりつつある。現在、それはラボに高度に集中している。しかしラボは、自らの中核的優位性である研究者とアルゴリズム上の発見の優位を自動化しつつある。いったんこれが起こり始め、しかもオープンソースが直後に追随すると仮定すると、とりわけラボがAI研究者のモデルを独占しない場合には、ラボの優位性は、より調達しやすい資金、より多くの計算リソース、特殊なデータ、ビジネス上の関係、そして優れたプロダクトからもたらされるようになるだろう。もちろん、これは上述のアルゴリズムの「深さ」の問題が最終的にどう決着するかや、他の多くの要因にも左右される。
分散トレーニングによって単一データセンター建設の必要性は低下し、非ハイパースケールデータセンターにもいくらかの優位性が生まれる。とはいえ、単一の最大実行規模という点ではハイパースケーラーを超えることはできない。
自動化されたAI実験は、アルゴリズム上の秘密を広く発見できるようになる。なぜなら、それらの秘密は大規模なトレーニング実行よりも当然、伝播しやすいからだ。この傾向がどこまで進むかは不明だが、かなり進むと予想される。上述のとおり、ディープラーニングの根本的な深さは依然として不明であり、この点の上限はそれにかかっている。
これらの要因は一見有利に見えるが、計算コストと機会費用のため、アカデミアやオープンソースコミュニティは停滞する可能性がある。たとえば、GB300コンピュートサーバーはGLM5.2にとってより価値があるのか、それともFableにとってか？学術ラボでフロンティアではない研究を行うことと、Anthropic内部でMythos 2を構築することのどちらがより価値があるのか？市場は最終的に最大の需要がある領域を見つけるが、現時点ではラボの需要が最も旺盛に見える。これは、オープンソースのラボに資金があっても、まだ計算リソースを確保していない場合、さらに深刻な計算リソース不足に直面する可能性があることを意味する。たとえそうであっても、研究の機会費用と計算リソースを借りるコストを天秤にかけなければならない。
AI能力がますます強力になる環境下（今後0〜18か月）では、オープンソースは社会的な面でも困難に直面する可能性がある。とりわけ安全な開発の加速が遅れている場合（現に遅れている）、なおさらだ。
ラボに資本が流入するにつれて、オープンソースは縮小し始めるかもしれない。ここには調整問題が存在し、ラボ（そしておそらく政府）以外で独占を望む者はいないが、この問題が解決され、規制環境が有利に働けば、状況は好転するかもしれない。

ロボティクス

ロボティクスは、ChatGPTのような大ブレイクスルーと、Opus 4.5のような大ブレイクスルーを迎えるだろう。この2つのブレイクスルーはまだ起きていないが、いずれ必ず起きる。そしてAIの急速な進歩（AIが加速する物理システム工学を含む）のおかげで、人々の予想をはるかに超えるスピードで実現する。これら2つのロボティクス・ブレイクスルーの間隔は、おそらく3年を超えないだろう。
しかし、ロボットが真に地球規模でスケールするのは、2030年以降になるかもしれない。自動車は年間約1億台生産されているが、人型ロボットは自動車よりはるかに小さい。スマートフォンは年間10億台生産されていることに鑑みれば、資本とアルゴリズムが急速に発展すれば、2030年までに年間約1億台のロボット生産も妥当に思える。年間1000万台は間違いなく達成可能だ。ドローン市場はすでにそれを実現している。優れたソフトウェアは小規模な人型ロボットの価値を証明でき、その証明の質に比例して無限の資本をもたらすだろう。
いまロボット開発の厳しい制約と見なされているものは消え去るだろう。たとえば、サンプル効率の低さ、相対的に乏しいデータ、高価で複雑なハンドやモータのハードウェア設計、物理世界の複雑なフラクタル特性、配管工事のような日常のものごとに関する記録されていない知識などだ。ワールドモデルは有用に見えるが、具体的に何であるかは重要ではない。研究のスケーリング則は、その有用性が低下するまで推し進められ続けるだろう。
ロボットに対する世界的な需要は、とりわけさまざまなフォームファクターを考慮すれば、容易に数百億台に達する。自動化する価値のある肉体労働があまりにも多い。市場はこの問題の解決に努め、人々はおそらくそのプロセスを妨げないだろう。

進歩

1.科学は自動化と仮想化を実現しつつある。これは、世界が必要とする進歩の大部分が自動化されたラボとシミュレーションからもたらされることを意味する。現時点では仮想化の計算上の限界は完全には解明されていないが、ロボット駆動型の生物学や材料科学などのラボは、多くのボトルネックを取り除き、その過程で実証済みの仮想化の限界を絶えず押し広げ、サンプル効率と実体化による純利益を高めていく。基本的に、あらゆる分野でニューラルネットワークモデル、明示的シミュレーション、現実世界の実験が組み合わされ、生物学や材料科学などにおける単位時間および単位投入あたりの産出比率が向上していくだろう。

進歩の法則はいたるところに存在する。深層学習では、これらはスケーリング則と呼ばれる。任意の曲線のS字カーブがいつ飽和するかを予測することは難しく、新たなS字カーブがいつ出現するかも予測しにくい。ここで理解すべきは、文明の進歩を駆動するエンジンそのものが、一つの進歩の法則に従っているということだ。私たちの進歩は、我々が観察するほとんどの自然過程と同様に、おそらく最終的には飽和状態に達するが、それがいつ起こるかは実際には分からない。技術と文明の成熟期はすぐそこかもしれないし、遠い先の話かもしれない。我々は今、次のような歴史的段階にいる：(a) 進歩を推進するためにほとんど資源を投入してこなかったが、その状況が急速に変わりつつある；(b) さらなる改善を直接生み出す機械を自動化しつつある。我々は興味深い時代にいる。
未来の発展の方向性：上方へのスケールか、それとも外側へのスケールか？ゼロからイチへ、それともイチからnへ？宇宙は人類に、広がりと深さの両面でどれほどの進歩を許容するのか、それは未解決の問題だ。広がりはより見積もりやすい。なぜならそれは、「今この瞬間から、物理法則が許す計算のステップ数はどれだけか？」に似ているからだ。一方、計算の「深さ」（広義の深さ）は未知である。ある未来のバージョンでは、技術ツリーは非常に深く、到達可能な計算の宇宙はあまりにも豊かで、我々は物理法則がそれを止めるまで（もし本当に止めるなら）、発明し、発見し、再発明し続けるだろう。別のバージョンではより平坦であり、我々は比較的浅い技術ツリーの限界にすぐに達し、比較的容易に技術的成熟を達成し、その後は外側へスケールし、同じく満足するか物理法則が止めるまで続けることになる。

資本と生産

より多くの資本とより高い知能は、より攻撃的な資本主義を意味し、それは市場均衡により速く達することを意味する。時間の経過とともに、これは当然デフレをもたらし、AI、食料、住宅、医薬品、電子機器、娯楽、旅行を含む主要な財の競争を限界費用近くまで引き下げる。もちろん、このプロセスが妨げられなければの話だ。ただ、いくつかのケースでは彼らが妨害する可能性が高い。
鉱業は自動化される。陸上、海上、航空輸送も自動化される。工場は自動化される。工場労働者は自動化される。配送センターは自動化される。サプライチェーン全体の保守、改善、スケーラビリティが自動化される。
人類は長期間にわたり仕事を持ち続けるだろう。その時点で人類の人口に占める割合がどれほどかは、まだ決着を見ていない。その割合が高いと主張する者は自信過剰であり、ゼロになると主張する者も同様だ。知識労働の知的要素に人間がどれほど貢献できるか、想像しにくい。もし月額わずか20ドルで超人並みのAI医師を利用でき、さらにオンデマンドの検査項目と、より高度な医療技術によって著しく改善された健康状態が得られるなら、医師のようなものへの需要は大幅に減少するかもしれない。しかし、現在医師には独占が存在するため、その独占が続く可能性があり、医師は依然として良い職業であり続けるだろう。娯楽への需要は増えるかもしれないが、制作コストは下がり、娯楽産業が人間に求める技術的需要はすでに大幅に減少している。しかし、私たちは他者をとても気にかけているので、おそらくこれからも気にかけ続け、俳優という職業はより収益性が高くなるかもしれない。この傾向を考える一つの方法は、今日の労働者から消費者に至るサプライチェーンの中間にどれだけの段階があるかを見ることだ。TikTokのインフルエンサーにとって、中間段階はゼロだ。医師にとってもゼロだ。しかし工場労働者にとっては多くの中間段階がある。仕事がどの程度(a) 非仲介化されうるか、(b) 競争によって淘汰されうるか、(c) 代替可能であるかが、その最終結果を大きく左右するだろう。この分析はかなり精緻であり、この文章で詳細に述べることは難しいが、最後に指摘すべきは、需要サイドの急激な崩壊に直面しないと仮定している点だ。あまりに多くの人が失業し、生産性／政府効率がユニバーサル・ベーシックインカム／ユニバーサル住宅保険を支えるに不十分であれば、需要側の崩壊が起こりうる。
上記と関連しつつ矛盾しないのは、「永続的な下層階級」が実際に存在するかもしれないということだ。より良い世界では、もしそれが存在するとしても、所得が深刻に制限されるというよりも、自律性が高度に制限される形で現れるかもしれない。ほとんどの人にとっては、現代社会において自律性はすでにかなり制限されているため、最終的には大きな影響はないだろうが、心理的な適応が必要であり、それには時間がかかり、苦痛を伴うかもしれない。

文化と心理学

人間の心理は現在、発達と適応の速度が遅いが、それはいずれ変わるだろう。重要なのは良い方向に変わることであり、それは一部の人にとって容易ではないかもしれない。豊かな知能と自動化技術のおかげで、私たちは現在の環境に適応していない進化的遺物よりも、はるかに持続性のある心理メカニズムを構築するだろう。精神医学と心理学の分野における革新は、わずか数十年で千年分の発展レベルに達する。人間の基本的な状態は改善される。粗野で退行的な心理介入のリスクは誇張されている。なぜなら、私たちはより精巧で多様な心理工学技術を手にするからだ。
きわめて不確実性の高い世界では、人々はかつてないほど激しく権力、地位、富を追い求め、その過程で同胞を喜んで裏切るだろう。彼らは自分の行いが善であり、偉大ですらあると正当化するために、あらゆる種類の理屈をこしらえるだろう。周りを見渡せばわかる。
あなたは生きているうちに、信じがたいような醜悪な行いの数々を目にすることになるだろう。
現在、あからさまなダブルスタンダードが存在する。すでに、あるいは間もなく上位0.01%の最富裕層に入る人々は、AIがすべての人に恩恵をもたらし、雇用などを心配する必要はないと主張する一方で、彼らは1年後、5年後、さらには20年後も自分の富を手放すつもりはないと言う。人々はこれを見抜いており、すでに反応し始めている。はっきりさせておくと、私も自分の地位を放棄するつもりはないが、すべてが完璧になるとは考えていない（そして私は上位0.01%の富裕層ではない）。したがって、私たちは不公正な世界を構築するリスクに直面している。この問題を気にかける人々がおり、もっと頻繁に議論されるべきだと私は思う。そして明確にしなければならないのは、アメリカの政界はこうした問題への対応が非常にまずいということだ。
マスク氏は、初の千兆長者（クアドリリオネア）になる可能性がかなり高そうだ。総じて、チップ、ロボット、宇宙船への需要が1000倍に成長し、その大きな部分を彼が獲得する可能性は想像に難くない。

協調

社会のあらゆるレベルでより良い協調が必要なことは明白だ。より良い協調についての我々の現在の理解にはいくつかの欠陥とリスクがあるが、我々はその潜在力の表面をかじったに過ぎないようだ。
少なくともAI問題について、ある程度の国際的な協調は良い考えかもしれない。条約とGPUの計数が必要になるかもしれない。これは(a) エスカレートする敵対的な軍事および政府の権力蓄積を減速させ、(b) 科学やその他の重要な進歩分野への影響を最小限に抑えるように設計できる。GPUの威力があまりに強大であるために、これを実現できないかもしれない。核兵器ではそれができた。なぜなら狂人以外、誰も核兵器を本気で使いたがらなかったからだ。
AIラボによる調整を通じたAI生産の一時停止や減速の可能性は、2023年よりも高まっている。ここには多くのトレードオフがあるが、一時停止の価値は今日、2023年よりもわずかに高い。自動化された研究（現在は自動化されたエンジニアリングのみ）を手にしたとき、一時停止が無駄になるという主張は成り立ちにくい。

権力、暴力、安全、自由

我々の宇宙は脆弱かもしれない。現在の世界には、我々が適時に調整して制御できず、同時に世界の真実を維持するに足る統治と自由の規範を維持できないような自由度が存在するかもしれない（パノプティコン型の監視を用いない限り）。注意すべきは、そのような世界では権力の蓄積が滑り坂のような効果をもたらすことだ。そのような世界の多くは、最終的に大半の人々を苦境に陥れるだろう。これが真実でなければ良いのだが、おそらく真実なのだ。
AIの拡散速度は、潜在的な速度制限要因が何であれ、ゼロより大きい。世界には多数のコンピューターがあり、浮動小数点演算回数とAIの交換レートは史上最低にまで下がっている。すべてが停滞するとは期待しないことだ。
永続的な下層階級という概念は、永続的な上層階級の存在を含意する。これは、特定の人々がより多くの権利を持つことを前提としており、それらの権利には正当な理由が欠けていることが多い。その根本的な原因は常に、暗黙的あるいは実現された、暴力に支えられた支配である。しかし、高度なAIを備えた世界では、人間はもはや他の人間に対するいかなる正当な支配権も、他の人間を凌駕する公認の功績や地位も持たなくなるかもしれない。これが完全に現実になることは決してないかもしれないが、この問題について考える重要性は、今後増していくだろう。
制度は四方八方から変革の圧力に直面するだろう。この結末に至る道筋は数多くあり、あるものは安全の名のもとに、またあるものは穏やかな権力拡大を通じてであり、その上限は強力なAI＋全自動化された軍事サプライチェーン＋全自動化された兵器である。我々にはより良い制度が必要だ。
将来、数多くの「ゼロデイ脆弱性」が出現するかもしれない。サイバー、生物、インフラ、神経、ミメティクス、物理学などの領域で。我々は、これらの領域におけるアルゴリズムの深さと一貫性がもたらす見返りについて、防御や堅牢性においても、攻撃においても、全く理解していない。世界で最も賢い人間にとって、核兵器のアルゴリズム的な深さは到底手が届かないものではない。
関連する注意：技術ツリーには、非常にまずいものが存在する可能性がある。我々はそれについて何も知らない。
大規模ロボティクスがもたらすリスクには、サイバー攻撃の新たな領域や経路などのより現実的なリスクだけでなく、実際の乗っ取りやクーデターのリスクも含まれる。我々はこれらのリスクを真剣に受け止め、それを低減する努力をすべきだ。

8.相互確証破壊（MAD）（注：理論上の仮定で、両国が互いに相手を完全に破壊できる核戦力を有し、いずれかが攻撃を受けた場合には必ず同等以上の強度で核反撃を行うというもの）は、20世紀および21世紀初頭の技術に基づいている。我々は短期間のうちに急激な技術変革を経験するだろう。その規模は過去一千年分の発展に匹敵する可能性がある。これは、MADが不可避ではないことを意味する。この問題は解決可能であり、絶対的あるいは決定的な転覆ではない。なぜなら、決定的優位を得る際の許容誤差は極めて小さく、そもそも実現すら不可能かもしれないからだ。過去に一部の人々がこの話題をやや不真面目な態度で議論したことがあるが、それは誤りであり無責任だと私は考える。これは我々が議論できる最も深刻な話題の一つだ。人々が懸念を抱くのも当然だが、今こそこの問題に正面から向き合う時だと私は考えている。

軍隊、警察、政府の法執行の主要なメカニズムはすべて自動化され、人間よりもはるかに知能が高くなる。それがどのような結果をもたらすかは、各自で判断してほしい。
最後に：AI研究所は最終的に国有化される可能性がある。米国のシステムはこのようなやり方に適していないように見えるが、保守的あるいはリベラルな政治環境のいずれにおいても、国有化を実現するための多くの道筋が存在し、それらは不可能ではないように思われる。原則として、これらの研究所は水面下で軍や情報機関と連携を維持できるようだ。連邦政府が我々の議論しているような一方的な権限を持つことも極めて危険である。民間企業がそのような権限を持つ場合は異なる。なぜなら、通常、直接的な暴力を行使することはなく、法律もそれを許していないからだ。私は国有化にはあまり賛成ではないが、この世界は困惑させるものであり、明らかにますます危険になっている。