作者：bayes
編譯：Felix, PANews
圍繞 AI 演算法的指數級躍遷、智慧供應鏈的商品化以及機器人的爆發，本文系統梳理了關於近期未來的 46 個核心洞察。
智慧
1.人們會對演算法的進步感到措手不及。整個世界，包括市場、政府、軍隊、公司、個人等，都在試圖用最近過去的生產效率和規律，以及事情的發展趨勢，去理解 AI 及其影響。甚至幾個自稱深信「RSI（遞迴自我改進）」的創新實驗室似乎也認為，這將是一如既往的商業模式，只是加入了智能體（Agent）。個人的猜測是，在智慧生產方面，演算法還有許多個數量級 (OOMs) 的進步空間，也許（僅僅是也許）多達 10 個，但 4 到 7 個似乎更符合現實。理論上，超過十個也是有可能的。如果這是真的，那麼事情實際上並沒有像表面看起來那樣發展，一個巨大的飛躍即將到來。沿著這條路線發生的任何事情，都會讓事情變得比幾乎任何人預期的都要詭異得多。
2.我們正處於起飛的早期階段。AI 改進 AI 最終可能成為歷史上最具影響力的里程碑之一。這一點尚不確定，因為我們不知道距離智慧的物理和計算極限還有多遠。
3.如今，我們正處於起飛階段，演算法研究正在加速發展。計算資源仍然稀缺，但研究人員的時間機會成本更低，因為你可以派遣智能體執行任何任務或看似徒勞的探索。它或許會有所收穫。所有新想法都帶有優化債務，而現在可以通過無監督的 Token 消耗來償還。大量的研究擴展定律曲線將被跨越。
4.AI 模型，尤其是前沿模型，將會不斷改進。唯一真正的壁壘是物理學。模型變得越來越自主、越來越聰明，並且時刻都在進步。數學和程式碼正在被「規模 + 強化學習」攻克，接下來就是其他所有領域。「可驗證」與「不可驗證」作為一種有意義的區分將會淡化。隨著時間的推移，自動化的 AI 研究和 AI 學習看起來將越來越相關。訓練模型與模型整體學習效果密切相關。樣本效率、創造力以及所有其他限制都將被解決，然後開始在任何規模上接近演算法最優。
5.認為長週期智能體總是需要同等長週期訓練的觀點是錯誤的，因為時間上的泛化是存在的。長任務並非僅僅由時間長短構成。這與 LeCun 關於 (1-e)^n 誤差累積的謬誤有關。實際上發生的是糾錯。這發生在從單個 Token 生成級別一直到長任務步驟的多個尺度上。METR 圖表上升的部分原因是，智能體正在開始達到糾錯的逃逸速度。
6.深度學習的工程級科學即將到來。這將推動我們以遠超預期的速度實現 AI 演算法的成熟，儘管正如上面提到的，即使在理論上，這種成熟度究竟能達到什麼程度也尚不明確。例如，尺度不變性科學能夠顯著提升有效實驗的規模和收益，因為在單個 GPU 上進行的實驗就能告訴你如何使用十萬個 GPU。
7.在人類技術活動的每個領域，都會出現類似「Move 37」的突破時刻，但很快，這些突破時刻就會顯得微不足道。所有領域都會如此。
8.算力將繼續提升。如今最好的矩陣乘法機器遠未達到 AI 加速器的物理極限。數位矽片還有很大的改進空間。還有很多新的基材候選者，它們所欠的演算法債務將被自動化推向極限，但還不知道在空間 / 能源 / 時間 / 可製造性 / 成本方面，哪一個是 AI 的最優解。光子學和隨機矽都是有趣的候選者，但也預料奇點將會出人意料。
9.實驗室能夠取得多大的進展，部分取決於自動化和規模帶來的收益，這其中也包括演算法深度提升帶來的收益。如果深度學習的實踐（和理論）永遠停留在淺層，那麼從長遠來看，護城河主要將不再是演算法，因為發現秘密的成本相對較低。最終，蒸餾 + 數據 + 時間可以趕上算力規模，但這個過程可能很慢。到目前為止，這似乎在部分程度上符合我們所處的現狀，但即便如此，也無法保證它會繼續這樣下去。
10.如果隨著規模的擴大，事物變得不那麼膚淺，那麼每一次自動化和規模的提升都會為你帶來其他人越來越難以企及的演算法秘訣。這似乎也是目前部分處於的情況。無論哪種情況，最終都會達到邊際效用回歸規模、研究飽和的階段。不知道這個階段何時到來。它可能距離今天的位置只有 2 個 OOM，也可能只有 20 個 OOM。沒人知道。
智慧供應鏈
1.算力在至少未來幾年內將是競爭高度激烈的資源。但在此期間，它將開始商品化。規模不斷擴大並發揮作用，資本也隨之而來，推動著智慧產業的持續發展。更多的矩陣乘法機器、更多的晶圓廠和更多的能源即將到來。智慧生產的瓶頸只是暫時的，即使存在潛在的經濟障礙。
2.智慧供應鏈的性質正在發生變化。目前，它高度集中於實驗室。但實驗室正在實現其核心優勢的自動化：研究人員和演算法優勢的發現。一旦這種情況開始發生，假設開源軟體緊隨其後，尤其是在實驗室不壟斷 AI 研究人員的模型的情況下，實驗室的優勢將來自於更容易獲得的資金、更多的計算資源、特殊的數據、商業關係以及優質的產品。當然，這還取決於上述演算法深度問題最終如何解決，以及其他因素。
3.分散式訓練將減少對單一資料中心建設的需求，非超大規模資料中心將獲得一些優勢。不過，就單次最大運行規模而言，它仍無法超越超大規模資料中心。
4.自動化的 AI 實驗將能夠廣泛發現演算法的秘密，因為這些秘密自然比大規模訓練運行更容易傳播。目前尚不清楚這種趨勢能發展到什麼程度，但預計會發展得相當不錯。如上所述，深度學習的基本深度仍然未知，這一點的上限取決於它。
5.儘管這些因素看似對其有利，但由於計算成本和機會成本，學術界和開源社群仍有可能發展停滯。例如，GB300 算力伺服器用於 GLM5.2 還是 Fable 更有價值？在學術實驗室進行非前沿研究還是在 Anthropic 內部構建 Mythos 2 更有價值？市場最終會找到需求最大的領域，而目前看來，實驗室的需求最為旺盛。這意味著，即使開源實驗室擁有資金，如果它們尚未鎖定計算資源，它們仍可能面臨更大的計算資源短缺問題。即便如此，它們也需要權衡研究的機會成本與租用計算資源的成本。
6.在 AI 能力日趨強大的環境下（未來 0-18 個月內），開源在社會層面也可能面臨困境，尤其是在加速安全發展方面進展緩慢的情況下（目前確實進展緩慢）。
7.隨著資本湧入實驗室，開源可能會開始萎縮。這裡存在一個協調問題，除了實驗室（也許還有政府）之外，沒有人希望出現壟斷，但如果這個問題能得到解決且監管環境有利，也許情況會有所好轉。
機器人技術
1.機器人技術將迎來類似 ChatGPT 那樣的重大突破，以及類似 Opus 4.5 那樣的重大突破。雖然這兩個突破尚未發生，但終將到來，而且由於 AI 的快速發展，包括 AI 加速的物理系統工程，其速度將遠超人們的預期。這兩個機器人技術突破之間的時間間隔很可能不會超過三年。
2.然而，要真正擴大機器人的全球規模，可能要到 2030 年甚至更晚。儘管我們每年生產約 1 億輛汽車，而人形機器人比汽車小得多。考慮到每年還生產 10 億部智慧型手機，如果資本和演算法能夠快速發展，那麼到 2030 年，每年生產約 1 億台機器人似乎是合理的。每年 1000 萬台機器人肯定是可以實現的，因為在無人機市場已經實現了這一目標。優秀的軟體能夠證明小規模人形機器人的價值，從而帶來無限的資本，其價值與證明的品質成正比。
3.如今看似機器人發展的硬性限制將會消失，例如低採樣效率、相對稀缺的數據、昂貴或複雜的機械手和馬達硬體設計、物理世界的複雜分形特徵，以及日常生活中未記錄的、關於如何做事（例如管線安裝）的知識。世界模型看似有用，但具體是什麼並不太重要。研究的縮放定律（Scaling law ）將被不斷推演，直至其效用降低。
4.全球對機器人的需求量輕鬆達到數百億台，尤其是在考慮各種外形尺寸的情況下。有太多體力勞動值得自動化。市場會努力解決這個問題，而人們可能不會阻礙這一進程。
進步
- 科學正在實現自動化和虛擬化。這意味著世界上所需的大部分進步將來自自動化實驗室和模擬。當下尚不完全了解虛擬化的計算極限，但這種由機器人驅動的生物學、材料科學等領域的實驗室將消除大量瓶頸，並在此過程中不斷突破已驗證虛擬化的極限，從而提高樣本效率和實體化帶來的淨收益。基本上，在每個領域，都將結合神經網路模型、顯式模擬和現實世界實驗，共同提高生物學、材料科學等領域的單位時間和單位投入產出比。
2.進步法則無處不在。在深度學習中，它們被稱為縮放規律。很難預測任何給定曲線的 S 曲線何時達到飽和，也很難預測新的 S 曲線何時會出現。這裡需要理解的是，文明進步的引擎本身就遵循著一條進步規律。我們的進步很可能像我們觀察到的大多數自然過程一樣，最終達到飽和狀態，但實際上並不知道這種情況何時發生。技術和文明的成熟期可能近在眼前，也可能遙不可及。我們正處於這樣一個歷史階段：(a) 我們幾乎沒有投入任何資源來推動進步，但這種情況正在迅速改變；(b) 我們正在自動化直接產出更多改進的機器。我們正處於一個有趣的時代。
3.未來發展方向：向上擴展還是向外擴展？從零到一還是從一到 n？宇宙究竟允許人類在廣度和深度上取得多大的進步，這是一個懸而未決的問題。廣度更容易估算，因為它類似於「從現在開始，物理定律允許進行多少步驟的計算？」。而計算的「深度」（廣義上的深度）則未知。在某些未來版本中，科技樹如此深邃，可觸及的計算宇宙如此豐富，以至於我們將不斷發明、發現、再發明，直到物理定律阻止為止（如果它真的會阻止的話）。而另一些版本則更為平坦；我們很快就能達到較淺的科技樹的極限，並相對輕鬆地實現技術成熟，然後向外擴展，同樣直到感到滿足或物理定律阻止為止。
資本與生產
1.更多的資本和更高的智能意味著更激進的資本主義，這意味著將更快地達到市場均衡。隨著時間的推移，這自然會導致通貨緊縮，並使大多數重要商品（包括 AI、食品、住房、藥品、電子產品、娛樂和旅遊）的競爭趨近於邊際成本。當然，前提是不會阻礙這一進程。但在某些情況下，他們很可能會阻礙。
2.採礦業將實現自動化。陸路、海路和空運都將實現自動化。工廠將實現自動化。工廠工人將實現自動化。配送中心將實現自動化。整個供應鏈的維護、改進和規模化都將實現自動化。
3.人類將長期擁有工作。至於屆時人類佔總人口的比例是多少，目前尚無定論。那些聲稱這一比例會很高的人過於自信，那些聲稱這一比例會為零的人也同樣如此。很難想像人類還能在知識型工作的知識部分做出多大的貢獻。如果每月只需 20 美元就能擁有超人般的 AI 醫生，外加按需選擇的檢查項目，以及通過更先進的醫療技術顯著改善的健康狀況，那麼對某些東西的需求，比如醫生，可能會大幅下降。然而，由於現在對醫生實行壟斷，這種壟斷可能會持續下去，醫生仍然會是一個不錯的職業。對娛樂的需求可能會增加，但製作成本會下降，而且娛樂行業對人類的技術需求已經大幅減少。然而，我們非常關心其他人，所以也許我們會繼續關心他們，演員這個職業也會變得更加有利可圖。思考這種趨勢的一種方式是，從今天的勞動者到消費者，供應鏈中有多少個中間環節。對於 TikTok 網紅來說，中間環節為零。對於醫生來說，中間環節也為零。而對於工廠工人來說，中間環節則很多。一項工作在多大程度上（a）可以被去中介化，或者（b）可以被競爭淘汰，或者（c）具有可替代性，很可能會在很大程度上決定其最終結果。這項分析相當精妙，這段文字難以詳盡闡述，但最後一點需要指出的是，假設我們不會面臨需求側的急劇崩潰。如果太多人失業，而生產力 / 政府效率又不足以支撐全民基本收入 / 全民住房保險，那麼需求側崩潰就可能發生。
4.與上述觀點相關但不矛盾的是：「永久性底層階級」可能真實存在。在更美好的世界裡，如果這種情況確實存在，那麼它可能表現為自主權高度受限，而非收入受到嚴重限制。對大多數人來說，這最終不會造成太大影響，因為我們的自主權在現代社會中已經受到很大限制，但這需要心理上的適應，而這種適應可能需要時間，也可能伴隨著痛苦。
文化與心理學
1.人類的心理目前發展和適應速度緩慢，但這終將改變。關鍵是要向好的方向改變，這對某些人來說可能並不容易。得益於豐富的智能和自動化技術，我們將構建出比如今這種不適應環境的進化遺留問題更為持久的心理機制。精神病學和心理學領域的創新將在短短幾十年內達到千年發展水平。人類的根本狀態將得到改善。粗放、退化的心理干預被過分誇大了風險，因為我們將擁有更加精湛、更加多樣化的心理工程技術。
2.在一個充滿高度不確定性的世界裡，人們將比以往任何時候都更加激烈地追逐權力、地位和財富，並在這一過程中欣然背叛同胞。他們會編造各種各樣的理由來證明自己的行為是好的，甚至是偉大的。看看周圍就知道了。
3.在你的有生之年，將會看到一些你難以置信的醜陋行徑。
4.現在存在一種顯而易見的雙標：那些躋身或即將成為 0.01% 最富有的人群聲稱，AI 將造福所有人，不必擔心就業問題等，但他們卻表示，一年、五年甚至二十年後，他們都不會放棄自己的財富。人們看穿了這一點，並且已經開始做出回應。需要澄清的是，我也不會放棄我的地位，但我也並非認為一切都會完美無缺（而且我也不是最富有的 0.01% 人群）。因此，我們面臨著構建一個不公正世界的風險。有些人關心這個問題，我認為應該更頻繁地討論它。而且必須明確的是，美國政界在應對這類問題上做得非常糟糕。
5.馬斯克似乎很有可能成為第一個千萬億富翁。總的來說，不難想像，未來對晶片、機器人和宇宙飛船的需求將會增長 1000 倍，而他很可能能夠抓住其中很大一部分市場。
協調
1.社會各層面都需要更好的協調，這一點顯而易見。我們目前對更好協調的理解存在一些缺陷和風險，但我們似乎還只是觸及其潛力的冰山一角。
2.至少在 AI 問題上進行某種程度的國際協調可能是個好主意。我們可能需要條約和 GPU 計數。這可以被設計為 (a) 減緩螺旋式上升的敵對軍事和政府權力積累，並 (b) 對科學和其他重要進步領域產生最小的影響。我們可能無法實現這一點，因為 GPU 的威力過於強大。我們在核武器上做到了，因為除了瘋子，沒有人真正想使用核武器。
3.由 AI 實驗室協調暫停或放緩 AI 生產的可能性比 2023 年更大。這裡有很多權衡取捨，但暫停的價值在今天比 2023 年略高。當我們擁有自動化研究時（目前只有自動化工程），認為暫停會被浪費的說法就很難成立了。
權力、暴力、安全、自由
1.我們的宇宙可能很脆弱。當前世界可能存在一些自由度，我們無法及時協調控制，同時又無法維持足以維繫我們世界真相的治理和自由規範（除非採用全景監獄式的監控）。請注意，在這樣的世界裡，權力積累是一條滑坡效應。很多這樣的世界最終可能會讓大多數人陷入困境。如果這不是真的就好了，但它或許是真的。
2.AI 的擴散速度將大於零，無論是否存在各種潛在的速率限制因素。世界上有很多計算機，而浮點運算次數與 AI 的兌換率已降至歷史最低點。不要指望一切會停滯不前。
3.永久底層階級的概念意味著永久上層階級的存在。這預設了某些人擁有更多權利，而這些權利往往缺乏正當理由。其根本原因總是隱含的或已實現的、以暴力為支撐的統治。但或許，在一個擁有先進 AI 的世界裡，人類將不再擁有任何正當的統治權，也不再擁有任何公認的、凌駕於其他人類之上的功績或地位。這或許永遠不會完全成為現實，但思考這個問題可能會變得更加重要。
4.機構將面臨來自四面八方的轉型壓力。通往這一結局的途徑有很多，有些打著安全的幌子，有些則是通過溫和的權力擴張，其天花板是強大的 AI + 全自動化的軍事供應鏈 + 全自動化的武器。我們需要更好的機構。
5.未來可能會出現很多「零日漏洞」。在網路、生物、基礎設施、神經、模因學、物理學等領域。我們根本不了解在這些領域中，算法深度和一致性所帶來的回報，無論是在防禦和穩健性方面，還是在破壞方面。對於世界上最聰明的人類來說，核武器的算法深度並非高不可攀。
6.相關提示：科技樹中可能存在一些非常糟糕的東西。我們對此一無所知。
7.大規模機器人技術帶來的風險，不僅包括網路攻擊的新領域和新途徑等更為現實的風險，還包括真正的接管和政變風險。我們應該認真對待這些風險，並努力降低它們。
8.相互保證摧毀（MAD）（注：理論假設，兩個國家均擁有徹底摧毀對方的核力量，且任何一方遭受攻擊後必然以同等或更強力度進行核反擊 ）基於 20 世紀和 21 世紀初的技術。我們將在短時間內經歷快速的技術變革，其規模可能相當於一千年來的發展。這意味著 MAD 並非必然。這個問題是可以解決的，它並非絕對確定或徹底的顛覆，因為獲得決定性優勢的容錯率非常低，甚至可能根本無法實現。過去有些人曾以一種不太嚴肅的態度討論過這個話題，我認為這是錯誤的，也是不負責任的。這是我們能討論的最嚴肅的話題之一。人們對此感到擔憂是理所當然的，但我認為現在是時候正視這個問題了。
9.軍隊、警察以及政府執法的主要機制都將實現自動化，並且比人類更加智能。至於這會帶來什麼後果，各位自行判斷。
10.最後：AI 實驗室最終可能會被國有化。美國的體制似乎並不適合這種做法，但在保守或自由的政治環境下，有很多途徑可以實現國有化，而且這些途徑似乎並非不可行。原則上，這些實驗室似乎可以在後台與軍方和情報部門保持協調。聯邦政府擁有我們正在討論的這種單方面權力也極其危險。私營公司擁有這種權力則有所不同，因為它們通常不會直接實施暴力，而且法律也不允許它們這樣做。我不太贊成國有化，但這個世界令人困惑，而且顯然變得越來越危險。
