作者： Egor Shulgin | Gonka協議共同創辦人，前Apple及Samsung AI演算法工程師
多年來，最強大的AI 系統一直被囚禁在密閉的「黑盒子」中——那些由少數科技巨頭掌控、規模宏大的資料中心。在這些設施裡，數以萬計的GPU 被塞進同一個實體空間，透過極速的內部網路緊密連接，使大模型能夠在高度同步的系統下完成訓練。
這種模式長期以來被視為技術上的「必然」。然而，現實正日益清晰：中心化資料中心不僅成本高昂、風險集中，且正在觸及物理極限。大語言模型的成長速度呈指數級爆發，僅僅幾個月前訓練出的系統就已經顯得過時。現在的問題不再只是“權力是否過於集中”，而是中心化基礎設施在物理層面，是否還跟得上AI 進化的步頻。
繁榮背後的陰影：中心化的“物理天花板”
當今的最尖端模型已經榨乾了頂級資料中心的每一個潛力。想要訓練一個更強大的模型，往往意味著必須平地起一棟新的機房，或是對現有設施進行推倒重來式的升級。同時，同址辦公（Co-located）的資料中心正面臨電力密度的極限——大量的能源並非消耗在計算上，而是浪費在了為了讓這些矽片不被燒毀的散熱系統中。結果顯而易見：頂尖AI 模型的訓練能力被鎖死在極少數公司手中，且高度集中在美、中兩國。
這種中心化不僅是工程難題，更是戰略隱憂。 AI 能力的取得正受到地緣政治、出口管制、能源配給和公司利益的重重限制。當AI 成為經濟生產力、科學研究乃至國家競爭力的基石時，對極少數中心化樞紐的依賴，正將基礎設施變成最脆弱的「軟肋」。
但如果這種壟斷並非不可避免，而只是我們現行訓練演算法的「副作用」呢？
被忽略的通訊瓶頸：中心化訓練的隱性限制
現代AI 模型由於體量龐大，已無法在單一機器上訓練。擁有千億參數的基礎模型需要無數GPU 並行工作，並且每隔幾秒鐘就要同步一次進度，在整個訓練週期內這種同步高達數百萬次。
業界的預設方案是「同址訓練」：將成千上萬的GPU 堆在一起，並用特製的昂貴網路硬體連接。這種網路確保了每個處理器都能即時對齊，確保模型副本在訓練中完美同步。
此方案效果顯著，但前提極度苛刻：它要求極速內網、物理近距離、極穩定的電力供應以及中心化的營運控制。一旦訓練需求跨越實體邊界──跨城市、跨國境、跨洲際──系統就會分崩離析。一般網際網路的連線速度比資料中心內網路慢幾個數量級。在現行演算法下，高效能GPU 大部分時間都在「待機」等待同步訊號。根據估算，若用標準網路連線訓練現代大模型，訓練週期將從「月」拉長至「世紀」。這就是為什麼過去這種嘗試幾乎被視為異想天開。
範式轉移：當「減少通訊」成為核心演算法
傳統訓練模式的核心假設是：機器必須在學習的每一個小步驟後進行溝通。
幸運的是，一種名為「聯邦學習」（Federated Learning）的技術從意外的方向帶來了轉機。它引入了一個極具顛覆性的想法：機器並不需要時時交流。 它們可以獨立工作更長時間，僅偶爾同步一次。
這項洞察演變成了一套更廣泛的技術，即「聯邦優化」。其中，「低通訊頻率」方案脫穎而出。透過允許在兩次同步之間進行更多的本地計算，它使得在跨地域、低頻寬的分散式網路上訓練模型成為可能。
DiLoCo：全球化分散式訓練的曙光
這種技術飛躍在DiLoCo（分散式低通訊訓練）的研發中得到了具象化。
DiLoCo 不再強求即時同步，而是讓每台機器長時間進行本地訓練，然後再分享更新。實驗結果令人振奮：使用DiLoCo 訓練的模型，其性能足以媲美傳統的高度同步模式，但通訊需求降低了數百倍。
至關重要的一點是，這使得在受控資料中心之外進行訓練變得可行。開源實現已經證明，大語言模型可以透過標準互聯網連接，在點對點（P2P）環境下完成訓練，完全脫離了對中心化基礎設施的依賴。
這種源自DeepMind 研究員的靈感，已被Prime Intellect 等機構採納，用於訓練數十億參數規模的模型。曾經的研究構想正演變為建構頂級AI 系統的務實路徑。
產業變局：算力權力的再分配
這場從「中心化」到「分散式」的轉向，其意義遠超效率提升。
如果大模型可以在網路上訓練，AI 開發將不再是豪門的特許權。算力可以從世界各地貢獻，由不同的參與者在多樣化的環境下提供。這意味著：
跨國界與跨機構的大協作成為可能；
降低對少數基礎設施供應商的依賴；
增強面對地緣政治和供應鏈波動的韌性；
更廣泛的人群能夠參與AI 基礎技術的建構。
在這個新模型下，AI 的權力重心正從「誰擁有最大的機房」轉向「誰能最有效地協同全球算力」。
建構開放且可驗證的AI 基礎設施
隨著訓練走向分散式，新的挑戰也隨之而來：信任與驗證。在開放網路中，我們必須確保算力貢獻是真實的，且模型未被惡意竄改。
這催生了對密碼學驗證方法的濃厚興趣。一些新興的基礎設施項目正在將這些構想付諸實踐。例如Gonka ——一個專為AI 推理、訓練和驗證設計的去中心化網路。 Gonka 不依賴中心化中心，而是協同獨立參與者的算力，透過演算法校驗確保貢獻的真實與可靠。
這種網路完美契合了「低通訊訓練」的核心：減少對高速私人基建的依賴，強調效率、開放與韌性。在這種脈絡下，去中心化不再是意識形態標籤，而是工程層面的必然結果──因為演算法不再需要時時同步。
另一條出路
AI 訓練的歷史一直受制於通訊的物理極限。多年來，進步取決於機器之間物理距離的縮短。
但最新的研究告訴我們，這並非唯一的道路。透過改變機器的協同方式——溝通更少，而非更多——我們完全可以在全球互聯網上培育出強大的模型。
隨著演算法的演進，AI 的未來也許不再取決於算力位於何處，而取決於它們如何智慧地連結。這一轉變將使AI 開發變得更開放、更具韌性，並最終擺脫中心化的枷鎖。
