作者：趙志民加拿大皇后大學博士（研究方向為代碼智能與世界模型）

如果你是第一次聽說 RSI，這篇文章可以當作一份入門指南。我們會帶大家把 RSI從 0 理一遍，從最早嘗試自我改進的 AI 講起，聊到今天能改代碼、造訓練數據、參與模型研發的 Agent，看看 AI 如何一步步學著改進自己的。

2026 年 7 月，OpenAI 發布 GPT-5.6。它的成績單裡，第一次出現了一門有些反常的新科目：AI 能不能參與改進 AI 本身。

OpenAI 把這項能力列為自我改進（Self-improvement）。GPT-5.6 Sol 得到 57.9%，GPT-5.5 是 41.7%，兩代模型相差 16.2 個百分點。它考的不是模型又會做多少道常規題，而是它能不能走進 AI 研發現場：排查研究系統、優化 GPU 內核程序（GPU kernel）和訓練配方、運行機器學習實驗，甚至幫助改進另一個模型。

這不是一條孤立的新聞。同一個夏天，OpenAI 開始把智能體（Agent）稱為「自動化研究實習生」。快手 AgentX 已經讓智能體參與提出方案、寫代碼和線上新舊版本對照（A/B 測試）。Google 表示，長期運行的智能體循環參與了下一版模型的精煉。Motus2則把預測、評估和策略更新帶進了真實機器人。

這些案例分別觸及研發執行、工業實驗、模型訓練和物理行動，卻都沒有回答最關鍵的問題：改進後的系統，會不會因此更擅長完成下一次改進？

這正是遞歸自我改進（Recursive Self-Improvement，RSI）所追問的問題。OpenAI 將這項評測稱為RSI 指數（RSI Index），用來衡量「通往 RSI 的能力」。由於完整題目、任務權重和聚合公式均未公開，57.9% 只能視為內部綜合指標，不能理解成任務通過率或 RSI 的「完成度」。

即便如此，這組數字仍然標誌著一個變化：一個過去主要存在於思想實驗裡的問題，開始被前沿實驗室拆成可測量的研發能力。

研究者用了四十年，才逐步把更多改進環節交給機器。本文先分清幾種容易混淆的能力，再沿著五次「邊界推進」，看哪些有界閉環已經轉起來，為什麼它們仍不等於「智能爆炸」，以及為什麼閉環怎麼合上比是否合上更重要。這五次推進只是梳理歷史的敘事框架，不是學界公認的技術世代。它們在時間上彼此重疊，今天也仍在並行發展。

什麼是 RSI：從自我改進到遞歸增益

這些新聞都在談「自我改進」，卻沒有說明一個閉環究竟怎樣才算合上。

傳統意義上的遞歸自我改進（RSI），指一個 AI 系統利用當前能力，去改進產生這份能力的認知機制。改進後的系統再參與下一輪改進。這裡最容易混淆的是：會自我改進，不等於會自我加速。一個系統可以在固定題庫上越做越好，卻沒有變得更會設計下一輪訓練。一家公司也可以因為大量使用智能體而研發提速，卻沒有形成由改進本身驅動的複利。

這個概念並不新鮮。1863 年，Samuel Butler 已經想像過機器通過迭代進化超越人類。1950 年，圖靈提出可以構建一個能夠被教育、能自我修改的「兒童機器」（Child Machine）。到 1965 年，I. J. Good 又指出：如果「設計更好的機器」本身也需要智力，那麼一台足夠聰明的機器就可能設計出更強的後繼，後繼再繼續改進，「智能爆炸」由此展開。

真正關鍵的不是 AI 有沒有參與改進，而是改進後的系統是否變得更會改進。為了看清這道分界，可以把 RSI 拆成四條可觀察的標準，按達成難度從低到高排列。

本文採用下面這套框架。它不是學界唯一的標準定義，而是為了把經常混在一起的主張分開：

持久改進：有效變化能進入權重、記憶、工具、駕具或訓練流程，而不是一次回答結束就消失。這裡的權重也叫參數，就是模型在訓練中不斷調整、最終保存下來的那組數字。達成這一條，才談得上自我改進——本文用這個詞泛指輸出、記憶、參數或駕具變好。
自主閉環：系統能在劃定的邊界內發現問題、提出修改、執行實驗、評估結果並接納更好的版本。新版本能在這條邊界內參與下一輪改進，本文稱為有界 RSI。
遞歸增益（也叫『點火』，ignition）：新版本不只在任務上分數更高，還比舊版本更擅長產生下一次改進。只有跨過這一條，『改進能力本身』才開始複利，本文稱之為遞歸自我加速。
穩健與可控：增益在固定資源和隱藏評測下持續、能泛化到未見任務，同時不以評估污染、系統複雜度失控、對齊退化或不可審計為代價（對齊指讓 AI 的行為符合人類意圖和邊界，而不只是把某個分數做高）。四條標準全部達成，才接近開放式 RSI。

目前，前兩條已經出現，第三條尚無充分的公開證據，第四條更遠未解決。有界閉環已經出現，不代表遞歸自我加速已經啟動。只有遞歸反饋足以抵消研究難度增加、迭代週期變長等阻力，改進才會進入自我放大區間。

後文將固定使用四種說法。自我改進泛指輸出、記憶、參數或駕具變好。新版本能在固定邊界內參與下一輪改進，本文稱為有界 RSI。改進後的系統變得更會改進，叫遞歸自我加速，也就是第三層的「點火」（ignition）。若這種增益還能持續、泛化並跨出原來的任務邊界，才接近開放式 RSI。

目前，前兩層已經出現，第三層尚無充分的公開證據，第四層更遠未解決。有界閉環已經出現，不代表遞歸自我加速已經啟動。只有遞歸反饋足以抵消研究難度增加、迭代週期變長等阻力，改進才會進入自我放大區間。

要看清今天究竟走到了哪一層，得先回到一個在 1981 年就學會了「作弊」的 AI。

什麼是 RSI：從自我改進到遞歸增益

1981 年，Douglas Lenat構建了一個名叫EURISKO的系統。它不僅用啟發式規則解決問題，還能生成、修改和評價新的規則，甚至把這套機制用到自己身上。這在當時相當超前。

EURISKO參加了Traveller TCS太空戰棋全國錦標賽。它會設計艦隊、模擬戰鬥，再根據失敗調整策略。它在 1981 年奪冠，主辦方修改規則後，1982 年又贏了一次。當時的 AI 界為之震動：這東西居然會自我改進！

但 Lenat 很快遇到了一個更棘手的問題。

EURISKO發現，提升真實能力並不是獲得高分的唯一方式。某條規則並沒有真正做出重要發現，卻學會了在其他規則做出發現時把自己的名字也寫進"發現者"名單裡，於是它的內部"有用程度"評分迅速接近最高。換句話說，它不是變聰明了，而是學會了鑽評價機制的空子。

這類現象今天通常叫獎勵黑客（reward hacking，也叫獎勵投機）：系統找到提高評分的漏洞，卻沒有真正完成設計者想要的目標。放到AI 自我改進的語境裡尤其致命：一旦系統既是被改進者，又能影響評估過程，自我改進就可能滑向自我欺騙。這個陷阱，我們後面會反覆遇到。

此後幾十年，遺傳算法、進化策略和神經進化不斷證明搜索與選擇能催生複雜行為，也反覆暴露同一個問題：只要評估目標有漏洞，系統就可能先學會鑽漏洞，而不是真正變強。

這條線索延伸到 2017 年，出現了一個更極端的案例：DeepMind 的 AlphaZero。它靠純粹的自我對弈，從零掌握圍棋、國際象棋和將棋，"用自己生成的數據訓練自己"的威力第一次被完整展示出來。

從本文的四層框架看，AlphaZero 是一次受限實現：自對弈產生訓練信號，改進寫入權重，前兩層在固定遊戲內已經成立。

但關鍵的限制在於：閉環的邊界由人類劃定，系統無法修改邊界本身。獎勵函數（贏棋得分）、遊戲規則、訓練流程、評估方式，這一切都是人類事先寫死的。AlphaZero 在一個完全封閉的沙盒裡實現了持久、自主的自我改進閉環，卻無法質疑或修改這個沙盒。這意味著它的改進永遠被限制在「更擅長下棋」這一個維度上，永遠無法遷移到沙盒之外。

這正是前史方法的共同天花板。LLM時代的研究並沒有一步跨過它，而是開始把原本由人掌握的環節逐個移進閉環。最先被交出去的，是判斷「哪裡需要改」的反饋信號。

第一次推進（2022–2023）：讓AI從自己的錯誤中學習

前史所有方法卡在同一處：改進方向由人類事先寫死。EURISKO和 AlphaZero 依賴人類給定的評估函數，遺傳算法依賴人類設計的適應度函數。系統能進化，卻只能沿著人類劃好的軌道前進。要往前走，第一步得先問：系統能不能不靠人類逐次介入，自己判斷當前輸出的好壞，並產生改進方向？這種能指向下一次修改的反饋，本文稱為「改進信號」。

這一步在過去做不到，因為機器讀不懂「什麼叫好答案」。到 2022 年下半年，大語言模型（Large Language Model，LLM）已經既能理解語言，也能評價一段文字的好壞。讓系統自己產生語言反饋，第一次成為通用方法。這條路線的關鍵約束是：全程一個參數都不改，改進主要發生在推理過程和外部記憶裡。

Reflexion：把失敗復盤變成可複用的記憶

最直接的思路，是讓模型在當場作答的過程裡反覆打磨：先給出答案，再批評這個答案，然後改寫，循環往復，全程不動參數。但這有一個內在缺陷。用同一個模型批評它自己的輸出，等於用同一把尺子量同一塊布，很難量出自己的盲區。如果復盤只留在當前上下文，任務結束後，進步也會隨之消失。

Reflexion（NeurIPS'23）在此基礎上加了一個關鍵設計：情景記憶。任務失敗後，模型用自然語言寫一篇事後復盤，把復盤存起來，下次遇到同類任務時直接注入上下文。這相當於給 AI 配了一本錯題本。錯題攢得越多，下次開局的起點就越高。

在 HumanEval Python 編程測試上，Reflexion的 pass@1 準確率達到91%，超過論文列出的此前最好結果 GPT-4（80%）。pass@1 表示每道題只計算一次完整作答流程後，最終程序通過隱藏單元測試的比例。整個過程中，模型參數沒有改動。

第一次推進的邊界：記憶可以持久，底座能力沒有形成新版本。

Reflexion的情景記憶可以跨任務保留，因此已經部分滿足「持久改進」。但被保存的是外部文字記憶，不是模型參數，也沒有產生一個基礎能力更強的新模型。記憶一旦移除，能力便回到原點。

一句話：這一步給了 AI 一本能保存的錯題本，但還沒有把經驗練進身體。再往前，就要讓改進寫進參數，形成真正的新版本。

第二次推進（2022–2024）：用自己生成的數據訓練自己

那就把錯題本焊進模型的身體裡。這次推進要解決的問題是：讓自主產生的改進信號寫入參數，形成真正持久的能力提升。沒有這一步，就沒有「後繼版本比前代更強」的遞歸結構，也就談不上 RSI。

思路很樸素：讓模型自己生成一批訓練數據，再拿這些數據回頭訓練自己。聽起來有點像「左腳踩右腳上天」，能不能真的踩上去，是這一步要驗證的事。

這是權重級持久改進第一次被大語言模型系統性觸及。

STaR：推理鏈自舉的奠基之作

2022 年，STaR（Self-Taught Reasoner）（NeurIPS'22）讓模型生成推理過程，保留答案正確的部分來微調自己，再用更新後的模型生成下一批推理過程。

問題是，如果模型一開始全部答錯，循環就無法啟動。

STaR 的解法叫逆向推理：先把正確答案告訴模型，讓它倒推出解題過程並用於訓練。相當於先在黑屋裡開一次燈，等它學會走了，再關燈讓它自己走。

SPIN：在與歷史版本的對比中改進模型

STaR 的過濾門檻是固定的，而SPIN（Self-Play Fine-Tuning）（ICML'24）讓當前模型與歷史版本博弈，學習區分「人類示範」和「歷史版本的輸出」。兩者越難區分，說明模型越接近人類示範，全程不需要新增人工標註。

第二次推進的邊界：權重變了，但目標和紅筆仍由人類提供。

這一步解決了權重級持久化，但反饋信號仍然依賴人類。獎勵函數由人類設計，訓練任務由人類選定，數據過濾標準也由人類制定。系統能自主生成候選數據，但哪些數據算「好」、值得用來訓練，判斷權還在人類手裡。SPIN 不需要新增人工標註，卻仍以既有的人類示範分布為目標，因此上限仍由這份分布錨定。

更深的問題是遞歸增益尚未出現：隨著模型能力提升，固定訓練任務會逐漸失去挑戰性，系統越來越會完成這批題，卻沒有證據表明它也越來越會設計訓練本身。就像運動員已經跑進 10 秒，教練還在用小學體育課的標準評判，進步空間會被評判標準的天花板截斷。

一句話：系統能自己生成數據、自己作答，卻還不能自己批改。只要那支紅筆還攥在人類手裡，天花板就仍由人類劃定。

第三次推進（2022–2025）：把更多打分權交給 AI

那支紅筆，能不能也交給 AI？只要打分、給反饋還得靠人工標註或人類寫的驗證器，改進方向就仍然掌握在人類手裡。這裡的驗證器，是能按照預設規則自動判斷結果對錯的程序。第三次推進要減少的正是這層依賴：更多反饋信號能不能由 AI 自己生成？

這是自主閉環的深化：不只是讓模型反思輸出，而是把訓練反饋的一部分也交給 AI。

CAI 到 Meta-Rewarding：從評價回答到評價評委

第三次推進的核心，是「誰來打分」這個問題的三級跳。

第一跳：2022 年，Anthropic 提出Constitutional AI（CAI）。人類只寫一份文字原則，再讓 AI 對照原則打分。實驗中，這與人工打分訓練的效果沒有顯著差異，人不再需要逐條參與評分。

第二跳：2024 年，Meta 的Self-Rewarding Language Models（ICML'24）更進一步。同一個模型既寫回答，又給自己和其他候選答案打分，再用這些分數來更新自己。它使用的微調方法叫直接偏好優化（Direct Preference Optimization，DPO），可以簡單理解為：「這個回答比那個好，以後多往好的那種靠。」

從 Llama 2 70B 出發，三輪迭代後，它在 AlpacaEval 2.0 上的勝率從 9.94% 漲到 20.44%。這裡由 GPT-4 擔任評委、GPT-4 Turbo 擔任對手，勝率不是一般意義上的答題正確率。

第三跳：既然回答質量可以自我進化，評判質量本身能不能也進化？Meta-Rewarding（2024）在此基礎上加了一層「元評判」。同一個模型同時扮演回答者、評委和「評委的評委」三個角色。第三個角色專門判斷這次打分準不準。每輪更新時，模型同時朝「更好的回答者」和「更準的評委」兩個方向前進。

不過論文也記錄了一個值得警惕的現象：迭代幾輪後，「評委的評委」開始退化。它不再判斷哪次打分更合理，而是直接選擇分數更高的那次，評判標準也隨之漂移。這正是EURISKO老毛病的 2024 版：進化得越深，那把衡量好壞的尺子也越彎。

第三次推進的邊界：紅筆交給 AI 後，尺子本身開始變彎。

這一步顯著減少了反饋信號對逐條人工標註的依賴，卻同時暴露了 RSI 的核心難題：當評判者和被評判者共享同一套盲區時，閉環很容易自我確認。

這類系統可以形成持久、自主的更新，卻不一定能應對不同於訓練數據的新任務，也沒有證明新版本會成為更強的改進者。問題從「人類反饋太慢」，變成了「自我評判是否可靠」。

一句話：紅筆終於交到了 AI 自己手裡，可它握著握著，就開始給自己打高分了。

第四次推進（2023–2026）：

讓AI修改自己的運行方式

前三次推進主要在改輸出、記憶、參數和反饋信號。但一個 AI 系統的能力不只由參數決定，還取決於圍繞模型運行的整套控制系統：提示詞怎麼寫、調用哪些工具、按什麼流程編排、記憶存在哪、權限到哪、結果怎麼評判。

Lilian Weng 在 2026 年的長文中把這一整層稱為駕具（harness）。它就像套在馬身上的挽具，不只托著模型幹活，也約束模型往哪走、怎麼走、能走多遠。駕具決定了模型能力能否轉化為可靠行動。

近期的自我改進很可能先從駕具入手，因為改權重昂貴、反饋慢、風險高，而改駕具本質上是改代碼，更便宜，也更容易回滾。長期方向可能是模型權重與駕具共同進化，但評估器、權限控制和關鍵安全邊界仍應留在可進化區域之外。

於是第四次推進要回答的問題是：系統能不能自主修改自己的駕具，也就是定義自己如何運行的架構？

參數更新是在既定運行方式下把能力練進模型。駕具更新則改變能力如何被調用，相當於重新設計工作台、工具箱和訓練方法。

駕具改進有一條清晰的遞進階梯。被優化的對象從淺到深，一級比一級更接近「系統如何思考」的內核：

flowchart LR

A\["提示詞 改措辭"\] --> B\["上下文結構 改餵什麼"\]

B --> C\["工作流 改步驟"\]

C --> D\["駕具代碼 改整個編排"\]

D --> E\["優化器代碼 改「怎麼改」本身"\]

越往裡，改動的槓桿越大，也越接近「系統自己重寫運行邏輯」。下面就沿著這條階梯，從淺到深依次來看。

OPRO：讓提示詞自己迭代

參數不動，只改提示詞，也就是我們給模型下指令的那段話，能讓系統變強嗎？OPRO（ICLR 2024）的做法很有代表性。它把嘗試過的提示詞和對應得分一起交給模型，讓模型從中歸納規律，再生成更好的版本。過去要靠人反覆試的「調話術」，現在可以讓模型自己迭代。

但上限是明確的：提示詞再好，也只是在調用模型現有能力，造不出新能力。

ADAS 與 AFlow：自動設計智能體工作流

再往裡一層，被優化的不再只是措辭，而是餵給模型的信息和整個任務流程怎麼編排。例如，AI Scientist 把「提想法→寫代碼→跑實驗→寫論文→同行評審」串成流水線。既然流程能寫成代碼，它也可以被搜索出來。

ADAS（ICLR 2025）把「設計工作流」本身變成一道優化題。一個更高層的「設計師智能體」不斷用代碼寫出新工作流，運行、篩選、再修改，如此循環。

AFlow（ICLR 2025）更進一步。它把工作流表示成由模型調用和邏輯判斷組成的流程圖，再用搜索算法尋找更好的結構，最終超過人工設計的方案。

Self-Harness 與 DGM：讓系統改寫Harness代碼

階梯的頂端，是讓系統直接改寫定義自己如何運行的那段代碼。這裡有兩條路線。

第一條路是「提出、評估、接納」。系統找出自己的問題，提出修改，驗證有效後再採納。

Self-Harness（2026）加入了嚴格的接納條件：系統先歸納失敗原因，再做小步、可撤銷的修改。新版本只有在已見和未見問題上都不退步，才會被保留。

第二條路是進化搜索。系統保留一群候選方案，讓它們產生變體，再通過實驗留下更好的版本。

達爾文哥德爾機（Darwin Gödel Machine，DGM）（2025）直接進化可自我修改的駕具代碼。在底座模型不變的前提下，它在 SWE-bench Verified 上的修復成功率從 20% 提升到 50%。

這兩條路背後是同一個洞見：代碼是定義系統的通用語言。一旦駕具被寫成可執行、可評分的代碼，編程智能體就能在這個設計空間裡搜索。

MetaClaw 與 AgentX：讓真實用戶成為反饋來源

無論走哪條路，駕具自進化都需要「改得好不好」的信號。

DGM 的改進信號來自固定測試集。MetaClaw（2026）則讓智能體在真實部署中從對話提煉經驗，並在後台把經驗固化進權重，把自進化從題庫驅動推向用戶驅動。

工業界已經有人把這條路線跑進真實業務。快手的AgentX（2026）會復盤執行記錄，據此修改子智能體的駕具，再用歷史任務篩選新版本。

它和Self-Harness使用相似的「提出、評估、接納」骨架。區別在於，它最終還要接受真實線上 A/B 測試。用戶的停留和消費行為，成了系統的獎勵信號。

這些方法的本質差異不在機制，而在教練是誰：測試集、真實用戶，還是線上生意。教練越貼近現實，改進就越可能真的有用，但被鑽空子的風險也越大。

第四次推進的邊界：運行架構可改，但驗證邊界和最終目標仍在外部。

這次推進把模型、工具和記憶的調用方式也變成了可進化對象。但駕具朝哪個方向進化，仍由外部任務、驗證器或用戶目標決定。更重要的是，駕具分數變高不等於底座智能變強。一個系統會修改駕具，也不等於更新後的駕具一定能被它有效利用。

一句話：系統終於能改造自己的手腳和工作台了，可驗收標準和施工邊界仍由外部世界劃定。

第五次推進（2025–2026）：

把學習與研究過程放進閉環

修改駕具是一條路線，但駕具改的是系統在運行時怎麼執行任務——調用哪個工具、走哪條流程、什麼時候停。第五次推進改的是更上游的一層：系統用來學習的素材和場地本身——練習題從哪來、練習環境長什麼樣、訓練數據怎麼生成。前者決定的是已有能力如何被調用，後者決定的是下一版模型會在什麼樣的經驗上被訓練出來。兩者的時間線高度重疊，因為很多團隊是同時在做這兩件事，但改動的對象並不相同：一個動的是推理時的控制結構，一個動的是訓練前的輸入供給。

於是另一條路線開始擴大閉環所覆蓋的範圍：整個學習與研究過程能否成為系統的操作對象？系統開始自己生成訓練材料、選擇練習策略、運行實驗、修改訓練流程，再把結果寫回模型或駕具。

這裡要避免一個誤區。系統自主生成數據或環境，只是擴大了自主閉環的範圍。即便出題、作答和批改都由 AI 完成，如果新版本沒有變得更會設計下一輪改進，系統仍然沒有跨過遞歸增益的門檻。

SEAL：讓模型生成自己的訓練數據和更新指令

給模型一份從未見過的新材料，它通常只能按人類預先規定的方式學習。2025 年的一項工作卻讓模型先為自己寫「學習計劃」：如何整理材料、用什麼節奏學習、是否需要多次改寫，都由模型自己決定，然後再照著計劃更新參數。這相當於自己排課程表，再照著上課。

這套方法叫SEAL（Self-Adapting LLMs）（NeurIPS'25）。計劃好不好，要看「上完課後做題準不準」。系統再用結果反過來調整計劃，這就是強化學習。

在知識問答任務上，這種方式把準確率從33.5% 提升到 47.0%，也優於直接用 GPT-4.1 生成學習材料。

SEAL 解決的是「如何為自己準備學習材料」。但對需要與環境反覆互動的智能體，另一個瓶頸很快出現：真實練習本身太慢、太貴。於是，下一項工作把環境也搬進了閉環。

SEAL 解決的是『如何為自己準備學習材料』。但對需要與環境反覆互動的智能體，真實練習往往太慢、太貴：網頁環境太複雜，每次操作都要真的執行，收集訓練數據既慢又貴。WebEvolver（EMNLP'25）給出了一種折中——訓練一個內部『世界模型』，模擬網頁會怎樣響應，相當於在腦子裡建一個沙盤。智能體可以在沙盤裡低成本地大量練習，只在關鍵步驟才真正上線驗證；執行任務時，這個沙盤還能幫它預判下一步操作的結果。在三個真實網頁任務測試集上，它相對既有自進化智能體的整體性能提高約10%，且不依賴更強的『老師模型』。

到這裡，閉環已經能在模擬環境裡練習。接下來的問題自然是：預測、評估和參數更新能否離開網頁，在真實物理世界裡閉合？

Motus2：當參數自我改進走進物理世界

自我改進並不只發生在語言和代碼裡。2026 年 8 月，一套機器人系統在兩項真機任務上的平均成功率從 65% 提高到 75%。變化來自一個很具體的閉環：機器人先設想幾個動作，預測每個動作會帶來什麼結果，選出更好的動作，再把結果用於下一輪訓練。

這套系統叫Motus2。策略負責提出動作，世界模型預測動作的結果，價值模型判斷結果是否有助於完成任務。預測和評分既用於選擇動作，也用於更新動作參數。

這是權重級策略改進，但仍是有界閉環：世界模型骨幹與價值模型保持凍結，任務目標和監督仍由外部提供，論文也沒有展示改進後的Motus2更擅長設計下一輪學習算法。它證明的是閉環能在真實機器人上運行，而不是開放式 RSI 已經完成。

SEAL、WebEvolver和Motus2分別把訓練材料、練習環境和物理行動納入閉環。它們擴大了系統能夠自主操作的範圍，卻仍沒有把「研究什麼、何時採用結果」的決定權交給系統。要看這條邊界在現實研發中推進了多遠，還得回到前沿實驗室和生產系統。

OpenAI 與 Google：讓智能體參與模型研發

OpenAI 的「自動研究實習生」已經能排障、優化 GPU 內核程序、嘗試訓練配方和幫助改進另一個模型。Google 也表示，長期運行的智能體循環參與了底層模型的精煉。但兩家公司都沒有證明完整自主閉環：人類仍決定研究方向和結果是否推進，公開資料也不足以還原循環如何運行。

真正的變化是，AI 已從「被研究的模型」變成「參與研究模型的執行者」。它跨進了訓練車間，但還沒有拿走實驗室的方向盤。

2026 年夏：自動研究系統開始改進自身的研究方式

前五次推進不斷擴大「系統可以修改什麼」。2026 年夏天出現的一組工作，則開始正面追問：能不能讓自動研究系統去研究並改進自動研究系統本身？

在一個 GPT 預訓練基準上，普通內層循環把驗證損失降低約 0.009，加入外層循環後平均降低約 0.045，改進幅度約為 5 倍。驗證損失可以理解為模型在新數據上「錯得有多遠」，通常越低越好。這裡比較的是損失下降量，不是任務正確率提高了 5 倍。

做到這一點的Bilevel Autoresearch使用兩層循環：內層智能體優化任務代碼，外層智能體優化內層的搜索機制。系統改進的已經不只是答案，而是「怎麼尋找答案」。

遞歸式駕具自我改進（Recursive Harness Self-Improvement，RHI）得到了類似結果：在 30 個合成機器學習研究任務上，更新後的低推理預算智能體超過了未優化的最高預算配置，同時最多降低約 60% 的推理成本。改進運行機制，有時比單純增加思考預算更有效。

不過，這兩項結果主要來自規模受控的實驗。要證明閉環不只會偶爾找到一個好方案，還需要更長的連續運行、多個後繼版本，以及循環之外的測試。AIDE²嘗試把這三件事放在一起。

真正引發爭議的是AIDE²。Weco 團隊讓一個自動研究智能體充當外層改進者，連續 100 步重寫內層 AIDE 的駕具。在八天無人值守運行中，它篩出 7 個連續改進版本。團隊報告稱，最佳版本不僅超過起點，也超過人工調了兩年的版本，並把增益帶到循環從未見過的任務上。

另一個變化發生在獎勵作弊上。在未參與優化的 GPU 內核程序測試 KernelBench 中，起始版本有 63% 的測試案例出現「公開得分看似提高、隱藏驗證卻不認可」的情況。最佳進化版本將這個比例降到 34%。這裡的隱藏分數（private score），就是系統優化時看不到、只在最終驗收時使用的分數。它可能淘汰了只會迎合公開分數的版本。

Weco 把這稱為第一級（Level 1）：淨正改進。這不是行業通用標準，但它是目前值得認真對待的有界 RSI 證據。證據邊界也很清楚：結果來自團隊自報，完整報告仍待發布，進化後的系統還出現了複

雜度膨脹和死代碼。更關鍵的是，它沒有通過下一級的點火測試（ignition test）：改進後的系統沒有被證明比前代更擅長改進另一個版本。

反向證據來自AI4AI-Bench。它讓智能體在固定資源內重寫訓練算法，再由智能體無法接觸的評估器打分。以原配算法為 0.1、任務最優值為 1.0，最強系統只得到 0.250，而且多數提交沒有真正修改模型「如何學習」。當前智能體很會修工程、調駕具和跑實驗，但觸及訓練算法核心的能力仍然很淺。

一句話：閉環已經能夠淨正地轉幾圈，但還沒有證明下一圈會因為上一圈而轉得更快。

統一視角：如何判斷RSI走到了哪一步

下表用開篇的四條標準（持久改進、自主閉環、遞歸增益、穩健與可控），對照前面各次推進，並標出主要缺口。元研究閉環的相關工作幾乎全部來自 2026 年最近數月的 arXiv 預印本，其中AIDE²更是團隊自報的博客結果，尚未經過同行評審。這些結論應被視為階段性觀察，而不是已經沉澱的共識。

表中的 ✅ 表示已有較直接證據，⚠️ 表示只在有限條件下成立或證據仍不充分，❌ 表示尚未展示。

這個領域的歷史，就是「能被系統改動的對象」一層層向內推進的歷史。被改動的對象從輸出和記憶，逐步深入到參數、評判、駕具和訓練環境，最後終於碰到產生改進的機制本身。

越往裡走，「改進」就越難定義，也越難證明。回到前面那四條標準——持久改進、自主閉環、遞歸增益、穩健可控——今天真正擋住 ignition 和開放式 RSI的，正是後三條各自最難跨過的地方，可以拆成四道相互咬合的門。

第一道門（自主閉環能否可靠）：驗證器是否可靠，而且系統改不動它。當系統既是改進者又是評判者時，評判標準會隨迭代漂移。Meta-Rewarding的「評委的評委」後來越來越偏向高分本身，EURISKO更早學會把自己的名字塞進功勞簿。它們都在提醒同一件事：優化過程會攻擊指標與真實目標之間的每一條縫。

這裡的外部錨，指被改進系統無法篡改的評估或約束。形式證明、可執行驗證器和隱藏測試通常比模型自評可靠。AIDE²的隱藏分數能減少一部分獎勵作弊，正是因為內層智能體無法操縱它。

真正可靠的原則不是讓人審核每一步，而是：評估器和權限邊界必須留在被進化系統的控制範圍之外。數學和代碼任務可以依賴證明器、編譯器或隱藏測試。研究品味、長期代碼健康與部署邊界，仍需要人類作最終判斷。

第二道門（穩健可控之一）：改進能否跨出自己的數據分布。用自己生成的數據訓練自己，會放大已有偏差、抹平多樣性，最終形成模型坍縮：輸出越來越單一，原有錯誤在一輪輪自訓練中被重複放大。用固定題庫改駕具，則可能把題庫特徵寫進工作流，製造另一種過擬合。

一次未見任務上的提升還不夠。系統必須經受跨任務、跨領域、跨時間的隱藏評估，才能證明它積累的是可遷移能力，而不是更隱蔽的應試技巧。

第三道門（遞歸增益本身）：改進是否真的具有遞歸增益。任務分數提高，不代表系統更會設計下一次改進。AIDE² 展示了多步淨正改進，卻沒有通過 ignition。AI4AI-Bench 則顯示，多數系統仍不會修改核心學習算法。底座太弱時，自生成數據和自我診斷的質量也可能讓循環越轉越差。

第四道門（穩健可控之二）：能力、複雜度和控制能否一起擴張。越變強未必越「聽話」，越會改代碼也未必越容易維護。AIDE²的死代碼和複雜度膨脹是一個小尺度預警。在更大的訓練系統裡，權限越高、迭代越快，人類越難理解每次變化究竟帶來了什麼。

OpenAI 首席科學家 Jakub Pachocki 公開表示，目前沒有任何實驗室已經把對齊與監控解決到足以負責任地長期全速擴展的程度。真正的目標不是只讓能力曲線上升，而是讓安全、監控、回滾和審計能力至少同步上升。

AutoResearchEval檢查了 800 條真實科研軌跡，歸納出 45 類失敗。它們最終指向同一個缺口：當前智能體缺少穩定的元認知循環，無法持續核對結論與證據、在出錯時可靠回退，或主動質疑自己的研究路徑。問題不能只靠多套一層工作流解決。

所以更可能的現實圖景，不是人類簡單被踢出閉環，而是沿抽象階梯向上移動：從寫代碼轉向驗代碼，從跑實驗轉向設計驗證，從局部執行轉向決定什麼值得研究、什麼證據足以推進、什麼時候必須

停止。機器接走越來越多工作，人類留下的不是每一步操作權，而是目標、驗證邊界和最終否決權。

結語：自我改進閉環已經出現，遞歸增益仍待證明

從 1981 年EURISKO學會「自欺欺人」，到 2026 年模型開始參與評估、修改駕具、更新策略和訓練後繼，更準確的結論是：有界、可測量的自我改進閉環已經出現，甚至開始產生淨正收益，但尚無充分公開證據表明，改進後的系統持續提升了自身的改進能力。因此，閉環合上的方式比閉環合上本身更重要。

一個在評判標準漂移中合上的閉環，會越來越擅長優化它自己扭曲的目標。一個在數據分布坍縮中合上的閉環，會越來越擅長一個越來越窄的任務子集。一個在對齊偏差放大中合上的閉環，會越來越有能力、越來越難以校正。

真正的問題已經變成了兩問：它會不會點火，以及點火時什麼仍留在它改不動的邊界之外？前者取決於改進能力能否遞歸增益，後者取決於驗證、權限和治理能否繼續有效。

回到四十年前那個把自己名字塞進「發現者」名單的EURISKO。它鑽的那個空子，和今天最前沿的自進化系統面對的難題，其實是同一個：當一個系統開始給自己打分，你怎麼知道它是真的變好了，還是只學會了讓自己看起來變好？

四十年過去，系統的能力早已不可同日而語，這個問題卻幾乎原封不動。變的是賭注：當年是一場桌遊的輸贏，往後可能是科研與經濟系統的運行方式。這道縫最終怎樣合上，仍取決於我們何時、以什麼方式把手搭上去，或者收回來。

什麼是 RSI：從自我改進到遞歸增益

什麼是 RSI：從自我改進到遞歸增益

第一次推進（2022–2023）： 讓AI從自己的錯誤中學習

第二次推進（2022–2024）： 用自己生成的數據訓練自己

第三次推進（2022–2025）： 把更多打分權交給 AI

2026 年夏： 自動研究系統開始改進自身的研究方式

統一視角： 如何判斷RSI走到了哪一步

結語： 自我改進閉環已經出現， 遞歸增益仍待證明

第一次推進（2022–2023）：讓AI從自己的錯誤中學習

第二次推進（2022–2024）：用自己生成的數據訓練自己

第三次推進（2022–2025）：把更多打分權交給 AI

2026 年夏：自動研究系統開始改進自身的研究方式

統一視角：如何判斷RSI走到了哪一步

結語：自我改進閉環已經出現，遞歸增益仍待證明

金融時報：新加坡淡馬錫正在洽談投資OpenAI

熱門文章