6月10日，OpenAI創始人Sam Altman以視頻連線的方式現身於中國北京舉辦的2023智源人工智能大會，這是Altman首次對中國觀眾發表演講。
Altman在演講中引用了《道德經》，談及大國合作，表示AI安全始於足下，各國間必須進行合作和協調。
隨後Altman接受了智源研究院理事長張宏江的一對一問答。
張宏江博士目前任北京智源人工智能研究院理事長，同時擔任多家公司的獨立董事和顧問。曾任金山集團執行董事及首席執行官兼金山雲的首席執行官，是微軟亞洲研究院創始人之一，曾擔任副院長、微軟亞太研發集團（ARD）首席技術官及微軟亞洲工程院（ATC ）院長以及微軟“傑出科學家”。
加盟微軟之前，張宏江曾任美國矽谷的惠普實驗室任經理；此前還在新加坡國立大學系統科學研究院工作。
Altman演講核心內容
當下人工智能革命影響如此之大的原因，不僅在於其影響的規模，也是其進展的速度。這同時帶來紅利和風險。
隨著日益強大的AI 系統的出現，全球合作的重要性從未如此之大。在一些重要的大事上，各國間必須進行合作和協調。推進AGI 安全是我們需要找到共同利益點的最重要的領域之一。
對齊仍然是一個未解決的問題。 GPT-4 花了八個月的時間完成對齊方面的工作。但相關的研究還在升級，主要分為擴展性和可解釋性兩方面。
問答環節核心內容
十年內人類將擁有強大的人工智能係統（AI System）。
OpenAI沒有相關的新的有關開源的時間表，開源模型具有優勢，但開源一切可能並不是一條（促進AI發展的）最佳路線。
看明白神經網絡比看明白人類腦子容易多了。
在某個時候，會嘗試做GPT-5的模型，但不會是很快。不知道具體GPT-5出現的時候。
AI安全需要中國研究者的參與和貢獻。
注：“AI對齊”是AI控制問題中的最主要的問題，即要求AI系統的目標要和人類的價值觀與利益相對齊（保持一致）。
Sam Altman演講全文
隨著日益強大的人工智能係統的出現，全球合作的賭注從未如此之高。
如果我們不小心，一個旨在改善公共衛生結果的錯位的人工智能係統，可能會提供沒有根據的建議，從而擾亂整個醫療保健系統。同樣，為優化農業生產而設計的人工智能係統可能會無意中耗儘自然資源或破壞生態系統，因為缺乏對影響糧食生產的長期可持續性的考慮，這是一種環境平衡。
我希望我們都能同意，推進AGI安全是我們需要共同努力，尋找共性的最重要領域之一。
我發言的其餘部分將集中在我們可以從哪裡開始：1.第一個方面是AGI治理，AGI從根本上成為了改變我們文明的強大力量，強調了有意義的國際合作和協調的必要性。每個人都會從合作治理方法中受益。如果我們安全、負責任地駕馭這條道路，AgI系統可以為全球經濟創造無與倫比的經濟繁榮，解決氣候變化和全球健康安全等共同挑戰，並提高社會福祉。
我也深深地相信在未來。我們需要在AGI安全方面進行投資，才能到達所想要達到的地方，並在那裡享受它。
要做到這樣我們需要認真協調。這是一項具有全球影響力的全球技術。不計後果的開發和部署所造成的事故成本將影響到我們所有人。
國際合作中，我認為有兩個關鍵領域是最重要的。
首先我們需要建立國際規範和標準，並註意過程中註重包容性。在任何國家使用AGI 系統，都應平等而一致地遵循這樣的國際標準和規範。在這些安全護欄內，我們相信人們有足夠的機會做出自己的選擇。
第二，我們需要國際合作，以可核查的方式建立對安全開發日益強大的AI 系統的國際間信任。我並不妄想這是一件容易的事，需要投入大量和持續的關注。
《道德經》告訴我們：千里之行，始於足下。我們認為，在這方面最具建設性的第一步是與國際科學和技術界合作。
需要強調的是，我們應該在推動技術進步這一方面增加透明度和知識共享的機制。在AGI安全方面，發現新出現的安全問題的研究人員們應該為了更大的利益分享他們的見解。
我們需要認真思考如何在鼓勵這種規範的同時，也尊重和保護知識產權。如果我們這樣做，那麼，它將為我們深化合作打開新的大門。
更廣泛地來講，我們應該投資於促進和引導對AI對齊和安全的研究。
在Open AI，我們今天的研究主要集中在技術問題上，讓AI在我們目前的系統中充當一個有幫助且更安全的角色。這可能也意味著，我們訓練ChatGPT的方式，使其不做出暴力威脅或協助用戶進行有害活動的舉措。
但隨著我們日益接近AGI 的時代，沒有對齊的AI 系統的潛在影響力和影響規模將成倍增長。現在積極主動地解決這些挑戰，能將未來出現災難性結果的風險降到最低。
對於目前的系統，我們主要利用人類反饋進行強化學習來訓練我們的模型，使其成為一個有幫助的安全助手。這只是各種訓練後調整技術中的一個例子。而且我們也在努力研究新的技術，其中需要很多艱苦的工程工作。
從GPT4 完成預培訓到我們部署它，我們專門花了8 個月的時間來進行對齊方面的工作。總的來說，我們認為我們在這方面做得很好。 GPT4 比我們以前的任何模型都更加與人類對齊。
然而，對於更先進的系統，對齊仍然是一個未解決的問題，我們認為這需要新的技術方法，同時增強治理和監督。
對於未來的AGI系統，它提出了10萬行二進制代碼。人類監督者不太可能發現這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補的研究方向，希望能夠實現突破。
一個是可擴展的監督。我們可以嘗試使用人工智能係統來協助人類監督其他人工智能係統。例如，我們可以訓練一個模型來幫助人類監督發現其他模型的輸出中的缺陷。
第二個是解釋能力。我們想嘗試更好地了解這些模型內部發生了什麼。我們最近發表了一篇論文，使用GPT-4 來解釋GPT-2 中的神經元。在另一篇論文中，我們使用Model Internals 來檢測一個模型何時在說謊。我們還有很長的路要走。我們相信，先進的機器學習技術可以進一步提高我們解釋的能力。
最終，我們的目標是訓練AI 系統來幫助進行對齊研究。這種方法的好處在於，它可以隨著AI 的發展速度而擴展。
獲得AGI 帶來的非凡好處，同時降低風險，是我們這個時代的開創性挑戰之一。我們看到中國、美國以及世界各地的研究人員有很大的潛力來共同實現同一個目標，並致力於努力解決AGI 對齊帶來的技術挑戰。
如果我們這樣做，我相信我們將能夠利用AGI 來解決世界上最重要的問題，並極大地改善人類的生活質量。非常感謝。
對話實錄
未來十年我們會有非常強大的AI系統
智源研究院理事長張宏江提問：我們距離通用人工智能（AGI）還有多遠？風險是不是很緊迫，還是我們離它還很遙遠？
Sam Altman：這很難評估具體時間。很可能未來十年我們會有非常強大的AI系統，新技術從根本上改變世界的速度比我們想像的快。在那樣的世界裡，我認為把這件事（AI安全規則）做好是重要且緊迫的，這就是為什麼我呼籲國際社會共同努力的原因。
從某種意義上說，我們現在看到的新技術的加速和系統的影響是前所未有的。所以我認為要為即將發生的事情做好準備，並了解有關安全的問題。考慮到AI規模龐大，這其中的利害關係相當重要。
中國、美國和其他國家以及歐洲這三個主要集團是人工智能創新背後的驅動力，在你看來，在AGI安全這個領域中，不同國家分別又有什麼優勢來解決這一問題，特別是解決人工智能安全問題。如何將這些優勢結合到一起？
全球合作為AI提出安全標準和框架
張宏江：您剛才在前期的介紹中也提到了幾次，正在進行全球合作。我們知道，在過去世界面臨著相當多的危機。不知何故，對他們中的許多人來說，我們設法建立了共識，建立全球合作。你也在進行一次全球巡演，你正在努力推動怎樣的全球合作？
Sam Altman：是的，我對到目前為止大家的反應和回答都非常滿意。我認為人們非常認真地對待AGI的風險和機遇。
我認為在過去的6個月裡，對於安全的討論已經取得了相當大的進展。人們似乎真的致力於找出一種結構，讓我們能夠享受這些好處，同時在全球範圍內共同努力降低風險。我認為我們非常適合做這件事。全球合作總是困難的，但我認為這是一種將世界團結在一起的機會和威脅。我們可以為這些系統提出一個框架和安全標準，這將非常有幫助。
人工智能的對齊問題如何解決
張宏江：你提到先進人工智能的對齊是一個尚未解決的問題。我還注意到OpenAI在過去的幾年裡付出了很多努力。你提到GPT-4是迄今為止在對齊領域最好的例子。你認為我們可以僅僅通過微調(API)來解決AGI的安全問題嗎？或者比這個問題的解決方式要困難得多？
Sam Altman：我認為對齊這個詞有不同的理解方式。我認為我們需要解決的是整個人工智能係統中的挑戰，傳統意義上的對齊——讓模型的行為符合用戶的意圖，當然是其中的一部分。
但還會有其他問題，比如我們如何驗證系統正在做什麼，我們希望它們做什麼，以及我們如何調整系統的價值。最重要的是要看到AGI安全的整體情況。
如果沒有技術解決方案，其他一切都很難。我認為集中精力確保我們解決安全方面的技術問題是非常重要的。正如我所提到的，弄清楚我們的價值觀是什麼，這不是一個技術問題。儘管它需要技術投入，但這是一個值得全社會深入討論的問題。我們必須設計公平、具有代表性和包容性的系統。
張宏江：針對對齊，我們那看到GPT-4所做的，仍然是從技術的角度出發的解決方案。但除了技術之外，還有許多其他因素，且往往是系統性的。人工智能安全在這裡可能也不例外。除了技術方面，還有哪些因素和問題？你認為對人工智能安全至關重要嗎？我們應該如何應對這些挑戰？尤其是我們大多數人都是科學家。我們應該做什麼。
Sam Altman：這無疑是一個非常複雜的問題。但如果沒有技術解決方案，其他一切都很難解決。我認為集中精力確保我們解決安全方面的技術問題是非常重要的。正如我所提到的，弄清楚我們的價值觀是什麼，這不是一個技術問題。它需要技術投入，但這同時也是一個值得全社會深入討論的問題。我們必須設計公平、具有代表性和包容性的系統。
而且，正如你所指出的，我們需要考慮的不僅僅是人工智能模型拉動本身的安全性，而是整個系統。
因此，可以構建在系統上運行的安全分類器和檢測器很重要，它們可以監控AI是否符合使用策略。我認為很難提前預測任何技術會出現的所有問題。因此，從現實世界的使用中學習，並反复部署，看看當你真正創造現實並改進它時會發生什麼。
讓人類和社會有時間學習和更新，並思考這些模型將如何以好的和壞的方式與他們的生活互動，這也很重要。
需要各國共同合作
張宏江：早些時候，你提到了全球合作。你一直在環遊世界，中國、美國和以及歐洲等各國都是人工智能創新背後的驅動力，在你看來，在AGI中，不同國家分別有哪些優勢來解決AGI問題，特別是解決人安全問題。如何將這些優勢結合到一起？
Sam Altman：我認為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個相當困難和重要的問題。
此外，正如所提到的，這不是一個純粹的技術問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實現這一目標。中國擁有一些世界上最優秀的人工智能人才。從根本上說，我認為，考慮到解決高級人工智能係統對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這裡做出巨大的貢獻。
需要非常不同的架構使得AGI更安全
張宏江：關於GPT-4和AI安全的後續問題。我們是否有可能需要更改AGI模型的整個基礎架構或整個體系結構。為了讓它更安全，更容易被檢查.
Sam Altman：無論是從功能角度還是從安全角度來看，我們確實需要一些非常不同的架構，這是完全可能的。
我認為我們將能夠取得一些進展，在解釋我們目前各種模型的能力方面取得良好進展，並讓他們更好地向我們解釋他們在做什麼以及為什麼。但是，是的，如果在Transformer之後有另一個巨大的飛躍，我不會感到驚訝。自從最初的Transformer以來，我們已經改變了很多架構。
OpenAI開源的可能性
張宏江：我明白今天的論壇是關注AI安全的，因為人們對OpenAI很好奇，所以我有很多關於OpenAI的問題，不僅僅是AI安全。我這裡有一個觀眾的問題是，OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣？我也認為開源有利於AI安全。
Sam Altman：我們有些模型是開源的，有些不是，但隨著時間的推移，我認為你應該期待我們將來會繼續開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。
張宏江： BAAI將所有的努力都變成開源，包括模型和算法本身。我們相信，我們有這種需要，分享和給予，你一個他們在控制感知。請問你有類似的觀念嗎，或者在你的同齡人或OpenAI的同事中討論過這些話題。
Sam Altman：是的，我認為開源在某種程度上確實有一個重要的作用。
最近也有很多新的開源模型出現。我認為API模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調。如果某件事情不起作用，你可以收回它。在當前模型的規模下，我不太擔心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開源一切可能不是最佳路徑，儘管有時候它是正確的。我認為我們只需要仔細地平衡一下。
我們未來會有更多開源大模型，但沒有具體模型和時間表。
AGI的下一步方向？會很快看到GPT-5嗎？
張宏江：作為一個研究人員，我也很好奇，下一步的AGI研究方向是什麼？在大模型、大語言模型方面，我們會不會很快看到GPT-5？下一個前沿是不是在具身模型上？自主機器人是不是OpenAI正在或者準備探索的領域？
Sam Altman：我也很好奇下一步會發生什麼，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新範式。當然，在某個時候，我們會嘗試做一個GPT-5模型，但不會是很快。我們不知道具體什麼時候。我們在OpenAI剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領域。
張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎？這種方向是不是OpenAI未來會繼續推進的？
Sam Altman：我們會繼續推進這個方向。
張宏江：那你認為這種方法可以應用到生物神經元上嗎？因為我問這個問題的原因是，有一些生物學家和神經科學家，他們想藉鑑這個方法，在他們的領域裡研究和探索人類神經元是如何工作的。
Sam Altman：在人工神經元上觀察發生了什麼比在生物神經元上容易得多。所以我認為這種方法對於人工神經網絡是有效的。我認為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎麼把這個方法應用到人類大腦上。
控制模型數量可行嗎
張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那麼我們一直在討論的一個問題是，如果這個世界上只有三個模型，那麼會不會更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術的國家數量。那麼控制模型數量是不是一個可行的方向？
Sam Altman：我認為對於世界上有少數模型還是多數模型更安全，有不同的觀點。我認為更重要的是，我們是否有一個系統，能夠讓任何一個強大的模型都經過充分的安全測試？我們是否有一個框架，能夠讓任何一個創造出足夠強大的模型的人，既有資源，也有責任，來確保他們創造出的東西是安全和對齊的？
張宏江：昨天在這個會議上，MIT未來生命研究所的Max教授提到了一種可能的方法，就是類似於我們控製藥物開發的方式。科學家或者公司開發出新藥，你不能直接上市。你必須經過這樣的測試過程。這是不是我們可以藉鑑的？
Sam Altman：我絕對認為，我們可以從不同行業發展出來的許可和測試框架中藉鑑很多東西。但我認為從根本上說，我們已經有了一些可以奏效的方法。
張宏江：非常感謝你，Sam。謝謝你抽時間來參加這次會議，雖然是線上的。我相信還有很多問題，但考慮到時間，我們不得不到此為止。希望下次你有機會來中國，來北京，我們可以有更深入的討論。非常感謝你。
APP 
