27歳のAI研究者がAnthropicを辞職、AIが人類を絶滅させる恐れがあると懸念

元OpenAIおよびAnthropicの研究者が辞職し警告:超知能が10年以内に人類を絶滅させる可能性。AIの自己改良が加速し、私たちは文明の分岐点に立っている。一方は絶滅、もう一方は永生。

作者:数字生命卡兹克

昨日、私はXで、既に1億を超えるインプレッションを得ている投稿を目にしました。

画像 正直なところ、Xでこのようなインプレッションの投稿を目にするのは、本当に久しぶりのことでした。

投稿者はJacob Coxon氏。

彼はつい先日、Anthropicを退職しました。

彼は言います。過去3年間、OpenAIとAnthropicで大規模モデルの事前学習に携わってきたと。

そして今、彼は辞めたのです。

その理由も非常に突飛なものでした。

なぜなら、彼はOpenAIとAnthropicが、自己改良可能なスーパーインテリジェンスへと一直線に突き進んでいると考えているからです。

そして、全ての人の命を賭けていると。

彼はさらに言います。これらの最先端AIの開発に実際に関わっている人々の中には、少なくない数が、内心で本当に信じていると。

もし事態が最終的に制御不能になれば、人類はこの10年が終わる前に絶滅する可能性があると。

画像

私の最初の反応は、こうでした。

「この奴、誰だ? また何かのマーケティングアカウントじゃないのか…」

そして確認してみたところ、確かに本物の人物でした。

この人物は今年27歳、イギリス人で、数学のバックグラウンドを持ちます。

2016年と2017年に、彼はイギリス代表として国際数学オリンピックに連続出場し、その後ケンブリッジ大学トリニティ・カレッジで数学を学びました。

2021年には、eLifeに掲載された医学統計に関する論文に参加し、ベイズ法を用いて結核性髄膜炎患者の遺伝子型と生存率の関係を研究しました。

2023年頃、OpenAIに入社。GPT-4oの公式貢献者リストには、Jacob Coxonの名前があります。

GPT-4.5に至っては、OpenAIは彼を直接、中核的貢献者としてリストアップしました。

そして今年。

彼はOpenAIからAnthropicに移り、最も中核的な事前学習の仕事に従事しました。

しかし、長くは続きませんでした。どうにも耐えられなくなった、自分の意志に反することができず、仕事を辞め、Xでこれらの警告を発信したのです。

さらに、ウォール・ストリート・ジャーナルは、彼が将来的にはAI業界から離れ、二度と戻らないことさえ考えていると報じました。

そしてこの投稿が公開された後、Anthropicのアライメント(AIの価値整合性)責任者が直接、Jacobを支持する発言をしました。

彼は言います。彼の言う通りであり、10年以内に発生する確率は10%を超えると。

また、Anthropicでセキュリティ研究に携わる別の人物も、「個人の立場」としてJacobを支持しました。

そして彼の観察によれば:

AI企業において、役職が高ければ高いほど、往々にしてこの問題をより強く懸念しているとのことです。

さらに、つい先日Anthropicを去り、以前はスケーラブルな監視を担当していたJoe Bentonも、Jacobによる業界全体の現状描写は確かに正確だと述べています。

もちろん、これらは依然として、彼らによる将来のリスクに関する判断に過ぎません。

10%という数字が正しいかどうかは、誰にも分かりません。

しかし、彼らの発信内容や多くのコメントを読んだ後、私は突然、ある種の荒唐無稽さを覚えました。

この荒唐無稽さは、私が11年前に読んだ一つの記事に起因しています。

そして今日に至るまで、その印象は極めて極めて強く、この記事は近年、毎年読み返しているほどで、読むたびに新たな発見があります。

それが、2015年1月にTim Urbanが書いた、狂気じみて長大な記事です:

『The AI Revolution』、日本語に訳せば『人工知能革命』です。

それは上下の二章に分かれており、第一章のタイトルは:

「スーパーインテリジェンスへの道」

画像

第二章のタイトルは:

「我々の永生、あるいは絶滅」

今でも覚えています。2015年、学生だった私は、知乎でこの二つの長文の翻訳版を読み終えた後、その衝撃が、幼い心と浅はかな認識に与えた巨大な衝撃を。

本当に、非常に非常に長い間、震撼させられました。

なぜなら、その記事の最後に、極めて単純で、極めて乱暴で、そして極めて壮大な判断が提示されていたからです:

もし人類が最終的に、自分たちをはるかに超えるスーパーインテリジェンスを実際に作り出したなら。

それは人類文明を、容赦なく二つの方向へと突き飛ばすだろう。

一方は絶滅。

もう一方は永生。

他の解はない、と。

そして昨日、Jacobがあの投稿をした後、私は再びこの記事を引っ張り出して、読み直しました。

ふと、そう感じたのです。

私たちは、まさにあの記事の時間軸の延長線上に立っているのではないか、と。

そして、全ては運命づけられていたかのような、そんな感覚さえあります。

Tim Urbanは当時、まず非常に古典的なことを述べました。

それは、人類という種は、指数関数的成長を真に理解することが非常に難しい、ということです。

なぜなら、私たちの脳は本能的に線形な推論を好むからです。

今日は昨日より少し多い。

明日はおそらく今日より少し多い。

しかし、文明の発展はしばしば全くそうではなく、これこそが、多くの場合における文明の図景なのです。

画像

その転換点に立つことは、非常に刺激的に見えるかもしれません。

しかし、知っておくべきは、時間グラフ上の人間には、右側に何があるのか全く見えないということです。

だからこそ、ここに立つことの本当の感覚は、こうなのです:

画像

なんと残酷な現実でしょう。

Tim Urbanはまた、特に興味深い例を挙げました。

もしあなたが1750年にタイムスリップし、適当な人物を捕まえて、2015年に連れて行くとします。

彼に飛行機、高速道路、スマートフォン、インターネット、衛星、核兵器、宇宙ステーションなどのハイテクなものをを見せます。

この人物は、自分は直接神の世界に来たと感じ、そのまま、怖気づいてしまうかもしれません。

しかし、もし1750年のこの人物が、同じ265年を遡るとします。

1485年の人物を捕まえて連れてくるのです。

その場合、1485年の人物の衝撃は、はるかに小さいかもしれません。

さらに遡ると、同じ文明の落差を得るためには、数万年をまたぐ必要があるかもしれません。

Tim Urbanは、古代人の脳を確実にフリーズさせるのに十分な文明の進歩に、とても面白い名前を付けました:

DPU。

Die Progress Unit。

おおよその意味は、「古代人を震撼させるのに十分な技術進歩の単位」です。

以前は、1単位を貯めるのに1万年かかるかもしれません。

その後は、数百年で済むようになりました。

さらに後には、数十年、そして、ますます速くなっています。

2015年に初めて読んだ時は、それほど深く感じませんでした。

2026年の今日、読み返すまで。

うーん。

私たちの世代は、どうやらこの現象を自ら体験し始めているようです。

2022年、ChatGPTが登場し、AIが人間のように会話できることが明らかになりました。

2023年、GPT-4が登場し、これがマルチモーダル大規模モデルと呼ばれるものだと分かりました。

そして、o1に代表される推論モデル。

Claude Code。

Codex。

Agent。

次から次へと。

目まぐるしいほどに。

先週には、GPT-6 Astraが人間のようにコンピューターを操作し、自分でBlender、Houdini、Unity、Excelを開き、見知らぬソフトウェアの中でボタンを探し、試行錯誤し、そして何時間も作業を続けられるようになりました。

学術分野は言うに及ばず。

5月には、OpenAIのモデルが、80年間研究されてきたエルデシュの離散幾何学予想を直接覆しました。

9月4日、AnthropicはClaudeを使って11日間で、フェルマーの最終定理を1300万行の、コンピューターが一行ずつ検証可能な形式証明に変換しました。この作業は、人間の見積もりではおそらく10年かかるとされていました。

そして最近、物議を醸している、OpenAIが極限の88時間で解決したミレニアム問題もあります。

この世界は、ますますSFのようになってきています。

もちろん、最も核心的なのは別のことであり、Jacobが最も懸念していることでもあります:「自己改良可能なスーパーインテリジェンス」です。

2015年。

Tim Urbanは問いました:

もしAIがいつか、人間がより強力なAIを研究するのを助け始めたら、どうなるだろうか?

2026年2月。

OpenAIはGPT-5.3 Codexのリリース時に述べました:

これは、自らを創造する過程で重要な役割を果たした最初のモデルである、と。

現在では、ほぼ全ての少し強力なモデルが、その訓練段階でAIの関与を受けています。

この感覚は本当に不思議です。

あたかも11年前、誰かが霧の中で、光で点線を描いたかのようです。

当時、誰もその線がどこへ通じるのか知りませんでした。

11年後、私たちはうつむいて見ると。

自分たちが、まさにその上を歩いていることに気づくのです。

その記事の後半には、私が今日まで覚えているものがあります。

知能の梯子。

Tim Urbanは言う。

人間は特にスーパーインテリジェンスを過小評価しがちだ。

なぜなら私たちは「より賢い」ということを、こう理解する習慣があるからだ:

普通の人、賢い人、天才、アインシュタイン、スーパーAIのような違い。

まるで全員が非常に狭い範囲にいるかのように。

しかし、別の基準に置き換えてみると。

事態は突然、非常に恐ろしくなる。

例えば、チンパンジーと人間。

生物の知能の尺度全体から見ると、チンパンジーと人間は実はほんの少ししか離れていない。

画像

しかし、そのほんの少しの差で。

一方はただ枝を使ってシロアリの巣を突いたり、木に体をこすりつけたりするだけだ。

しかしもう一方は、微積分、量子力学、インターネットなどを発明し、さらには地球を飛び出すことさえできる。

だからもし人間の上に、私たちより認知の階段を一段か二段上った何かがいるなら、それはおそらくすでに理解するのが非常に難しいだろう。

しかし、さらに上に行ったらどうなるのか?

Tim Urbanが当時書いた。

十分に高次のスーパーインテリジェンスが私たちを見るのは。

まるで私たちがアリを見るようなものかもしれない。

画像

あるいは、それが私たちに最も単純な概念を説明しようとしても、私たちにはその概念を理解するために必要な認知構造がおそらく備わっていない。

だからこそ、あの記事は最終的に必ずこうなる:

Intelligence Explosion。

知能の爆発。

もしある日、AIが本当にトップクラスのAI研究者のレベルに達したら、その最も価値ある仕事の一つは。

ごく自然にこうなる:

AIの研究を続け、人間が次世代モデルをより賢くするのを助けることだ。

次世代がより賢くなれば、さらに次世代の研究が得意になる。

そして。

知能が強くなる。

より強い知能を作り出す能力も一緒に強くなる。

そして正のフィードバックを形成する。

これは2015年には。

本当にSFのように見えた。

しかし2026年の私は、10年前のようにそれを純粋にSFとして見ることはもうできなくなった。

なぜなら、様々なモデル工場では、最も原始的なフィードバックループがすでに形成されているからだ。

もちろん、今日は真の意味での再帰的自己改善にはまだほど遠い。

GPT-6が自分でGPT-7を作り出し、そしてGPT-7が夜中に目覚めて、自分でGPT-8を訓練するようなことはない。

しかし、その論理連鎖の最初の数環は、すでに見えるようになっている。

すると私は、非常に奇妙な宿命感を抱くようになる。

まるで人間が本当に「知能」という種を植え付けてしまえば、その後のことは自然と巨大な慣性を持つようになるかのように。

より賢いAIは、より大きな経済的価値を生み出せる。

より大きな経済的価値は、より多くの資本を引き寄せる。

より多くの資本は、より多くのGPUを購入する。

より多くのGPUは、より強力なAIを訓練する。

より強力なAIは、今度は人間がより強力なAIを作るのを助けるようになる。

企業間の競争もある。

国家間の競争もある。

あなたがやらなければ、他の誰かがやっている。

あなたが前に進まなければ、仕方ない、他の誰かが前に進む、あなたは走るのか走らないのか。

最終的に文明全体は、ますます急勾配になる川のようになる。

誰もが水流がますます速くなっていることを知っている。

しかし、たった一人の人間や、たった一つの集団でさえ、本当に世界全体の針路を握ることはできない。

そして、Tim Urbanのあの記事で私が11年間本当に覚えていたのは。

その水流の果ての光景だ。

彼はNick Bostromの概念を引用している。

地球の歴史には無数の種が現れ、そして、ほとんどすべてが消え去った。

絶滅はまるで一種のアトラクター状態のようであり、一度そこに落ち込めば、二度と戻ってくることはできない。

しかし、スーパーインテリジェンスはおそらく初めて、生命に別のアトラクターを開くことになる。

Species Immortality。

種の永生。

Tim Urbanは一本の平均台を描いた。

人類はずっとその上を歩いてきた、ただ歩き続ければ、必ずいつか。

小惑星、疫病、戦争、あるいは私たち自身が作り出した何らかの技術などが。

私たちをこの平均台から叩き落とすかもしれない。

画像

そしてスーパーインテリジェンスが出現した後。

私たちはおそらく最も激しい衝突を経験することになる。

一方には、すべての種が最終的に慣れ親しむ終点がある。

絶滅。

しかしもう一方には。

地球の生命がかつて到達したことのない場所がある。

不死。

これが、2015年のあの記事で、私が今でも最も魅力的だと感じる点だ。

それは、人工知能に関するあらゆる問題を、ほぼ文明の尺度にまで圧縮している。

私たちは今日、毎日議論している。

AIはプログラマーの仕事を奪うのか。

デザイナーはどうなるのか。

あの会社が勝つかもしれない、などなど。

しかし、時間を十分に長く引き延ばせば、AIという人類最大の賭けが、はたして私たちの種を、初めて、生命を死という究極のルールから解放させることができるのかどうか。

しかし、もし賭けに負ければ、ただ一つの結末がある。

絶滅、いや、加速する絶滅だ。

だからここまで見てくると、冒頭で、Jacob Coxonがこれほど長い間AIを研究した後、なぜ辞職し、X上で、このような投稿をしたのか、理解できるかもしれない。

画像

もちろん、私にも理解できる。

なぜまだ多くの人々が明らかに心配しながらも、それでも研究室に残って研究を続けることを選ぶのか。

なぜなら、そのもののもう一方の側面が、本当に魅力的すぎるからだ。

AIは今日、すでに数学的発見に参加し始めている。

創薬に参入し始め、ヒトゲノムの解析を始め、新材料を力ずくで研究し始め、実験やソフトウェアを操作し始め、人間世界のあらゆることを加速し始めている。

もしこの曲線がこのまま進み続ければ。

さらに3年、5年与えたら。

何が起こるのか?

私は知らない。

おそらく誰も知らない。

しかし私は時々、人間がAIを作るというこの行為は。

すでにゆっくりと、普通の技術製品の範囲を超えつつあるように感じる。

それはまるで、ある種が初めて、自分よりも賢い何かを作り出そうと試みることに非常に似ている。

これは人類文明にとって最も偉大な一歩なのか。

それとも、私たちが壺から引き出した、人類最後の黒い球なのか。

私は知らない。

私はただこの時代の中で、波に漂う小さな舟に過ぎない。

私は毎日AIを使い、AIがもたらす便利さを感じ、AIは本当に面白いと思う。

そして時々、昨日のように、11年前の記事を再び開いて。

初めて、日々の些細なBenchmark、Token、Agentから顔を上げる。

この川が一体どこへ流れているのかを一目見るために。

この問題は大きすぎる。

しかし、もし私に選ばせるなら。

もちろん私は、Tim Urbanのあの平均台が。

最終的に私たちを反対側へと叩きつけてくれることを望む。

私は癌が本当に消える日が来ることを望む。

老化が治療可能な病気になることを望む。

私の好きな人が去らなくて済むことを望む。

人類が長寿を全うできることを望む。

私たちが太陽系を出て、あの遠くのケンタウルス座星系へと向かうことを望む。

いつか。

今日のAIが人類を滅ぼすという記事が。

すべて歴史的な杞憂になることを望む。

もし最終的に。

AIが本当に人類を助け、あの何百万年もの間、どの種も越えられなかった平均台を越えさせ。

生命を初めて、病気、老化、ランダムな災害、そして死の束縛から解放することができるなら。

それは間違いなく、人類の歴史全体の中で。

最も偉大な出来事となるだろう。

それに勝るものはない。

共有先:

著者:数字生命卡兹克

本記事はPANews入駐コラムニストの見解であり、PANewsの立場を代表するものではなく、法的責任を負いません。

記事及び見解は投資助言を構成しません

画像出典:数字生命卡兹克。権利侵害がある場合は著者へ削除をご連絡ください。

PANews公式アカウントをフォローして、強気・弱気相場を一緒に乗り越えましょう
関連トピック
PANews APP
Arthur Hayes:Flop Labsのイエローペーパーコードリポジトリが公開、Technocoreがエージェント協調型詩歌コンテストを発表
PANews 速報