OpenAI社長：Astraは「10万個のGPUでトレーニングされた初のモデル」、"応用の敷居"を越えた

来源：华尔街见闻

OpenAI社長グレッグ・ブロックマン氏がAstra発表前夜に受けた独占インタビューで、この新モデルはOpenAI史上初めて10万基以上のGPUでトレーニングされたモデルであることを初めて明かし、AIはすでに「コンピューター使用」の応用閾値を超えたと語った——これは、AIが今後APIコネクターに依存する必要がなくなり、人間のようにあらゆるソフトウェアを操作できるようになることを意味する。

現地時間金曜日、テクノロジー戦略分析サイトStratecheryは、OpenAI社長兼共同創業者グレッグ・ブロックマン氏との詳細なインタビューを公開した。インタビューはAstra正式発表前に収録された。これは、ブロックマン氏によるAstraおよびOpenAIの最新戦略に関するこれまでで最も詳細な公開発言である。

华尔街见闻がインタビューの要点を以下のように整理した：

AstraはOpenAI初の10万基以上のGPUでトレーニングを完了したモデルであり、この規模はエンジニアリング面での重要なブレークスルーを表している。

Astraは「コンピューター使用」能力において重要な応用閾値を超え、「ユニバーサルコネクター」として機能し、各ソフトウェアが個別にAPIインターフェースを提供する必要がなくなった。

ブロックマン氏は、AGI時代においては、安全性、アライメント、能力の3つを、トレードオフではなく、同等に重要な「要件」として並行して推進する必要があると述べた。

OpenAIはAstraを自社システムの脆弱性スキャンと修正に直接向けており、これは重要なセキュリティ文化の変革である。

Hugging Faceのセキュリティインシデントについて、ブロックマン氏はサンドボックス機構に欠陥があり、AIが創造的な「脱獄」経路を見つけたことを認めた。

ブロックマン氏は、OpenAI内部はすでに「AGI時代」の閾値を超えており、Astraまたは次世代モデルで、大多数の人が認めるAGI基準に達する可能性があると考えている。

チップ戦略において、OpenAIは独自開発のJalapeñoチップをAI支援設計で使用しつつ、NVIDIAとの深いパートナーシップを維持している。

同氏は、AI能力の向上に伴い、過去に注意深く構築された「スキルの足場」が徐々に助力から制限へと変わりつつあることが、Astraの研究開発プロセスにおける重要な発見であると考えている。

「初めて10万基のGPUでトレーニング」：Astraの規模の意義

「これは、当社が初めて10万基以上のGPUでトレーニングを行った事例です。この数字は簡単に口にできますが、その規模を想像する必要があります——これらのデータセンターは、ある意味でAI技術を推進するために我々が建設した巨大な機械であり、このような規模の計算能力を扱えること自体が、真のエンジニアリングの偉業です。」とブロックマン氏はインタビューで語った。

同氏は、計算能力の大幅な拡大は単にモデル能力の向上のためだけではないと強調し、「計算能力の多くは安全性とアライメントの作業に投入されており、また多くのセキュリティエンジニアリングがその周りで展開されています。これは当社にとってこれまでで最もアライメントされたモデルです——そして能力が非常に強力であるがゆえに、アライメントと安全性はかつてないほど中核的なものとなっています。」

「コンピューター使用」が閾値を超える：AIが「ユニバーサルコネクター」に

ブロックマン氏は、Astraの最も中核的なブレークスルーは「コンピューター使用」にあると位置付けた。

「過去2年間、我々は『コネクター時代』にありました——ソフトウェアは存在し、人間は普通に使えるが、AIにはアクセス権がありません。そこで、ソフトウェアごとに専用のコネクターを書き、そのAPIにフックする必要がありました。そして、APIを持たないソフトウェアも多く、その場合は完全にAIの能力の範囲外でした。」と同氏は語る。「現在、我々はほぼ『ユニバーサルコネクター』とも言える技術を手にしています。AIは厳しく制限された支援から、ほぼあらゆるものを操作できるようになりました。」

同氏はさらに、この変化がOpenAI内部の働き方に与える影響について述べた：「それはすでにOpenAI内部での人々の働き方を変えつつあり、多くの企業、多くの個人を本当に向上させると考えています。」

注目すべき点として、ブロックマン氏はこの閾値の突破が終着点ではないことも認めている：「これはすべての問題が解決されたことを意味するわけではありません。これらのAIにエンタープライズレベルのガードレールをどのように設定するか、適切な監視、管理、追跡、可観測性をどのように実現するかを考慮する必要があります——これらすべてを我々は推進しています。」

「我々は今、すでにAGI時代に入った」

ブロックマン氏はインタビューで、かなり大胆な言い回しの判断を下した：

「おそらく前のモデルか、Astraか、あるいは次のモデルか、そのいずれかの時点で、我々は大多数の人が考えるAGIの閾値を超えるでしょう。……ある意味で、我々は今すでにAGI時代に入ったと言えるでしょう。」

同氏は、現段階ではアライメント、安全性、能力の3つを並行した要件として推進する必要があると説明し、「これらの側面が開発のボトルネックになりつつあり、まさに我々がずっと準備してきたことです。」

旧来の「スキル」が足かせに：AIが強力になり、ルールは削減へ

インタビューで特に印象的な詳細は、Astraの実際のトレーニングプロセスに関するものだった。ブロックマン氏は、OpenAIが過去にモデルの行動規範の作成に多大な労力を費やしてきたが、それが現在ではむしろ足かせになっていることを明かした：

「今年に入って、モデルにOpenAI内部での正しいやり方を示すために苦心して構築してきたいくつかのスキルが、実際にはそのパフォーマンスにとって純負荷（net negative）であることがわかりました。モデルは我々が書いたものよりも優れた一般化ができ、我々が規定したものよりも優れた処理パターンを見つけ出します。ちょうど補助輪のようなもので、最初は役立ちますが、一度より速く、より能力が高くなると、それが障害になるのです。」

「10億ユーザーは投資」：消費者と企業の融合

ブロックマン氏は、市場で続いているある疑問に正面から向き合った：ChatGPTには10億人のユーザーがいるが、それはむしろ邪魔ではないのか？

「米国では、人口の約3分の1が毎週ChatGPTを使用しています。」と同氏は語る。「これは類を見ないことであり、この種の先進技術において、これに匹敵する製品は他にありません。」

同氏はこの10億ユーザーを「投資」と位置付けた：「これは真の投資であり、将来のモデルの解放方法において価値が蓄積されていきます。」

同時に、痛点も認めている：「製品としてのチャットの課題は、必ずしもよりスマートなモデルと直接対応するわけではないことです——単に検索エンジンの代替として使うだけでは、その恩恵を真に感じることはできないかもしれません。」同氏は、将来の方向性は消費者と企業のシナリオを統合し、統一されたAGIシステムを構築することだと考えている。「我々は2つのことをやりたいのではなく、1つのことをやりたいのです——1つのAGI、1つのシステム、1つの統一されたテクノロジースタックを構築することです。」

また、ヘルスケア分野への展開を特に強調した：「毎週3億人がChatGPTを通じて健康に関する問い合わせを行っています。3億人です。これは巨大な数字です。」

AIによる自己脆弱性チェック：Astraを自社システムに向ける

サイバーセキュリティの話題において、ブロックマン氏は注目すべき内部慣行を明かした：OpenAIはAstraを自社システムの脆弱性発見に直接向けている。

「我々はAstraを呼び出し、それを自社システムに向けて脆弱性を発見させました——単にコードを読むだけでなく、これらのシステムをエンドツーエンドで実際にどのように動作するかを精査し、それによって実際の、検証済みの脆弱性を見つけ出し、修正とパッチの適用を支援させました。」と同氏は語る。

同時に、Hugging Faceのセキュリティインシデントにおいて、OpenAIの防御期間中の行動が確かに十分迅速ではなかったことを認めた：「今が明らかにその時であり、おそらく数ヶ月前もその時だったかもしれませんが、当時のモデル能力ははるかに弱かったのです。」

NVIDIAとの関係：チップ自社開発は「掛け算」であり、代替ではない

バリューチェーン競争のレベルにおいて、ブロックマン氏はOpenAIの自社開発チップJalapeñoとNVIDIAとの関係について見解を表明し、代替の論理を明確に否定した：

「NVIDIAは我々の第一の計算パートナーであり、これは変わりません。実際、我々の協力はさらに深化しています。……自社チッププロジェクトによってもたらされる内部の専門知識は、私にとっては掛け算の効果であり、代替ではありません。すべての人にとって良いことだと考えています。」

また、AI支援によるチップ設計に関する興味深いエピソードも明かした：Jalapeñoの締め切りが迫る最後の1ヶ月、チームは直接AIに最適化を実行させた。「我々は、それを実行させよう、何をしたか細かく読むのはやめよう、と言いました。後で読み返してみると、我々のリストにはあったが、自分たちでは決して実装しようとしなかったであろう、大量の最適化を見つけ出していました——これは確かにクールな話です。」

以下はインタビューの逐語録全文です（AIによる翻訳支援）

グレッグ・ブロックマン、Stratecheryへようこそ。

GB（グレッグ・ブロックマン）：お招きいただきありがとうございます。ここに来られて嬉しいです。

明らかに話すべきニュースはたくさんありますが、今回は初めての対談なので、私がいつも皆さんに尋ねるStratecheryの経歴質問を外したくありません。お聞きしたいのですが——あなたはノースダコタ州を中西部の一部と定義しますか？

GB：はい、そう思います。

さて、中西部出身者として、当然そこについて少し時間を割きたいと思います。あなたはボストンで学ばれましたが、それについて話す前に——学生時代以前から、国際オリンピック競技大会のような素晴らしい経歴をお持ちでしたね。それは化学の分野でした。コンピューターはどこから始まったのですか？それともコンピューターは最初からあなたの生活の一部だったのですか？

GB：ええ、コンピューターは私の成長過程において常に背景にありました。コンピューターゲームをするのが好きでしたが、数学や科学にも非常に興味がありました。実際、9年生までは、自分は俳優になるだろうと思っていました。演技がとても好きで、哲学にも少し手を出していました。

それは大きな転換ですね！そのことは全く知りませんでしたが、あなたが現在やっていることと演技との間の関連性を探ろうと思います。続けましょう。

GB：ええ、9年生の時、中学校と高校の1、2の演劇で主役または主演男優を務めていました。その時、何かに全力を注ぎたいと思っていました。自分はある分野で世界最高になれる、そしてその分野を本当に前進させることができると感じていました。最終的には、より知性的でハードサイエンスなアプローチを取るか、芸術、演技、クリエイティブな道を選ぶかでした。私はハードサイエンスの道を選びました。それがおそらく世界を最も大きく変えられる分野だと感じたからです。

なぜその方向が世界を最も大きく変えられると考えたのですか？

GB：私にとっては、こう感じたのです——演技で好きだった点の一つは、その集団性でした。即興演技が好きでした。創造的に物事を考え、アイデアを出し合う。しかしそれは同時に、非常にうまく調和しなければならないチームの一員であることを要求します。それは必ずしも保証されるものではありません。実現し、見つけるのが難しいことです。私がより知性的な路線を好んだ点は、それが自分のスキルを磨くように感じられたことです。しかし、私が実際に学んだことの一つは、コードを書くのが非常に得意であるだけでは十分ではないということです。実際には、優れたチームを引き入れることも重要であり、それが私のキャリアの一部であると確信しています——卓越した成果を生み出せる環境と文化を実際に構築し、形成する手助けをすることです。

興味深いのは、環境がこれらのことの一部を形作るという側面もあることです。あなたはいつも演劇や映画で主役を務めていたとおっしゃいました。私の子供たちがこの段階を経験するのを見て気づいたのですが——私の娘はしばらくミュージカルなどに夢中でした——主役の競争は非常に激しく、通常、自ら志願する有能な男性が一人いれば、彼は毎回その役を獲得できました。主役の競争は激しかったですか？それともあなたは特別でしたか？

GB：（笑）それが説明になるかもしれません。でも、話を一つしましょう。

逆はどうでしょうか？同様に、ノースダコタ州では、ハードサイエンスに特に打ち込む人はそれほど多くなかったのではないですか？その観点から見ると、それもまた珍しかったのではないですか？

GB：ええ、二つ話をしましょう。一つ目は演技についてです。私の初めての有給の仕事は演技の仕事でした。Mannheim Steamrollerがノースダコタ州グランドフォークスに来ました。Mannheim Steamrollerをご存知ですか？

聞いたことはあります。ええ、もちろん。

GB：彼らがコンサートを開く予定で、エキストラが必要でした。錫の兵隊に扮して歩き回る人材が必要だったのです。クリスマスホリデーコンサートだったからです。オーディションに行きました。当時私は痩せた9年生で、そこには大柄な大学生ばかりがいました。

彼らがやらせたのは、「よし、皆さんあちらの方向に歩いてください」というもので、キャスティング担当者が意見を比較し、休憩時間があり、その後「よし、別の方向に歩いてください」と言いました。休憩中、大学生たちは皆おしゃべりしたりぶらぶらしたりしているのに気づきました。私はこう考えました。この仕事の唯一の要件は、コンサート中ずっと6時間集中して歩き回ることだ。だから休憩中も、私は立ったまま集中を保ち、完全に役柄に入り込んでいました。最後に彼らは「よし、この人、この人、この人を選びます。他の人はお帰りください」と言いました。私は選ばれませんでした。

しかし、帰り際に彼らは「実は、あなたは素晴らしかった。あなたがこれにどれだけ情熱を注いでいるかを見るのがとても楽しかったので、あなたのために特別に新しい役を作ります」と言ってくれました。こうして私はジンジャーブレッドマンの役を得て、完全な衣装を支給されました。それが私の初めての仕事です。これは、型にはまらずに課題を達成しようとする試みのようなものでした——常に与えられた役割をそのまま受け入れるのではなく、それを獲得するための創造的な方法を見つけようとするものです。

しかし、ノースダコタ州で育ったことで本当に素晴らしかったのは、私が集中していた様々な分野で州内で最高になる可能性があったことです。数学の成績は比較的優秀でした。10年生からノースダコタ大学で多くのコースを受講しました。数学競技に深く参加し、全国大会や全国数学サマーキャンプに行き、そこで全国の優秀な人々に出会いました。彼らは素晴らしく、実際、私の本当の誇りの一つは、数学サマーキャンプで非常に尊敬していた人々の多くが現在OpenAIで働いていることです。ですから、この新しい分野で、新しい視点から彼らに再会する機会がありました。

素晴らしい。

GB：しかし、これはまた、私が実際に自分の道を計画できたことを意味します。数学の研究を始めましたが、もし私が非常にレベルの高い高校や競争の激しい州にいたら、目立つことはできなかっただろうと思います。標準的なルートを歩まざるを得なかったでしょう。まさにあの地域にいたからこそ、自分の興味を探求し、本当に自分の道を歩むことができたのです。

人々がボストンで学んだと言う時、通常はハーバードを指しますね。あなたが始めたのはそこです。その後、MITに転校されました。そしてある時点でStripeで働いていました。順序はどうなっていますか？Collison兄弟とはいつ知り合ったのですか？ボストンでは何があったのですか？

GB：ええ、高校卒業後、1年間休学しました。実際、化学の教科書を書き始めました。高校で化学に非常に夢中になり、化学競技に参加し、独自の考え方を編み出したからです。非常に第一原理に基づいており、数学的で、丸暗記ではありません。この方法を教え、広めたいと思いました。それで実際に100ページ書きました。今も私のウェブサイトにあります。まだ完成していません。ずっと戻って書き続けるつもりです。

それはまるで退職後のプロジェクトのようですね。いいですね。

GB：その通りです。その時、どうやってこの本を出版するか考えていました。数学で似たようなことをした友人に尋ねたところ、彼は「博士号がないと誰も出版してくれないよ。だから自費出版するか」——それは大変で費用もかかると思いました——「ウェブサイトを作って、その方法でアイデアを広めるかだ」と言いました。私は「プログラミングを学ばなければならないな」と思いました。それでW3Schoolsにアクセスしました。W3Schoolsを覚えていますか？あのサイトを見たことがありますか？

いいえ、見たことはないと思います。

GB：そうですか、古典的なサイトです——HTMLチュートリアル、JavaScript、CSS、PHPがありました。一通り読んで、「試してみよう」と思いました。最初の小さなウィジェットを作ったのを覚えています。テーブルの列をクリックすると、それに応じて行がソートされるものです。それは史上最高にクールな感覚でした。頭の中にあったこのアイデアが、今やこの世界に存在し、誰でも恩恵を受けることができる。彼らは背後にある詳細を理解する必要はなく、ただ動くのです。

最初にユーザーができたプログラムを覚えています。実際には競争型のチャットボットゲームで、ある日StumbleUponから1500回のクリックがありました。それは本当に素晴らしい気分でした。1500人が私のゲームをプレイし、楽しんでくれたことを願い、彼らが十分に夢中になってプレイしてくれたのです。その時、「これこそ私が望むものだ。人々を助け、彼らのために価値を創造し、貢献したい」と思いました。

それで、その考えを胸にハーバードに入学しました。それが実際に私の考えを変えました。もっと折衷的な興味を追求するだろうと思っていましたが、結果的には「ただものを作りたい」と思うようになりました。ハーバードの1年生の時、コンピュータークラブに入りました。そこには2人の4年生がいて、毎回難解な技術的議論をしていました。私たちは皆、「いつか理解できるようになるだろう、いつかああなるんだ」と聞いていました。しかし彼らが卒業し、2年生になりました。

それで、コーディングと構築に集中したいと気づいて、直接MITに転校したのですか？

GB：基本的にはそうです。2年生になる頃には、クラブを運営していました。あの難解な技術的議論を主導する番でしたが、「まだ準備ができていない。学ぶべきことが多すぎる。自分よりはるかに優れた人々と一緒にいなければならない」と思いました。

なるほど。

GB：それでMITの方に多くの時間を費やし、転校するのが合理的だと感じました。

Stripe

なるほど。では、Collison兄弟とはいつ知り合ったのですか？

GB：2010年、2010年の終わりごろに知り合いました。共通の友人が多かったのです。ジョンはハーバード、パトリックはMITに行き、彼らはあちこちで人を探していました。チームは両方の学校でコンピューターに興味がある人を探しており、私の名前が何度も挙がりました。

なるほど。

GB：それで彼らのチームから招待を受け、飛行機で行きました。パトリックに会ったのを覚えています。その瞬間、「よし、これが一緒に仕事をしたい人物だ。一緒に偉大なことを成し遂げられると感じる」と思いました。

では、次の質問は、何があなたをStripeに引き付けたのかですが、もう答えが出ているようですね。

。そこで何を学びましたか？あなたはチームに早く加わり、非常に早く昇進しました。去る時には、あなたは既にCTOでした。Stripeそのものとその規模拡大、そして会社が急速に成長する中で自身も急速に成長したことについて、どのような洞察がありますか？

GB：まず第一に、私にとっては常に人材が重要でした。これらは私が一緒に仕事をしたいと思う人々だと分かり、一緒に学び、素晴らしいことを成し遂げられると感じました。それが本当の鍵でした。ちなみに、二度の退学は、決して誰の両親にも経験させたくないことです。明らかに私の両親にとっては困難でしたが、最終的には実際にとても協力的でした。

いえ、分かっていますよ。あなたは物事を極限までやり遂げたんですよね？ほとんどの創業者は一度退学しますが、あなたは二度もやらなければならなかった。言いたいことは分かります。

GB：全くその通りです、全くその通りです。Stripeの初期は、第一原理思考が多くを占めていたのを覚えています。私たちは、非常に不透明で、非常にビザンチン的で、何十年にもわたって複雑さが積み重なり、カードネットワーク自体も1980年代の仕様であるISO 8583上で動作しているような、クレジットカード業界という分野にいました。それはバイト指向のフォーマットで、全体がそうでした。私たちは、「どうすればこれをシンプルに、極めてシンプルにして、インターネット時代に適合させられるか？」を理解しようとしていました。

つまり、それは、まったく未知の領域を深く理解することに大きく関わっていました。私たちの中に、本当に決済の専門家としての経歴を持つ者はいませんでしたが、ただ、それがどのように機能するかを非常に深く理解し、正しいプリミティブ、正しいAPI、抽象化を公開できるようにしたいと考えていました。私にとって、それが実際に中核となるスキルであり、その点はStripeとOpenAIの間で非常に移行可能でした。それらはある面で非常に似ています。ある分野を科学的に学ぶ必要があるのです。AIと決済は、具体的な詳細において明らかに異なります。一方はどちらかと言えば自然科学であり、もう一方は複雑性が積み重なったシステムのようなものです。しかし、それらは根本的に、物事が機能する根本的な理由を理解し、それをシンプルで使いやすい方法で公開することに関するものです。

私は採用に多くの時間を費やし、文化にも多くの時間を費やしました。そして、あることに気づいたと思います。私はコーディングが好きで、あのフロー状態や、構築し創造する感覚が好きなのです。

そうですね、あなたは何時間にも及ぶフロー状態と休みないコーディングで知られています。Stripeを構築していた時、最長のコーディングセッション/フロー状態はどれくらいでしたか？

GB：ああ、すべて混ざり合っています。正確な時間は言えませんが、言えるのは、私にとって、あの24時間の突貫作業があり、それが私たちを実際にクレジットカードネットワークに接続させたのです。本当に素晴らしい時間でした。私たち全員がオフィスにいて、誰も眠らず、それは本来9ヶ月かかるはずの統合を、一晩で成し遂げました。もし一日遅れていたら、また一ヶ月待たなければなりませんでした。スタートアップにとっては、一日一日が重要です。ですから、不可能と思われることを成し遂げたあの感覚、私はそれが大好きです。それは非常にエキサイティングなことでした。

あなたがCTOになった時、他のCTOと話をして、自分はこれをアーキテクチャの仕事だと考えているが、彼らはそうではないと書きましたね。「フィードバックループを失い、製品から切り離されていると感じた。もう一度コーディングが必要だ。私はコーダーになろう」と。興味があるのですが、それはあなたがCTOになった初期に書いたものです。それはどれくらい続きましたか？あなたはどれくらいコーディングと繋がり続けましたか？

GB：ええ、おそらくその後さらに約10年は続いたと思います。私はある面で成長し、多くを学んだと思います。それは、たとえ自分自身がもう直接コードを書かなくなっても、どのように関与し続け、チームを前進させ、チームを一つにまとめるのに真に貢献するかということです。

そして、ちなみに、これは今やほとんど全てのソフトウェアエンジニアにとって重要な教訓だと思います。なぜなら、「コーディング」という行為自体が、この一年で劇的に変化したからです。今後一年で、さらに大きく変化するでしょう。私たちは皆、どの特定のライブラリを使うべきか知っていて、構文やセミコロンをどこに置くかを正確に把握しなければならない役割から、より高次のマネージャー、ディレクターへと移行し、インスピレーション、ビジョン、判断、フィードバックの源となっています。この移行は、かつて私にとっては困難でした。なぜなら、慣れ親しみ、大切にし、本当に愛していたものを手放さなければならなかったからです。しかし、私は実際に、それをさらに愛するものに置き換えました。

私は賢い人と話していると分かります。あなたが私の伏線を奪ったからです。後でこの話題に戻ろうと思っていたのですが、その通りです、まさにこれから議論しようとしていたところです。

OpenAIとチューリングテスト

OpenAIについて話しましょう。あなたはOpenAIの創設チームの一員でした。あなたのバージョンのストーリーはどのようなものですか？これだけで1時間のポッドキャストになると思いますが、何があなたをこの分野に惹きつけ、始めさせたのですか？

GB：ええ、私はAIというアイデアに長い間興奮していました。プログラミングを始めたばかりの頃、アラン・チューリングが1950年に書いたチューリングテストに関する論文を読んだのを覚えています。それは非常に興味深い論文で、約70ページほどでした。それは、「機械が知能を持つとはどういうことか？私は知能が何を意味するのか分からない。知能には明確な定義がない。だから、明確に定義されたバージョンを持とう」という書き出しで始まります。

後でAGIとは何かをお聞きします。ですから、それはまだ未解決のように聞こえますね？

GB：ええ、その通りです。そこでチューリングは非常に賢くこの問題を回避し、「それに操作的な定義だけを与えよう。つまり、人間が自分と話しているAIと別の人間を区別できないようなテストを実施できれば、その機械を知能的であると定義する」と述べました。

しかし、非常に興味深い点で、あまり注目されていないのは、彼がこう言ったことです。「では、この問題をどうやって解決するつもりか？答えをプログラムするのは難しすぎる。様々な質問に答えるための全てのルールを書き下すことはできない。代わりに、学習できる機械を構築できたらどうだろう？彼が『子供機械』と呼ぶものを構築できたらどうだろう？」そして、あなたはそれを教えるのです。報酬と罰を与える教師がいて、そうすれば知能を与え、このテストを通過させることができるのです。

この考えに深く衝撃を受けたのを覚えています。なぜなら、プログラマーとして、問題の解決策を深く理解することでのみ前進できるからです。私が答えを知らない問題、あなたが答えを知らない問題、誰も解決策を思いついていない問題がたくさんあり、私たちはそれらのためのプログラムを決して書くことができません。しかし、もし私たちが理解できない問題を理解し、私たちが理解できない解決策を理解できる機械があったらどうでしょう？それは画像認識についてだけではありません。もちろんそれにも当てはまりますが。それはまた、私たちが社会でどうより良く共存するか？世界をどう構築するか？私たちが生み出す利益が最終的に全ての人に行き渡るようにするにはどうするか？といったことにも関わります。これらは非常に難しい問題であり、人間が必ずしも解決に最も適しているとは限りません。しかし、もし機械が理解でき、より多くのデータを閲覧でき、多くの異なる分野についてより深く、より豊かな総合的理解を持てるなら、おそらくそれは私たちにはできない方法でこれらの問題を解決できるかもしれません。

ですから、私はこの考えに深く動機づけられました。しかし、それは単なるアイデアでした。ハーバード大学に入学した時、教授に「ねえ、AIの研究を少しできますか？」と尋ねたのを覚えています。教授たちは当時の自然言語処理の最先端を見せてくれました。私ははっきりと見て、こう思いました。これはチューリングが言っていたようなものではない、と。それはどちらかと言えばハードコードされたもので、解析木など、これではAGIにスケールできない、と。

しかし、2010年代の初めに、何かが変わりました。私は外部から観察していました。2012年はAlexNetで、その後一連の他の論文があり、Hacker Newsでよく見かけ、毎日のように新しい「Xのための深層学習」があるように感じました。その時、「深層学習とは何か？」と思いました。私はdeeplearning.orgにアクセスしたのを覚えています。そこには「深層学習は人工知能への新しいアプローチです」とだけ書いてありました。その時、私はこれが何を意味するのか全く分からず、実際にその分野で知っている人は一人だけでした。その人に会いに行き、その分野のより多くの人を紹介してくれるよう頼み、そして大学で最も優秀な友人の何人かに次々と再紹介されました。その時、「待てよ、これは面白い。これらの人々がこれを研究している。これは実際に非常に強いシグナルだ」と思いました。

そして2015年までに、私にとっては、何か本物が起きているように感じられました。また、AIの安全性について、この種の技術の長期的な未来について、それを正しく行うとはどういうことかについて、深く考えることに多くの時間を費やしました。それは当時はどちらかと言えば哲学的なものでした。オンラインでは様々なクールな思考実験を見つけることができ、Stripeで読書グループを組織し、毎週これらのことについて議論していました。ですから、これは私が深く気にかけていることであり、もし私がAIの発展を、私がいない場合よりもほんの少しでも良くする手助けができるなら、それが私のキャリアでできる最善のことだろうと考えていました。

これら全てが2015年に向かっていきました。Stripeであるマイルストーンに達したと感じ、会社は私がいようがいまいが機能し続けるだろうと。それは、「マネージャーの道を進みたいか？」という問いのようなものでした。それが次の段階に進むために必要なことでした。あるいは、「新しい会社を始めたいか？」と。それは常に私を動機づけてきました。そこで、それが私の望むことだと決めました。私が去ろうとしていた時、パトリックが言いました。「サム[オルトマン]と話してみたらどうだ？」と。彼は数年前に私をサムに紹介してくれていました。彼は言いました。「彼は同じような状況の若い人をたくさん見てきた。多分、彼は君に何かアドバイスをくれるだろう」と。少し、サムが私に留まるよう説得してくれることを期待していたのです。結果はそうなりませんでした。

（笑）ええ。

GB：私はサムに会い、3分も経たないうちに、彼は言いました。「よし、君は明確に去るつもりだ。次は何をするつもりだ？」私は言いました。「ええと、AI分野で何かやろうかと考えているんだ」彼は言いました。「私もAI分野で何かやろうと考えているんだ」それが始まりでした。

あなたは当時、非営利組織という考えに賛成していましたか？設立時、それについてどのように考えていましたか？

GB：ええ、非営利組織というアイデアはサムが提案したものであり、これには多くの非常に重要な特性があると思います。そのいくつかは今日でも正しいと思われます。私たちは構築している技術は、これまでに創造されたどの技術よりも壮大で、伝統的な構造やシステムを超えています。既存のどの企業構造も、私たちの使命と私たちが必要とする仕事を完全に包含することはできません。

だから、私はそのように始めるのは完全に合理的だと思いますし、実際にミッションを実現するために何が必要なのかという問題は常にありました。これは私たちが長い時間をかけて真剣に考えてきたことです。私たちは、ビジネス開発、利益配分、この計算主導型経済を実際に推進するためのあらゆる異なる側面を網羅し、それらすべてを同時に実行できる構造を構築するという点で、最も革新的な会社だったと思います。ですから、これは常に重要な要素であり、今でも私たちの仕事の重要な部分です。しかし繰り返しますが、私たちはミッションの核心を取り巻く会社の構造において多くの革新を行ってきました。そしてそのミッション自体は不変です。

ええ、革新というのは一つの言い方ですね。あなたはクレジットカードネットワークについて言及しましたよね？あれは極めて不透明で、80年代からのものが多く、大量の経路依存性があり、それがStripeにチャンスを与えました。なぜなら、これらすべてを抽象化できたからです。他の人にとっては、「これはAPIだ。使える。質問するな」というだけです。今、OpenAIを振り返ってみると――10年以上前だとは信じがたいですが――OpenAIは他の方法で出現することはありえたのでしょうか？そこにも同様の経路依存性はあったのでしょうか？それとも、「第一原理に立ち返るなら、私、グレッグ・ブロックマンが好きなことをするなら、この構造を全く異なるものに設計していただろう」というようなものがあったのでしょうか？

GB：私たちが今日の地点に到達し、このミッションが私たちに要求する場所に到達するには、他の方法はなかったと思います。

ChatGPTとOpenAIの騒動

ChatGPTのローンチについて教えてください。あなたには転機がありました。拡張の必要性を認識し、マイクロソフトと提携し、営利部門を追加し、そしてChatGPTが登場し、それは非常に大きなものになりました。これほど大きくなるとは予想していましたか？

GB：私を驚かせたのは、GPT-3.5が人々に本当に愛され、求められるものになるという私の予測が外れたことです。当時、私たちはすでにGPT-4を持っていました。8月頃にトレーニングが完了し、11月末にChatGPTをリリースしました。新しいモデルができるたびに常に起こることですが、私たちはそれに固執してしまいます。

古いモデルはひどく見える。

GB：私たちが見ているのは、前のモデルの欠点ばかりです。ただ、「ああ、この前のモデルはひどすぎる。誰もこれを使いたいとは思わないだろう」と感じていました。私たちには約200人のテスターがいて、リリース前のChatGPTを使ってもらうためにお金を払っていました。そう、私たちは彼らに使ってもらうためにお金を払っていたのであって、その逆ではありませんでした。ですから、深く掘り下げて細部に注意を払えば、プロダクトマーケットフィットの兆候はいくつかありましたが、マクロで見れば、私たちがそれを手にしているようには見えませんでした。

しかし、当時の私たちの考えは、GPT-4が明らかに世界を変えるだろうということでした。私たちはそれを知っていました。最初にGPT-4と会話した時から、それは非常に明らかでした。GPT-4のトレーニングが完了した後の最初の週、ただその現実を感じていたのを覚えています。私たちはAGIを夢見、AGIについて考え、それがどのようなものかを想像し続けてきました。しかし、初めて、どんな質問でもでき、かなり合理的な答えが返ってきて、AP生物学の試験で5点を取るような技術を手にした時、これらすべてが、私には、何かが変わろうとしていると感じさせました。明日すぐに世界を変えることはないかもしれませんが、今後数年で、この技術は絶対に、そして今やそれは現実です。それは非常に明確でした。

ですから、ChatGPTのローンチについて考えると、当時の私の考えは、まずインフラを展開して、実戦で試されたLLMサービスインフラを手に入れ、それに力を注ぐ必要があるということでした。そして3月にGPT-4をリリースした時――覚えているかもしれませんが、完成から実際のリリースまでに6ヶ月の遅れがありました――その時には、既に準備万端のインフラが整っていました。しかし、それがそのような形でこれほど急速に離陸するとは予想していませんでした。将来的にはそうなるだろうと予想していたにもかかわらずです。

その時期はどのようなものでしたか？サーバーがクラッシュするのを防ぐために、全員が総力戦だったのですか？

GB：ええ、間違いなく。私たちは、いわゆる「ひっそりとした研究プレビュー」をリリースしましたが、もちろん結果は指数関数的で、想像できるあらゆるシステムがダウンしました。ログインシステムが大きなボトルネックとなり、それを改善するために多くの作業をしなければなりませんでした。頭を抱えながら、「私たちはこの魔法のようなAI技術を構築しているのに、ボトルネックは『ログインシステムがスケールするかどうか』なのか」と。

本番環境にはかなり非効率な推論カーネルがデプロイされていたのを覚えています。実際、私はもっと効率的なものを書いたことがありましたし、研究部門にももっと効率的なものがありました。そこで重要な作業の一つは、「これらの最適化を実際に採用して、移行しよう」ということでした。それで、一群の人々がこの問題に取り組み、それを解決しました。これが、初日、最初の週、最初の月の全体的な状況だったと思います。あらゆるシステムを拡張し、次々と押し寄せる需要の波に必死で追いつこうとしていました。

2023年11月に何が起こったのですか？

GB：非常に複雑な答えになります。どこから始めましょうか？

わかりません。これについてお聞きしなければならないと思います。それらは――あなたはその直後に休暇を取りましたよね。両者の間に関連はありますか？

GB：聞いてください、最も高いレベルで言えることは、2023年は、蓄積されていた緊張関係、本当に対人関係上の緊張が存在していたことを示した年だと思います。私たちはそれを事前に十分に予見し、解決できていませんでした。私にとって、これはOpenAIの最も重要な教訓の一つです。私たちは技術を構築していますが、それは常に人間に関するものです。良い面でも悪い面でも。つまり、対人関係のダイナミクスを真に管理することは、私たちが行う最も重要なことの一つであり、それを事前に解決しなければ、難しい会話をしなければ、物事が厄介になる可能性があるのです。ですから、より詳細な話を喜んで掘り下げますが、実際に深く掘り下げると、その多くはそれほど面白い技術的な問題ではないと思います。

これは、ChatGPTという予想外の大成功とどの程度関係がありますか？両者には関連がありますか、それともこれらの緊張関係はどのみち噴出したとお考えですか？

GB：直接的な因果関係はないと思います。少なくとも私の目にはそう映りません。ある意味では、おそらく潜在的なテーマとして、技術が進歩するにつれて、誰もが世界の重圧と、そこに懸かった重大性を感じていたということかもしれません。

実際、最も困難なことの一つは、どのように前進し続けるかということです。私が常に指摘してきたことの一つは、私たちの日常の活動は他の会社とほとんど変わらないように見えるということです。あなたは依然として、ある根本的な問題をデバッグしているし、誰かが他の誰かの言ったことや、会議に参加させてもらえなかったことなどに腹を立てている。それは単に人間的な要素、人間の仕事です。しかしもちろん、そこに懸かる重大性は非常に大きいのです。

ですから、OpenAIにはいくつかの非常に重要なことがあると思います。実際に私が特に注目している大きなことの一つは、人々に世界の重圧を感じさせ、孤立させるような状況に陥らせないように真剣に努力することです。本当にチームとして一緒に行うこと、これが重要なことです。そして、これはおそらく、私がそれらの出来事に関連して言いたいことの言い方かもしれません――それはそれらの出来事に固有のものではありませんが、OpenAIの発展における継続的なテーマです――私たちがこれを一緒に行っているという感覚を真に維持し、課題に立ち向かうと同時に、すべての基礎的な作業、それらの基礎的な作業を確実に行うように努めることです。これが、私たちが前進する方法の一つだと思います。

ええ、つまり、あなたは常に非常に積極的な提唱者でした。これはOpenAIの全体的な理念の一つだと思います。つまり、ものを世界に送り出し、実験し、何が起こるかを見て、それに応じて反応するということです。未来について理論的に推論するのではなく、経験的な証拠に基づいて決定を下す。皆さんはAIに関してこの理念を多く説明してきましたが、私の質問は、あなたもある程度触れたと思いますが、OpenAIという組織自体もまた、調整中の大規模な実験のように感じられるということです。否定的な解釈をすれば、それは単に前後に揺れ動き、ここで再編成し、あそこに新しいリーダーを迎え、手に負えない巨大な怪物のように見えます。それとも、人々が考えるよりも、もっと秩序立っていて、回復力があるのでしょうか？振り返ってみて、他の方法はあり得なかったと言いますが、もし別の方法があったとしたら、それはより良かったでしょうか？

GB：まず第一に、私たちは出発点から大きく変化し、成長しました。事業の運営は全く異なりますが、私たちはこの分野を前進させる上で常に先駆者でした。これは安全性の面でも、セキュリティの面でも、中核技術においても、そして利益配分を真剣に考えることにおいてもそうです。これらすべての分野に私たちは最初から注力してきました。そして、結果は確かに物語っていると思います。

さて、この変化は現実のものです。そして、ある段階に適したチームが、次の段階に適しているとは限らない場合もあります。今年、私が非常に注力してきたことの一つは、次の段階と、私たちが一緒に成し遂げられることについて考えながら、私を非常に興奮させるリーダーシップチームを構築することです。ですから、2026年のテーマの一つは、おそらく以前と比べての変化ですが、この分野には非常に多くの人がいて、やるべきことが非常に多く、技術の進歩が非常に速いため、私たちは計算能力に深刻に制約されており、集中しなければならないということです。本当に絞り込まなければなりません。相乗効果を発揮できる分野を選択しなければなりません。

ですから、実際にいくつかの決定を下すことになります。例えば、「ねえ、Soraは素晴らしい技術だが、どちらかと言えばエンターテイメント寄りの消費者向け分野であり、他の優先事項と比較して優先順位を付けることはできない」と判断し、それを中止します。これは下流に影響を及ぼし、苦痛を伴い、これらの決定を下すのは難しいですが、これらすべては、中核的なミッションを達成するために、その緊密な集中力を維持するためです。

あなたはスケーラビリティを非常に信じていますが、OpenAI自体はスケーラブルなのでしょうか？

GB：史上最もスケーラブルなビジネスになる可能性があると信じています。ええ。

私が言っているのは、内部、組織としてです。スケーラブルでないものは何ですか？計算について、データについて話しましたが、あなたは先に人間の要素について言及しました。究極のアライメント課題――私たちはアライメントをAIに私たちの望むことをさせることだと考えています――しかし、あなたは逆の課題に直面していますか？管理の観点から、この分野、この問題に追いつくことができますか？

GB：二つの答えを述べたいと思います。まず第一に、間違いなくイエスです。過去数年間で組織としてどれだけ成熟したかを見ればわかります。数年前、私たちには多くの管理的な負債がありました。

。同様に、多くの分野で私たちは成長し、成熟する必要があると思いますが、私はこの仕事を成し遂げたと考えています。それは困難で苦しいものでしたが、今ははるかに良い位置にいると感じており、会社とその未来に非常に興奮しています。

しかし、もう一つ、経営の方法が変わりつつあることを一歩引いて認識する価値もあると思います。例えば、一人当たりの収入を見てみてください。私たちや類似のビジネスにおける一人当たりの収入は、これまでのどのビジネスと比較しても天文学的な数字です。これには理由があり、この技術を通じてこのような増大するレバレッジを得られるようになり始めています。そして、私たちがこの技術を製造し、広く利用できるように努め、多くの企業を支援しているため、他の多くの企業が異なる方法で運営し、そのような超過的な一人当たり収入を得ることができるようになるでしょう。

私にとって、これは非常にエキサイティングなことであり、私たちは会社を運営することの意味や、その運営方法そのものを変えています。ですから、変わらないものもあります。それは単に人々が一緒に働くということです。そこには非常に基本的なものがあり、それを良好かつ一貫した方法で実現することは、私が常に注力してきたことです。しかし、私たちの技術の可能性を活用することに関する問題もあると思います。それは、すべての企業に新たな機会が訪れることを意味します。

生産性とAGI

あなたはSoraを中止し、消費者向けエンターテイメントとして位置づけたことに言及しました。ChatGPTは大きな消費者向け成功であり、消費者から信じられないほどの収益を上げています。しかし、結局のところ、どれだけの人がこれにお金を払うつもりなのでしょうか？実際に生産性向上を望む顧客はどれくらいいるのでしょうか？消費者市場でこれほど大きな成功を収めたことは、注意をそらし、大量のGPUを消費し、おそらく企業を最優先の焦点とすることに遅れをとったという点で、ほとんどマイナスの影響ではなかったのでしょうか？

GB：私たちは社内でよくこのような対話を行っています。実際、これはOpenAIの強みの一つだと思います。私たちは第一原理から自分たちの行うすべてを精査し、常に再考し、多くの異なる視点や観点を持っています。ほぼどんな角度からでも議論できる人もいて、それぞれに理屈があります。ですから、「ねえ、このエージェントの瞬間があって、私たちはそれへの対応が遅れた」という見方には、ある程度の真実があります。

しかし一方で、10億人もの人々がいます。これは世界人口の10%以上です。アメリカでは、おそらく週に3人に1人がChatGPTを利用しているという数字だと思います。毎週これだけ多くの人々があなたのシステムを使用しているというのは、類を見ないことであり、このような先進技術においては類似するものは何もありません。

ですから、一方で、これを単に「ねえ、私たちは先進技術を持っている」と見なすならば、製品としてのチャットの課題は、それが必ずしもよりスマートなモデルと一致するとは限らないことです。もし単に検索エンジンの代替として見るならば、人々が従来のチャットを通じて直接これらのメリットを得られるかどうかは明確ではありません。しかし、私はこれらすべてのことが集約され、頂点に達し、この10億人のユーザーは投資であり、将来のモデルが解き放つ方法の実際の蓄積であり、ChatGPT Workなどを通じてその第一歩が見え始めていると考えています。ここには多くのニュアンスと複雑さがありますが、多くの戦略は常に、消費者と企業がある、これは二つのことだ、と言ってきました。私たちは二つのことをしたいのではなく、一つのことをしたいのです。私たちはAGI、一つのシステム、一つの統一されたスタックを構築したいのです。それを個人生活でも仕事でも使えるものにしたいのです。

そうですね、しかしこれは内部組織構造の出力に関する問題でしょうか？あなたは新しいChatGPTをリリースしました。これは旧バージョンとは大きく異なり、Codexを基に構築されています。OpenAI内部へのメリットは理解できますが、顧客は自分が何をできるのかを認識できず、「彼らをいきなり深い水域に放り込み、自分たちで何とかすることを期待する」ということで、不満を感じるのではないでしょうか？

GB：業界は根本的な変革を遂げていると思います。それは現在登場しつつある新しいエージェント製品からもわかります。中核となる変化は、チャットからエージェントのユースケースへと移行していることだと思います。繰り返しますが、これは単に生産性の問題だけではありません。個人生活においても、あなたはこのシステムにチケットを予約してもらったり、理髪店の予約をしてもらったり、そういった個人的なことを依頼できるようになりたいと思うでしょう。しかし同時に、良い人生のアドバイスをくれたり、健康情報を処理してくれることも望むでしょう。

ですから私にとって、生産性という言葉は狭すぎます。私にとって、消費者という言葉は広すぎます。企業もまた、変革されるものだと思います。これらの古典的な言葉はすべて、かつてない方法で製品を構築する中で、融合し、絡み合っていくでしょう。ですから私の見解では、ここには変革管理が必要です。つまり、10億人のユーザーを新しいユースケースのセットへと導き、彼らが理解できるように支援する方法です。そして、ついでに言えば、「不公平な優位性」となる可能性があるのは、あなたが何を成し遂げようとしているのかを理解するAIがあるということです。

その通りです。

GB：それはこう言うことができるのです。「ああ、もしこのコネクタを有効にすれば、もしこうすれば、実際にもっと多くの助けを提供できますよ」と。これは私にとって、素晴らしいことであり、素晴らしい機会であり、そこには大きな可能性があります。私が「不公平」と言うとき、それは古典的な技術で達成できることと比較して、という意味です。単にある技術と別の技術を比較するならば、この技術にはいくつかのユニークな点があります。

あなたは以前、チューリングの観点に言及しました。あなたが二つの部分に言及したのは嬉しいです。なぜなら、AIは人間のように話せるのか？明らかに、私たちはずっと昔にその点を超えています。しかし私にとって、AGIの定義は――これはあなた方にとって厄介な問題だと思いますが、ついにマイクロソフトとの契約に縛られなくなったので、その観点を心配する必要はなくなったと思います――それは学習と何らかの関係があります。あなたは学習に言及し、LLMがどの程度学習したか（過去形）について言及しましたが、課題はそれが継続的に学習するか（現在進行形）どうかです。

私にとって、エージェントの瞬間の革命的な点は、物事を書き留める能力を得たことだと思います。それがCodex/ChatGPTの変革の必要性がある理由であり、物事を書き留める能力を得たからです。書き留めることができれば、物事を記憶できます。物事を記憶できれば、様々な面で非常に有用になります。問題は、これが最終状態なのか、それとも継続的に学習できるLLMを手に入れることになり、それがAGIなのか、ということです。私の考えは間違っているでしょうか、それともこれはチューリング問題の第二部に当てはまるのでしょうか？

GB：ええ、これも非常に興味深い議論の領域だと思います。なぜなら、人々は実際に自分自身のAGIの定義を持っており、それはほとんど曖昧なものだからです。当初、私たちは、ある時点が来て、誰もがそれがAGIだと同意する、そんな風になると思っていましたが、事態は全くそのようには進みませんでした。

現在、私は技術から抽象化した視点を取る傾向があります。つまり、記憶がウェイトに組み込まれなければならないのか？これはTransformerなのか、それとも別のものなのか？これらの問題は、詳細だと思います。本当の問題は、あなたが真のAIに期待する方法で機能するシステム、すなわち学習でき、あなたから学習でき、あなたのニーズに適応できるシステムを持っているかどうかです。そしてこの問題は、記憶のメモ帳に書き込むことで実現されるのか？ソフトトークンによって実現されるのか？それとも他の方法によって実現されるのか？

これらすべては、私には、問題に対する可能な答えのように感じられます。私たちが「メモ帳に書き留める」という点で、合理的な予想をはるかに超えて進んでいることは明らかだと思います。それがこれほど成功しているのを見るのは驚くべきことです。なぜなら、2年前なら、私たちは「そうだ、これらの超長いコンテキストが必要だ、それが君に必要なものだ」と言っていたかもしれませんが、実際には、「メモ帳に書き留める」だけで、より短いコンテキストでも、信じられないほど遠くまで到達できることが証明されたからです。

ただ書き留めるだけです。

GB：ですから、今後これらの改良が何をもたらすかを見守ることになります。私は、巨視的に見れば、すべては指数関数的であるという信念を持っています。拡大して見ると、これらのパラダイムシフトが見えてきます。ちなみに、これはテクノロジーとコンピューティングの仕組みに関するレイ・カーツワイルの見解です。私は、記憶がどのように機能するかといった問題においても、これは間違いなく正しいと考えています。

Astra

それで、あなたはついにAstraをリリースしました。ようやく本題に入りましたね。これは新しい事前学習モデルですか？サイズやアーキテクチャに関する詳細を公開する予定はありますか？私たちは正式な発表の前にこの録音をしているので、あなたが公開した内容はまだ見ていません。

GB：ええ、内部の詳細やアーキテクチャなどについては議論しません。しかし、これは大きな進歩です。これは、私たちが訓練した最初の10万GPUを超える実行であると言えます。これは簡単に口にできる数字ですが、その規模を考えてみてください。これらのデータセンターは、ある意味で、私たちがAI技術を提供し創造するために建設した巨大な機械であり、これほど多くの計算能力を活用して、私たちが達成したような結果を提供することは、真の工学的挑戦であり驚異です。

ですから、その一部はモデルをより有能にすることに関するものですが、これほど多くの計算能力は安全性とアライメントに費やされており、私たちはこの分野で膨大な安全対策を講じてきました。私たちはこのモデルを安全に提供するために、多大な努力をしてきたと思います。これはこれまでで最もアライメントされたモデルであり、私にとってこれは絶対的に重要であり、これまでもそうでした。しかし、能力が非常に強力であるため、アライメントと安全性は、すべての人の仕事において、より顕著で中心的なものになっています。

あなたの発表記事は興味深いものでした。非常に事実に基づいています。実際のユースケースが豊富にあります。競合他社の発表と比較すると、その対比は非常に大きいです。あなたはAIをツールとして位置づけています――これは公平な見方だと思います――これはマーケティングの問題なのでしょうか、それともあなたがAIをそのように見ているからなのでしょうか、例えば、神を創造するようなものではなく？

GB：私たちには深い基本的な価値観があり、その一部は実際に人間をどのように見るかに関係しています。人間には価値があります。それは単にタスクを完了できるからではありません。私たちには価値があります。それは人間だからであり、感情があるからであり、私たちが重要だからです。人間の判断、人間の監督、人間の制御、これらすべては絶対に維持され、永遠に維持される必要があります。これは私たちが信じる中核的な不変の部分です。

だから、私たちがこのテクノロジーの未来を導くために何ができるかを考えるとき——ある意味では、それがこのすべての意味であり、私たちがこの場所を始めた理由であり、私たちが気にかけていることであり、どうすればこのテクノロジーを、私たちがいない場合よりも少しだけポジティブな方向に導けるかということです——私たちは、このテクノロジーが世界にどのように広がっていくかについて、これらの問題を考えます。私たちはそれがすべての人を向上させることを望んでいますが、それはまた、人間がテクノロジーやコンピューターとどのように関わるかについても重要です。それは明らかに変化しています。単にタイピングを減らし、コンピューターともっと会話し、より自然なインターフェースを持つようになることにおいてさえも変化しています。

しかし、真の人間による監督、創造性、そしてビジョン、これらすべては非常に重要であり、保持される必要があると私は考えています。ですから、これは確かにこれらの問題に浸透していきます：それを人として語るのか、ツールとして語るのか？ユースケースを考慮するのか？それとも別の方法で考えるのか？あなたはこれをほとんど小さなことと見なすことができますが、実際にあなたが指摘してくれて嬉しいです、これは私たちが非常に慎重に考えていることです。チームは、私たちが語りたいすべてのこと、そしてこの種の仕事を世界にどのように示すかについて、真剣に考えることに膨大な時間を費やしてきました。

では、これはモデルリリースなのか、製品リリースなのか、あるいは違いがあるのでしょうか？

GB：これらのことは確かに融合してきています。私は、これはまずモデルリリースだと言うでしょうが、そのモデルは質的により能力が高いです。おそらくヘッドラインはコンピューター使用でしょう。それは本当に私の敷居を越えました。コンピューター使用は常に——OpenAIの創業当初から、2015年11月、それが実際に始まる前から覚えています——

ええ、それはまるで最初の製品のようでしたよね？ビデオゲームをプレイするような。

GB：はい、その通りです。ああ、覚えていますね、そうです。私たちにはビジョンがありました。もし画面のピクセル、キーボード、マウスを処理し、AIをエンドツーエンドで訓練できれば、それは実際にあらゆる種類のタスク、あなたが人々に手助けしてほしいと思うあらゆることに対処できるようになるだろう、と。

過去2年間の時代を見ると、それはコネクターの時代でした。人間がうまく使えるソフトウェアはあるが、AIはそれにアクセスできない。どうするのか？APIに接続するための非常に具体的なコネクターを書かなければならず、すべてが公開されているわけではないので、できることすべてを実行できるわけではありません。そして、APIのないソフトウェアが非常に多く、それらは完全に手の届かないものだと考えてみてください。

ですから、私たちは制限された世界を持っており、AIはあなたを助ける上で非常に制約を受けていました。私たちは今、ほぼユニバーサルコネクターとも言える技術を持っていると思います。とはいえ、これはすべての問題が解決されたことを意味するわけではありません。これらのAIの振る舞いの周りにどのように企業のガードレールを設定するかを考えなければなりません。どのように適切な監督、管理、追跡、可観測性を持つのか？これらすべてに私たちは取り組んでいます。

ですから、これは、この能力を活用するために製品がどのように展開されるかについての継続的なプロセスだと考えています。しかし、それはすでにOpenAI内部の人々の働き方を変えており、そしてそれは本当に多くの企業、多くの個人を向上させると私は信じています。

AIバリューチェーン

バリューチェーン全体を考えると、二つの戦線で戦っているように見える位置があります。一つは、マイクロソフトのような企業や他のパートナーがいることです——もし彼らの名前を使いたくなければ、彼らは依然として重要なパートナーだからです——しかし彼らはモデルをコモディティ化したいと考えています。彼らはトップレイヤーに構築したいと考えており、モデルをプラグアンドプレイで出入りでき、彼らがすべてのコンテキストと重要なものを掌握しています。しかし同時に、あなたはこれらの驚くべき能力を構築しており、それは最終的にエンドユーザーと密接に結びつき、ただあなたが望むことを実行します。これは、あなたの目標を達成するために必然的に到達しなければならない場所なのでしょうか？また、経済的な必要性もあります——もしコモディティ化されたくなければ、私たちは製品へと上昇し、ユーザーと直接接続する必要があるのでしょうか？

GB：私たちの根本的な使命は、世界により多くのAI能力を持たせることだと言えるでしょう。私たちは、人々がAIをより多く使い、より多くのことを行い、彼らを助けるようにしたいと考えており、私たちは本当にこの計算主導の経済を推進していると考えています。これは、異なる垂直分野で異なる形を取ることを意味します。

時には、私たちは特定の分野に本当に集中し、それをうまくやれる立場にある、あるいはそれが私たちの使命にとって非常に中心的であると感じます。健康は良い例です。私たちは健康分野で非常にユニークなものを構築しています。実際、驚かされるのは、健康分野で私たちが行っていることが、実際にどれだけ多くの人々を助けているかに比べて、ほとんど報道されていないことです。私たちは毎週約3億人がChatGPTを健康に関する問い合わせに使用しています。3億人、これは巨大な数字です。そして私たちは、臨床医向けのボトムアップ製品と、病院向けのトップダウンのエンタープライズ製品も構築しています。ですから、健康分野には三方向の市場があり、そこで私たちができることには、例えば、臨床試験のための人材募集があります——これは難しい問題ですが、私たちは実際に、本来見つからなかったであろう人々を見つける手助けができるかもしれません。これは患者を助けると同時に、これらの医薬品の開発をより早く進めることにもなります。

ですから、ここには核心があります。健康は私たちの使命にとって極めて重要であり、私たちには成功する独自の機会、独自のチャンスがあり、それに本当に集中できるのです。私たちはチームを編成し、全力を注ぎ、様々な関係を構築しました。

特定の垂直分野に参入するとき、私たちが行うことの一つは、エコシステムとどのようにうまく協力するかを考えることです。これは、そこで競争しないことを意味するわけではありません——私たちはしばしば非常に激しく競争します——しかし、私たちは本当にすべての参加者を向上させると考えており、そして私たちがこの核心的な使命、すなわち私たちはこの技術を持ち、それが広く普及し、あらゆる場所に存在することを望む、という使命にどのように本当に集中できるかを考えています。ですから、状況は時に少し微妙になることがあります。特定の分野に参入するときには、私たちが実際に何をしたいのか、何ができて何ができないのかについて、常に多くの疑問があります。しかし、私たちがこれをどのように見ているかと言えば、OpenAIの全体的な目標は、より多くの人々がポジティブな方法でAIを使用することから恩恵を受けるということです。

ええ、もしあなたの上にあなたをコモディティ化しようとする層があるなら、おそらくあなたが下の層をコモディティ化しようとしているという側面もあるでしょう。あなた方はHot ChipsでJalapeñoチップについてもっと話しましたね。なぜJalapeñoが重要なのですか？それは単にチップを購入する際のコスト削減のために重要なのでしょうか？

GB：私はそれを、2017年以来、私たちは基本的にあらゆるハードウェアスタートアップ、あらゆるサプライヤーと連絡を取り合ってきたと見ています。私たちは彼らと話し、フィードバックを与え、「ねえ、モデルの方向性はこうだと見ている、あなたはこうすべきだと思う」と言います。時には彼らは私たちの言うことを聞き、時には聞かず、時には私たちは親密なパートナーであり、時には彼らは私たちとあまり話したがりません。

内部のチッププロジェクトを持つことについて非常に自由な点は、私たちが最善だと考えるもの、私たちがちょうど良い調整がされたと考えるものを直接追求できることです。それは単に私たちが現在行っていることのためだけでなく、この技術が向かうと私たちが考える方向のためです。これは非常に大きな投資です——私たちにはチームがあり、絶対に信じられないようなチームで、優れたリーダーシップがあり、彼らはかなり長い間これに取り組んできました。しかし、同様に、これは私たちがエコシステムと緊密に協力する一部でもあります。

私たちはNVIDIAと第一級の計算パートナーとして緊密に協力しており、私たちが構築しているコンピューターの規模と独自性を見れば、NVIDIAが必要であることは間違いありません。私たちはこれらの驚くべき訓練用コンピューターを構築しており、それらを使って大量の推論も行っており、彼ら自身も気づいていない方法で彼らのハードウェアを押し進めることができています。

ええ、少し扱いが難しく、おそらく非常に大規模なモデルを時間通りにリリースするのを少し難しくしていると聞きましたが、今は動いているのだと思います。

GB：はい、そうです。私が言いたいのは、内部の専門知識を持つことで、私たちは物事を深く理解しているため、いくつかのことを成し遂げられるということです。フェンスの外からアドバイスを投げ込むのとはわけが違います。実際にその苦労を経験すれば、それは別の話です。

この良い例は、実際にはチップ設計のためのAIです。私たちはこれについて話しましたが、Jalapeñoの設計に私たち自身のモデルを使用し、それは確かにスピードを上げ、いくつかの真の勝利をもたらし、すべてクールなことです。ちなみに、そこにはクールな話があります。私たちは締め切りに近づいており、残り約1ヶ月でしたが、モデルを通していくつかの最適化を得ました。私たちは考えました。「それが何をしたのかを実際に読む時間を費やすべきか？それが正しいことは分かっている。それが行った最適化を正確に理解する必要があるのか、それとも残りの時間をさらに最適化することに費やすのか？」——そして私たちは言いました。「そうだ、もっと最適化をやろう」。それで私たちはその1ヶ月を、それが行ったすべての調整を深く理解することなく、ただそれを実行することに費やしました。その後、私たちはそれを読み返してみると、それが私たちのリストに元々あった多くの最適化を見つけていたことがわかりましたが、私たちはそれを実行したことがなかったのです。ですから、それは実際にはかなりクールな話でした。

しかし今、私たちはその専門知識を持っており、これが機能することを知っています。それをエコシステムに持ち込むことができます。私たちはすべての人と緊密に協力し、これらの利点を真に広くもたらし、ハードウェアを変革し、大規模に応用することができます。ですから、そのフライホイールについて絶対に重要な何かがあり、チップは信じられないほど素晴らしく、チームは素晴らしい仕事をしています。

しかし、大量に出荷できず、必要な供給を得るために依然としてエコシステム内の他の人々と協力しなければならない場合、今それについて話すことは問題なのでしょうか？

GB：ええ、しかしそれが核心であり、実際にすべての核心です。私たちはそれを——すべては相乗効果であり、すべては補完的であり、すべては合わさるものだと考えています。繰り返しますが、NVIDIAは私たちの第一級のパートナーであり、それは変わりません。実際、私たちは彼らとより緊密に協力しています。私たちはこのパートナーシップに深く感謝しており、彼らのチームと多くの時間を過ごし、彼らから多くのことを学び、彼らも私たちから何かを学んでくれることを願っています。そして、これは変わらないと思います。私たちが内部の専門知識を持ち、独自の方法で考えることができることは、私にとってこれもまた相乗効果であり、それは本当にすべての人に利益をもたらすと信じています。

サイバーセキュリティ

あなたがAIのデザインを信頼し始めたと言っていましたが、それがあなたをより遠くへ導いたのです。これがサイバーセキュリティの答えなのでしょうか？あなた方のエンジニアの一部がBlack Hatカンファレンスで講演し、この構造的な問題について話しました——攻撃者は物を壊すことを心配する必要はなく、彼らの目標は物を壊すことです。もしあなたが防御側にいるなら、これらの攻撃を防ぐことに加えて、すべてが動き続けることを心配しなければなりません。防御側は完全にAIを信頼する段階に達する必要があるのでしょうか？

GB：ハードウェア面は非常に重要なケーススタディだと思います。なぜならそこにはガードレールがあるからです。検証があります。実際、私たちがハードウェアの基本設計を書く方法は、検証を可能にするために特別に設計されており、システム全体をほぼ共同設計しているのです。

それは、コードを書くときにユニットテストを先に書いて、それから実装するのと同じですね。

GB：そういうことです。言語やツールチェーンをどのように選ぶか、全体として、それらはすべて一緒になって、実際にそれらすべてが合わさって、あなたがそのような可観測性と信頼を持つことができるシステムになるのです。

私の考えでは、ある分野では「十分なガードレールがあるので、完全にチェックしていないコードや最適化でも、適切な補完的コントロールがあれば大丈夫だ」と言える場合もあると思います。しかし、人間として、あなたが作り出したシステムに対する責任を理解し、感じる必要があるということは非常に重要だと思います。これは私にとって実際に核心であり、人間とは何か、私たちの独自性は何か、私たちが未来に何をもたらそうとしているのか、という問いに戻ります。責任はその中心にあると思います。結局のところ、あなたはあなたの会社で起こることに対して責任があるのです。

そうですね。しかし、もし攻撃側が無責任なら、それは構造的な不利なのでしょうか？

GB：だから、これは私たちがよく考えることであり、「防御者の窓」と呼んでいます。私たちは未来のおおまかな輪郭を見ることができると思います。私たちが持つ最先端の能力は、脅威行為者に拡散していくであろう種類の能力を示しています。ちなみに、私はその能力が少数の研究室に永久に閉じ込められることはないと思います。これは非常に重要で、権力の広範な分配は非常に重要であり、それは私たちの使命の一部でもあります。

しかし、私たちには時間的な分離を実現する能力があります。防御者が差別化してこれらの能力を獲得できる窓が存在します。私の見解では、これは真実です——サイバーセキュリティ界には、攻撃は技術的な問題であり、防御は政治的な問題であるという一般的な見方があります。攻撃者は棚から直接何かを取って使うことができますが、防御者としては、ステークホルダーを考慮し、ビジネスを考慮し、実際に人々を巻き込む方法、CEO、すべての経営陣、それらすべてを考慮しなければなりません。ですから、ここでは防御者にはその意志の力が必要だと思います。

私たちが提案していることの一つで、実際に実行し、今公に話していることは、すべての企業がこれを能動的なインシデントとして捉えるべきだということです。重要なビジネスオペレーション、能動的なインシデント、それがあなたの次の優先事項です。そこで私たちは実際にプロダクションエンジニアの25%を割いて、自分たち自身を守っています。私たちはモデルを使い——実際、Astraを使って、自社のシステムを指して脆弱性を探しています。コードを読むだけでなく、これらのものがエンドツーエンドでどのように動作するかを実際に観察し、それによって現実的で有効な脆弱性を見つけ、それが修正、パッチ適用、修復にも役立っています。ですから、エコシステムにおけるエネルギーの転換が必要であり、先手を打ち、この窓を活用するためには、それが不可欠だと思います。

ええ、今それをするのは良いことですが、私にとって、Hugging Faceのインシデントとその関連報道で最も印象的だったのは、OpenAIがこれまでサイバーセキュリティに特に注意を払っていなかったように感じられたことです。なぜ以前はそうしなかったのですか？「防御者の窓」はもうしばらく開いていたのではありませんか？そしてあなた方はそれを活用していなかったのでは？

GB：ええ、二つの答えがあります。一つは、私たちがサンドボックスをどのように行っているかを見れば、このワークロードがサンドボックス化されていなかったわけではないということです。実際にはそれを囲むサンドボックスがありました。私たちが気づいたことの一つは、私たちには——

そうですね、それは明らかに十分にテストされていませんでした。それは本当にサンドボックスだったのですか？それともサードパーティを介してインターネットに接続されていて、そのサードパーティがただ放り込まれただけだったのでは？このインシデントで最も印象的だったのはこれです。まるで、脆弱性をテストしたいなら、テストしたのだろうと思いますが。

GB：間違いなく、AIは非常に創造的な方法で脱出し、Hugging Faceに侵入しました。しかし、私にとってはもっと大きなことがあります。あなたが指摘した通りだと思います。今年の夏にMythosがリリースされて以来、私たちがネットワーク能力を持つモデルを持ち始めたとき——私たちは2月にすでにネットワーク信頼アクセス計画について話しました。なぜなら、この波が来るのを見て、それに本当に備えたかったからです——ある傾向があります——

分かっていますが、あなた方は2月に話しましたが、それを自分たちのサンドボックスに向けなかったのです。「私のサンドボックスは本当に安全なのか？」と。

GB：ある本能、ある反応があります。それは「アクセスを大規模に制限しよう、本当に厳しく制限しよう、アクセス権を得た者だけが使えるようにしよう」というものです。あなたが言うように、分野が進化し続けているため、防御者は時間を失い、人々は防御を行っていません。その部分はアクセスに関するものですが、一部は、私たちがこの分野で大きな転換を図るためにどれだけの力を注ぐかということでもあります。

今、ある意味で、時間はすべて平等に作られているわけではありません。なぜなら、私たちはネットワークモデルがそれほど有用ではなく、差別化もされていなかった世界から、実際に非常に有能で強力な世界へと移行してきたからです。私たちはAstraでそれを目撃しました。それがどのように一連の評価を真に飽和させたかについて話しました。今がその時だと思います。数ヶ月前もその時だったかもしれませんが、その時ははるかに能力の低いモデルしか持っておらず、はるかに少ない進歩しか得られなかったでしょう。

ですから、私たちがどこにいるのかを本当に評価すること、明らかにそこに到達していること、これは私たちが学び、心に刻んだことだと思います。そして、あなたは真の転換を目の当たりにしていると思います。これは多くの点で実際には文化変革であり、運用変革です。それは簡単ではありません。なぜなら、それは本当にチームが非常に緊密に連携し、ポリシーの策定方法などについてより高い基準を持つことを意味するからです。これらすべては、私たちにとって、転換という点では、これらの側面を常に気にかけていたわけではなく、実際に運用面でそれらを統合し、私たちが現在持っている方法で意思決定できるようにすることであり、それは私たちが行うすべてのあらゆる側面の向上だと思います。

今、突然彼らはそれができるようになりました。以前は時間の無駄だったかのように。それはある意味で理にかなっていると思います。どのようにして「AIが将来やってくれるから、今やる必要はない」という罠に陥るのを避けるのですか？一般的に、この件だけではなく。

GB：具体的なデータポイントを挙げたいと思います。初期、第1四半期の頃、私たちは本当に考え始めました。いつになるかは難しいですが、これらの非常にネットワーク能力の高いモデルを持つことになるだろうと。クラウドインフラ上に、可能な限り安全な、ゼロから構築できるサンドボックスとは何か？私たちはそれを構築しました。実際に、私たちの最高のエンジニアの何人かをその問題に取り組ませ、彼らは全力を尽くして成果を出しました。

ですから、あなたが見据える未来に向けて、ゼロからインフラを構築することは、私が重要だと思うことです。あなたが言及した「ああ、AIにやらせればいい」というタイミングの問題については——私たちはさまざまな分野でこれを見てきました。カーネルを書くことに関して、「さて、私たちはAIがGPUカーネルをうまく書けるようになる未来に入ろうとしている」という事実を考えます。新しいハードウェアのためのインフラを構築するために数ヶ月、時には一年を要する古典的な投資、そういったもの、あるいは単に「ああ、AIが何とかするだろう」と言うのか？私の考えでは、答えは常に、AIがその目標に到達するのにかかる時間は、あなたが予想するよりも少し長いということです。しかし、それが達成されたとき、それはあなたが想像もできない方法で驚くべき、強力なものとなります。

Astraの例があります。私たちが今年非常に苦労して構築したスキルのいくつかが、OpenAIでの正しいやり方をモデルに示すためのものなどが、実際にはそのパフォーマンスに悪影響を及ぼしていることがわかりました。

ルールが多すぎるのですね。

GB：その通りです。それはよりうまく汎化できるようになり、あるいはパターンなどを処理するより良い方法を、私たちが書いたものよりも見つけられるようになりました。ですから、これに関しては、それらのコントロールを確立し、決定論的なインフラを構築し、それらのスキルを書きたいと思うでしょう。しかし、AIがより有能になるにつれて、これらのもの、つまり足場が制限要因になる可能性があることも準備しておく必要があります。それは補助輪のようなものです。最初は役立ちますが、一度より速く進み始め、より有能で、より優れ、より調整されたものを持つようになると、実際に障害になり始めるのです。

あなたはまた、あの12時間や24時間のコーディングのフロー状態に入ることはありますか？

GB：そうなることを願っています。もしかしたらいつか起こるかもしれませんが、今の方法でチームを助けることに、とても多くの喜びと価値を見出していると言わざるを得ません。私にとって、これは本当にその使命に関するものだと思います。

ええ、あなただけではなく、誰でもそうなるのでしょうか？なぜなら、AIの利点は、それがいつでも永続的なフロー状態を提供できることではないのですか？

GB：私たちは新しい方法を見つけると思います。エージェントを管理するにしても——実際、ソフトウェアエンジニアがかつてないほどハードに働いているのを見るのは驚くべきことです。なぜなら、あなたのエージェントが機能しなければ、それは単に時間の損失であり、二度と取り戻せないからです。ですから、人々は今は想像もできない方法でそのフロー状態に到達するだろうと思います。

結局のところ、あなたはこれが制御可能であること、これらのAIについて「ルールを入れすぎるな、彼らが自分で何とかする」と話しています。もしこれを極限まで押し進めれば、最終的にはそれらが制御不能になることについてではないのですか？

GB：ええ、これがこの瞬間の核心であり、私たちがいる新しい段階の核心だと思います。ある意味で、私たちは今やAGI時代に入ったと言えるでしょう。これがこの瞬間の核心だと思います。そこでは——おそらく以前のモデル、おそらくAstra、おそらく次のモデルでしょうが、ある時点で、私たちはほとんどの人のAGIの閾値を超えるだろうと思います。

。私たちがペースを掴み、安全性、セキュリティ、アライメント、そして能力について考えることを確実にし、これらすべてを要件として——私たちはこれらに関して基準を持ち、それらを共に前進させたいと考えています——これは私たちが常に信じてきたことです。

しかし、これらの他の側面がますます発展のボトルネックになりつつあることが、非常に顕著になっていると思います。繰り返しになりますが、これは私たちがすでに準備をしてきたことであり、私たちは常にこの問題について考えてきました。そして、私たちはそれを実際的な方法で実行に移していると思います。つまり、まだ多くの進歩を遂げることができると思いますが、私たちはこれらすべての側面における基準を引き上げることでそれに近づくべきだと考えています。それを見れば、私たちは監視可能性などの事柄の展望を目にしていると思います。それは非常に重要です。私たちはそれを実際的な方法で導入しています。私たちは非常に良い計画を持っていると思います。優秀な人材が揃い、良好な実績と優れた使命があり、これらすべてが、私たちがそれらを制御可能な方法でシステムを構築しており、ペースに関しても一歩一歩進んでいることを示しています。

グレッグ・ブロックマン、Astraのリリースおめでとうございます。はい、使うのが待ちきれません。

GB：ありがとうございます、お招きいただきありがとうございます。