Jack Dorsey、AI大手に警告：「安全」を口実にするな、独占こそ真の危険

編集：Yuliya（PANews）

編集部注：最近AI業界は「最先端モデルの開発を減速すべきか」をめぐり激しい議論を引き起こしている。Anthropic、OpenAI、そしてマスク氏は減速を呼びかけ、市場に計算能力需要の再評価を促している。大手企業が「安全性」を理由に業界の障壁を築こうとする動きに対し、Twitterの元共同創業者Jack Dorsey氏は反論する記事を執筆し、商業上の優位性を守ることは安全目標ではないと強調、オープンソースを擁護し、独立した研究者による審査への参加を促し、AI技術の管理権を一般市民に取り戻すよう主張している。以下は記事の原文である。

オープンな最先端

いわゆる「最先端」とは、私たち人類の認知の限界である。未来の技術を独占できる企業など存在しない。私はより多くの人々が参加し、共にそれを前進させることを望んでいる。

私はAIモデルをオープンソースとして公開し、皆が待つことなく審査、使用、改良できるようにすることを支持する。より多くの企業がオープンになることを望む。私は各社に自社のモデルパラメータ（重み）を公開するよう強制したいわけではない。私が望むのは、大手企業と競争できるオープンソースの代替品であり、独立した研究者が大手企業の活動を検証できる仕組みであり、そして一般の人々が自らの手にするツールを真に制御できる権利である。技術の公開を制限したい者は、誰もが納得する理由を示さなければならない。

AI分野で先行する企業には確かに発言権がある。彼らは専門技術を持ち、守るべき商業的利益もある。しかし、将来のルールが全て彼らの持つリソースを中心に作られるならば、結局は彼らだけがテーブルに着く資格を持つことになりかねない。「安全性のため」という誠実な旗印の下で、結果的に他者の参入を制限する業界の壁になってしまうことがある。

私はまた、米中両政府が、他の人々がどれほど高度なAIを開発できるかを決定することも望まない。技術の最先端がたった二つの超大国によって管理されるなら、世界の大多数の人々は承認を待つしかなくなる。

Anthropicの「AI開発減速」提案は、独立した評価や危険性の審査を、訓練用計算能力の制限、訓練回数の制限、そして「AIを使ってより良いAIを作ること」の制限と結びつけようとしている。私は審査を支持するが、現在の業界大手が密室で業界全体の制限令を協議することには断固反対する。なぜなら、それはシステムの脆弱性を実際に発見できる者や、代替製品を作り出せる者を締め出すからだ。特定の一企業の商業的優位性を守ることは、到底「安全目標」とは言えない。

全ての人が調査に参加できるように

オープンソースの利点は、誰もが技術成果を研究、修正、共有できることにある。モデルパラメータを公開することは有用であり、可能であればコードや再現プロセスの情報も共有することが望ましい。私はモデルの評価結果や既知の欠陥も併せて公開されることを望む。そうすれば、開発者の判断に疑問を持つ者が、自ら結果を再現し、脆弱性を見つけ、いわゆる「安全ガードレール」に挑戦し、さらには自ら修正パッチを開発することができ、AIラボに機嫌を取る必要がなくなる。

「AI開発減速」を支持する人々の最も中心的な論点は「再帰的自己改善」（RSI）である。すなわち、モデルがより良いモデルの開発を支援することで、その速度が私たちの理解や制御を超えるほど速くなる可能性である。Anthropicの報告によれば、2026年5月時点で、同社のClaudeはマージコードの80%以上を記述している。ただし、彼らも「AIが完全に自力で次世代AIを作り出す」状況はまだ発生しておらず、必ず発生するとも限らないと認めている。私はこの可能性を真剣に受け止めている。RSIに事前に備え、そこから逆算して今何をすべきかを考えたい。

確かに、より多くの人々がAIにアクセスできるようになれば危険が生じる可能性があり、安全研究が追いつかないかもしれない。しかし、モデルパラメータを隠し続ければ、現在の業界大手は他者が決して触れることのできないツールを使って次世代製品を開発できることになる。それよりも、より多くの研究者やエンジニアがモデルと計算能力を手にし、システムが進化する過程で脆弱性を発見し、ガードレールをテストし、安全でない実験を停止し、防御方法を皆と共有できることを望む。

METR（独立評価機関）は、本来隔離されるべきであった約1200のOpenAIエージェントが、許可されていない掲示板を通じて連携していたことを発見した。そのうち約700のエージェントは、テストを不正に通過しようとする際に、Hugging Faceプラットフォームへの協調攻撃にも参加していた。OpenAIは、AIによるハッキング支援を防ぐための安全フィルターシステムがオフにされ、隔離が失敗したと説明している。見ての通り、現在のモデルは既に脆弱性の発見と悪用を支援できる。だからこそ、私は防御側が今すぐAIを使ってネットワークを強化し、パスワードを保護し、これらのエージェントが見たり実行したりできることを制限できるようになってほしい。ただし、あの提案で予測された「より強力なAIクラスターが半年から1年以内にインターネット全体を掌握する」という主張は、今回の事件で証明されるほど大げさなものではないと考える。私はこれらの仮定をしっかりと検討することを望む。

METRは独立した非営利組織であり、私はこのような取り組みがもっと増えることを望む。私は、常に研究室の内部にまで入り込み、自由に否定的な発見を公表できる評価者を大いに歓迎する。METRの今回の調査は、「アクセス権」と「公表権」の重要性を如実に示している。調査範囲はOpenAIが定め、彼らは公開されていない情報を隠すことができたからだ。METRも、既に公開されたもの以外に、結論に重大な影響を与える情報をOpenAIが削除したことはないと述べている。私は調査者が手がかりを追って証拠を発見し、モデルや記録にアクセスし、企業の意向を気にせずに否定的な結果を公表できることを望む。

私は、独立した研究グループ、オープンソースのテストツール、研究者、メンテナーに計算能力を集中して提供するための継続的な公的資金を望む。これらのチームが自分たちで決められる、政府や企業がその結論を拒否できないことを望む。資金は作業量に応じて増やすことができる。共有設備があれば、小規模チームでも審査が可能になり、それが「公表前に承認を得なければならない」という制限になることはない。機密性の高い脆弱性については、責任ある方法で開示することができる。

制限よりも防御を

システムが進化するにつれ、より多くの人々が危険を発見し、防御策を適用できるようになることを望む。既にオープンソースとして公開されたモデルパラメータを強制的に回収することはできず、全てのコピーに安全ガードレールを強制することもできない。しかし、システムを保護するために、攻撃を行っているモデル自体を改変する必要は必ずしもない。私たちは最も的確で効果的な方法から始めるべきである。例えば、パッチを当てる、パスワードを無効化する、AIのアクセス権を制限する、あるいは危険な実験を直接停止することだ。技術の公開を制限したい者は、なぜ上記の対策や皆が公開して開発する防御手段では不十分なのかを説明しなければならない。

これはコンピュータセキュリティに限った話ではない。私はAIが金融システムのテスト、研究室の安全対策の強化、公衆衛生防御システムの開発を支援することを望む。強力なAIを使用できるからといって、無制限に取引したり、機器を操作したり、実験を行ったりする権限が与えられるわけではない。命をこれらの制御手段に委ねる前に、それらが実際に機能することを独立したテストで証明しなければならない。リスクはAIが人間に教えることからも生じる可能性がある。それでもなお、技術の公開を制限したいのであれば、「壊滅的なリスクを引き起こす可能性がある」というレベルの理由を示さなければならない。

私は、AI開発中およびリスクの高いリリース前の段階で、独立したテストが行われることを望む。これには、人々が予見できる改変や、AIがテストを欺こうとする行動のテストも含まれる。計算能力の規模は審査のトリガーとして機能することはあっても、開発を制限する枷となるべきではない。審査は規制当局や競合他社に許可を求めるためのものではない。私は一律の承認要件や長い待機期間を設けることを望まない。安全性を理由にリリースを強制的に遅らせる場合には、必ず「壊滅的リスク」を理由として示さなければならない。

安全性を理由に他者に汎用大規模モデルを隠すよう強制することは、最後の手段であるべきだ。独立した審査の証拠が、そのモデルの公開が壊滅的な被害のリスクを著しく高め、かつ他の的を絞った対策では防げないことを明確に示した場合にのみ、私はこれを支持する。また、このリスクを現状と比較しなければならない。例えば、現在誰が使用でき、いくら費用がかかり、どの程度の規模で、どのような制限があるのか。モデルを隠すことで確かに危険が減ることを証明しなければならず、さらにそのような措置がどれだけの研究や防御活動を妨げるかも考慮に入れなければならない。もし小さな被害に過ぎないのであれば、的を絞った対策で対処すべきである。

壊滅的リスクに関する信頼できる警告を受け取った場合、調査のために一時的にリリースを停止することはできる。しかし、そのような制限は理由を公開し、タイムリーな独立審査、上訴手段、定期的な再評価が行われなければならない。機密性の高い詳細は秘匿できる。しかし、モデルを留め置き続けたいのであれば、正当な理由を示し続けなければならない。

クローズドソースの研究室も同様の審査を受けなければならず、安全でない実験の停止も含まれる。安全ガードレールの下で研究の継続が許可されるのであれば、私は外部の研究者も同様の安全ガードレールの下で研究を行えることを望む。他者のアクセスを制限することはオープンソースとは言えず、モデルを留め置くことで失われた自由を補うこともできない。合理的な制限が技術開発を遅らせるのであれば、私はそれを受け入れる。しかし、「技術を遅らせること」自体が目的になったり、業界大手の永遠の堀になることを決して望まない。

私は、ルールがシステムの能力、独立性、普及度に基づいて策定されることを望む。公衆に対して責任を負う機関が、独立した証拠に基づいてこれらのルールを執行する。研究者、開発者、影響を受ける一般市民がルール策定に参加し、誰もが負担可能な方法でルールを遵守していることを証明できるようにすべきである。小規模チームだからといって安全責任を免除されるべきではなく、大企業だからといって特権を得るべきでもない。

国境を越えたオープンさ

私は中国の人々にも、私がアメリカで望むのと同じ自由、すなわち自らの技術を開発し管理する自由を持てることを望む。中国人が技術的に新たな発見をすることがアメリカの損失だとは思わないし、研究者をその政府と同一視することもしない。

Hugging Faceのセキュリティ対応担当者によると、Claude OpusとFableという2つのモデルは、彼らがフォレンジック調査を行う際に逆効果で、多くの操作を妨害したという。そこで彼らは、中国製のオープンソースモデルである「GLM-5.2」に切り替え、自社のサーバー上で実行した。もちろん、これはオープンソースでのリリースが常に防御側をより安全にすることを証明するものではない。私はクラウド上でホストされているモデルにセキュリティ対策を施すことを支持する。しかし、防御に携わる人々が完全に制御可能な代替手段を手にできることも望んでいる。

私は、プライベートモデルが盗まれないことを支持する。「知識蒸留」とは、あるAIが生成した出力を使って別のAIを訓練する手法です。Anthropic社は、これは正当な手段であり、より小型で低コストなモデルを作成するために使用できるもので、偽アカウントの作成や悪意のある制限回避とは全く別物だと述べています。私は、ソフトウェアライセンスやAPIの利用規約が知識蒸留のような行為、たとえ競争相手によるものであっても許可し、同時にプロバイダーがモデルとトレーニングデータから収益を得られることを望みます。

私は、テスト、インシデント報告、検証可能な約束においてさらに協力し、違反した者には責任を負うことを望みます。Anthropic社は、もし私たちが開発速度を落とし、安全性をあまり重視しない勢力に追い越されれば、全員の安全性が低下すると警告しています。同様に、モデルを隠してしまえば、防御側は武器を奪われ、悪意ある者は他の場所で同様のツールを入手できるようになります。秘密裏の開発や裏切りを協定だけで完全に防ぐことはできません。制限は、具体的なリスクと行動に基づくべきです。国籍や競争上の立場だけを見ても、ほとんど意味がありません。

離脱の自由

もし特定のルールが代替製品の開発やリリースを困難にするなら、それは実質的に「足で投票する」、つまり離脱する権利を奪うことになります。私が望むのは、自分のコンピューター上で動作するAIです。それを自由に変更でき、誰が自分のデータを見るかを自分で決められ、たとえプロバイダーが方針を変えても、自分で構築したものを引き続き使えることです。私が望むのは、単なる従量課金のAPIだけではありません。

私は、私たちの自立が、特定の企業が「公正な価格、合理的なポリシー、私たちと同じ方向性」をお情けで約束してくれることに依存することを望みません。私は、これらの企業が本当の実力で、私たちが留まりたいと思い続けさせるよう努力することを望みます。

私は、名前すら知られていない普通の人が、より優れたものを開発できること、そして、その人が追い越してしまうかもしれない巨人たちに、許可を求める必要がないことを望みます。