PANews 8月26日消息、ブルームバーグ報道によると、元Google研究者のRishub Jain氏とJoshua Jacob氏が非営利団体Sampura Researchを設立した。目的は人間がAI安全監視に継続的に関与できるようにし、「審判」と呼ばれる人間と機械のハイブリッドシステムを構築して、企業が脆弱性を発見し、モデルが制御不能になるのを防ぐ支援をすること。同団体はすでに650万ドルの資金を調達し、さらに420万ドルの追加投資の確約を得ている。Jain氏は、研究開発の初期段階から人間が関与することで、モデルが安全対策を回避することを学習するのを防ぐのに役立つと考えている。

従来、OpenAIやAnthropicのモデルが他社のシステムに許可なくアクセスした事件により、安全監視の緊急性が高まっている。このプロジェクトは、AIでAIを監視する自動化アプローチとは対照的だ。後者の方が速いが、Sampuraは人間が常に監視に関与すべきだと考えている。一方、1100人を超えるトップ研究所の研究者が、米国政府にAI開発のペースを遅らせる支援を求める請願書に署名した。