PANews 10月11日付の報道によると、マイクロソフトCEOのサティア・ナデラ氏は、超知能（Super Intelligence）システムの能力が急速に向上する中、業界はAIの信頼アーキテクチャを再構築する必要があり、AIの実行行為に伴う責任をモデル提供者に負わせることはできないと発信した。

過去数十年にわたり従来型ソフトウェアシステムが広く展開された際、人々はプログラムの挙動に対応する具体的なコード経路を追跡できた。しかし現在の最先端AIモデルは、能力では従来型ソフトウェアシステムを上回るものの、モデルの出力を特定の学習データやモデル重みの設定に明確に帰属させることができない。現在、企業は複雑なAIエージェントに機密データへアクセスさせ、重要タスクを実行する能力を付与している。そのため、超知能システムを理解不能な「入れ子状のブラックボックス」とみなし、その提案を単純に受け入れたり拒否したりするだけでは不十分であり、挙動を観察し、境界をテストし、いつでも行動を制限できる制御可能なシステムを構築する必要がある。

ガバナンス原則の面では、ナデラ氏は超知能システムに以下が必要だと提起した。

- モデルの多様性：単一モデルが重要意思決定の唯一の依存先となることを避ける。

- 全面的な可観測性：すべての重要なAI挙動は、改ざん不能かつ人間が読める記録を残すべきである。

- 継続的な検証能力：故障、攻撃、異常事態に直面した際のシステムの挙動を継続的にテストする。

- 独立した統制と監査：モデルはシステムの挙動の統制と、自らの挙動を検証する証拠を同時に掌握すべきではない。

- リスク隔離メカニズム：モデルが機能しなくなる可能性をデフォルトで想定し、いつでも一時停止またはシャットダウンできる能力を提供する。

- インシデント開示メカニズム：故障やセキュリティインシデントが発生した際、原因と改善策を速やかに開示する。

ナデラ氏はさらに、思考連鎖（CoT）の透明性はAIガバナンスの重要な基盤であるが、CoTの透明性だけでは不十分だと強調した。なぜなら現時点では、モデルの出力が常に信頼できる説明可能性を備えていることを保証できないからだ。将来最も信頼に値する超知能システムとは、「最も信頼に値するモデル」ではなく、モデルを完全に信頼できなくてもなお安全に稼働できるシステムである。