著者：Hugo、Robonaissance
編訳：深潮 TechFlow
**深潮导读（まえがき）：**初期のAtariゲームエージェントから、数百万規模のコンテキストウィンドウを持つ大規模言語モデルに至るまで、人工知能が時間をまたいで連続的な意思決定を行う際には、常に根本的な物理的矛盾がつきまとう。モデルは人類が既に持つ膨大な静的知識をいとも簡単に収められるのに、動的なインタラクション環境では、過去のあらゆる細部を損失なく持ち歩くことはできない。
限られた計算資源とコンテキストウィンドウという厳しい制約の下で、過去を圧縮しつつ、未来を決める核心的な状態を正確に抽出する方法は、「知覚的エイリアシング」を解決する技術的な突破口であるだけでなく、今日の自律エージェントが真の持続的記憶へと向かうための根底にある論理でもある。
静止フレーム下の状態パラドックス
これは『機械の中の記憶、忘却、自己』シリーズの第3回である。エージェントが過去のすべてを持ち歩けないとき、知能はいったいどのように時間を越えて行動するのか。
古典的なPongのボールゲームを、任意の1フレームで止めてみよう。
画面には2本のパドル、1個のボール、そしてその時点のスコアしかない。ここでボールがどちらへ飛んでいるのかを答えろと言われても、到底答えられない。同じ静止画を機械に見せても、機械にも判断できない。
研究者のMatthew HausknechtとPeter Stoneは、2015年のAtariゲーム学習エージェントに関する論文で、率直にこう指摘している。「現在の単一フレームの画面から分かるのはパドルとボールの位置だけで、ボールの速度は分からない」。
彼らは続けて、なぜこれが決定的に重要かを説明する。「ボールの移動方向を知ることは、パドルを最適な位置に置くための鍵となる要素だ」。
この静止フレームは正確であり、画面のあらゆる細部が本来あるべき位置に収まっている。しかし、この単一フレームだけでは、依然としてこのゲームを行うには足りない。
センサーが現在のこの瞬間に捉えるのは、あくまで一度の「観測値（Observation）」にすぎない。
一方、エージェントの次の行動が依拠する真の全体像は、「システム状態（State）」である。
Pongでは、観測値とシステム状態は単一フレームの切片ごとに互いに切り離されている。ボールの移動方向は過去数瞬に関する事実であり、孤立したどの瞬間も単独ではそれを含み得ないからだ。
目の前の即時入力だけでは意思決定を満たせないとき、良好に機能するシステムは、自らの過去から現在へ何らかの情報を運ばなければならない。
しかし、運べるのは決して過去の全体ではない。運ばれるのは一つの要約であり、その要約に何を残し何を捨てるかは、次に何を予測する必要があるかによって完全に決まる。
この取捨選択が、以降の時点がどのような情報基盤を持つかを決める。要約から漏れた細部については、以降の時点がそれを基に反応することは永遠にできない。
4フレーム分の記憶のトレードオフ
HausknechtとStoneが当時応答の対象としたシステムこそ、DeepMindのVolodymyr Mnihらが2015年に『Nature』誌で発表したDQNエージェントである。
DQNは画面の映像だけから数十種類のAtariゲームをプレイできるようになったが、論文の著者たちは開発の初期段階ですでに静止フレームの問題に直面していた。
彼らは論文の手法の部分にこう書いている。「エージェントは現在の画面しか観測できないため、このタスクは部分的に観測可能な状態にあり、多くのエミュレータ状態は知覚的エイリアシング（Perceptually Aliased）を起こしている」。
言い換えれば、現在の画面映像だけでは、エージェントに完全な状況を伝えることは到底できない。
いわゆる「知覚的エイリアシング」とは、日常的な困りごとを的確に言い表した学術的な表現だ。二つのまったく異なる状況（たとえば、ボールが自分のパドルへ向かって飛んでくる場合と、自分のパドルから離れていく場合）は、静止画の中ではまったく同じ画像を生む。
画像だけを見るシステムは、両者を同じ状況として扱わざるを得ない。もしこの二つの状況で完全に逆の操作が必要なら、システムは必ずどちらか一方で誤る。
彼らの対処法は非常に直接的だった。ネットワークは1枚の画面フレームだけを受け取るのではなく、直近の数フレームの画面を重ね合わせて入力とする。
デフォルト設定では4フレームとされるが、このアルゴリズムは3フレームや5フレームにも同様に適応できる。
4フレームの画面を並べると、ボールの運動はそのまま位置の変化として現れる。移動方向はもはや抽象的な記憶を必要とする概念ではなく、直接見ることのできる視覚的属性になった。
論文はこの積み重ねた画面群を「記憶」とは呼んでいない。本質的には、単一の瞬間よりたまたま幅の広い入力チャネルにすぎない。
知覚的エイリアシングと強固な物理的境界
この入力の幅には極めて強固な物理的境界があり、HausknechtとStoneはその境界がどこにあるかを的確に描写している。
彼らはこう書いている。DQNはエージェントが最近経験した4つの状態からなる入力を用いて訓練されるため、「あるゲームが、過去4画面分よりさらに古い出来事を覚えておくことをプレイヤーに要求するなら、DQNはそのゲームを習得できない」。
DQNにとって、直近から5番目に新しい画面より古い履歴は、そもそも入力範囲内に存在しない。
この固定スライディングウィンドウに基づく仕組みは、時系列処理における機械知能の中核的矛盾を直接明らかにする。ウィンドウをどれほど広げても、境界の外側の情報は物理的に消し去られるのだ。
