작성: Hugo, Robonaissance
편역: 深潮 TechFlow
深潮 서문: 초기 Atari 게임 에이전트부터 수백만 컨텍스트 윈도우를 갖춘 대규모 언어 모델에 이르기까지, 인공지능은 시간을 넘나들며 연속적으로 의사결정을 내릴 때 언제나 근본적인 물리적 모순에 직면한다. 모델은 인류가 이미 축적한 방대한 정적 지식을 손쉽게 담아내지만, 동적인 상호작용 환경에서는 과거의 모든 세부 사항을 손실 없이 몸에 지니고 다닐 수 없다.
한정된 연산 능력과 컨텍스트 윈도우라는 강한 제약 아래, 과거를 압축하면서 미래를 결정짓는 핵심 상태를 정확히 추출해내는 일은 '지각적 혼동'을 해결하는 기술적 돌파구일 뿐 아니라, 오늘날 자율 에이전트가 진정한 지속적 기억으로 나아가기 위한 근본 원리이기도 하다.
정지 화면 속 상태 역설
이 글은 《기계 속의 기억, 망각, 그리고 자아》 시리즈 제3편이다. 에이전트가 과거 전체를 휴대할 수 없을 때, 지능은 어떻게 시간을 건너뛰며 행동을 전개하는가.
고전적인 Pong 탁구 게임을 어느 한 프레임에서 멈춰 보자.
화면에는 라켓 두 개와 공 하나, 그리고 현재의 스코어만 있을 뿐이다. 이때 공이 어디로 날아가고 있는지 말해보라고 한다면, 당신은 절대 해낼 수 없다. 같은 정지 화면을 기계에게 보여줘도 기계 역시 판단하지 못한다.
학자 Matthew Hausknecht와 Peter Stone은 2015년 Atari 게임 학습 에이전트에 관한 논문에서 단도직입적으로 지적했다. "현재의 단일 프레임 화면은 라켓과 공의 위치만 드러낼 뿐, 공의 속도는 드러내지 못한다."
그들은 이어서 이것이 왜 결정적인지 설명했다. "공의 이동 방향을 아는 것은 라켓의 최적 위치를 결정하는 핵심 요소다."
이 정지 화면은 정확하다. 화면의 모든 세부 사항이 있어야 할 자리에 있다. 그러나 이 단일 프레임만으로는 이 게임을 하기에 여전히 부족하다.
센서가 지금 이 순간 포착한 것은 오직 한 번의 '관측값(Observation)'일 뿐이다.
반면 에이전트의 다음 행동이 의존하는 진짜 전체 상황은 '시스템 상태(State)'다.
Pong 게임에서 관측값과 시스템 상태는 단일 프레임 조각마다 서로 분리되어 있다. 공의 이동 방향은 지난 몇 순간에 관한 사실이며, 어떤 고립된 순간도 그것을 단독으로 담을 수 없기 때문이다.
눈앞의 즉각적인 입력만으로 의사결정을 내릴 수 없을 때, 잘 작동하는 시스템은 반드시 자신의 과거로부터 현재로 어떤 정보를 실어 와야 한다.
그러나 그것이 실어 오는 것은 결코 완전한 과거일 수 없다. 그것이 실어 오는 것은 하나의 요약이며, 이 요약에서 무엇을 남기고 버릴지는 전적으로 다음 단계에 무엇을 예측해야 하는지에 달려 있다.
이 취사선택이 이후 시점이 어떤 정보적 기반을 갖는지를 결정한다. 요약에서 빠진 세부 사항은 이후 시점에서 그것을 근거로 반응할 수 없게 된다.
4프레임 깊이의 기억 절충
Hausknecht와 Stone이 당시 대응한 시스템은 바로 DeepMind의 Volodymyr Mnih 등이 2015년 Nature지에 발표한 DQN 에이전트였다.
DQN은 순전히 화면 영상만으로 수십 종의 Atari 게임을 배울 수 있었지만, 논문 저자들은 개발 초기부터 정지 화면의 딜레마에 부딪혔다.
그들은 논문의 방법 부분에 이렇게 썼다. "에이전트가 현재 화면만 관측할 수 있으므로 이 과제는 부분 관측 가능 상태에 속하며, 많은 시뮬레이터 상태가 지각적으로 혼동된다(Perceptually Aliased)."
다시 말해, 현재의 화면 영상만으로는 에이전트에게 완전한 상황을 알려줄 수 없다.
이른바 '지각적 혼동'은 일상의 곤란을 정확히 옮긴 학술적 표현이다. 두 개의 전혀 다른 상황(예컨대 공이 당신의 라켓 쪽으로 날아오는 경우, 또는 공이 당신의 라켓에서 멀어지는 경우)은 정지 화면에서 완전히 동일한 이미지를 만들어낸다.
이미지만 보는 시스템은 어쩔 수 없이 두 상황을 같은 상황으로 취급한다. 만약 이 두 상황이 완전히 반대되는 조작을 요구한다면, 시스템은 반드시 둘 중 하나의 경우에 오류를 범하게 된다.
그들의 해결책은 매우 직접적이었다. 네트워크가 더 이상 화면 한 장만 받지 않고, 최근의 여러 프레임을 겹쳐 놓은 것을 입력으로 받도록 한 것이다.
기본 설정에서 그 값은 4프레임이며, 이 알고리즘은 3프레임이나 5프레임에도 마찬가지로 적응한다.
네 개의 프레임을 나란히 놓으면 공의 움직임이 곧바로 위치의 변화로 드러난다. 운동 방향은 더 이상 추상적 기억이 필요한 개념이 아니라, 직접 눈으로 볼 수 있는 시각적 속성이 된다.
논문은 이 겹쳐 놓은 화면 묶음을 기억이라고 부르지 않았다. 그것은 본질적으로 단일 시점보다 조금 더 넓은 입력 채널일 뿐이다.
지각적 혼동과 물리적 한계
이 입력 폭에는 극히 견고한 물리적 경계가 있으며, Hausknecht와 Stone은 이 경계가 어디에 있는지 정확히 서술했다.
그들은 이렇게 썼다. DQN은 에이전트가 최근 경험한 네 개의 상태로 구성된 입력으로 훈련되기 때문에, "어떤 게임이 플레이어에게 과거 네 화면보다 더 오래된 사건을 기억할 것을 요구한다면, DQN은 그 게임을 익힐 수 없다."
DQN에게 있어 뒤에서 다섯 번째 화면 이전의 역사는 애초에 그 입력 범위 안에 존재하지 않는다.
이 고정 슬라이딩 윈도우 기반 메커니즘은 기계 지능이 시계열 처리에서 지니는 핵심 모순을 그대로 드러낸다. 윈도우를 아무리 넓혀도 경계 밖의 정보는 물리적으로 지워진다.
