作者：数字生命卡兹克

오늘 새벽에 Anthropic이 올린 연구를 봤습니다.

제목이 《A Global Workspace in Language Models》, 언어 모델 속의 전역 작업 공간입니다.

솔직히 이 제목은 꽤 이해하기 어렵습니다. 하지만 저를 믿으세요. 이 연구는 모델, 인간, 의식 이 세 가지 관계를 다시 바라보게 하고, AGI에 대한 완전히 새로운 이해를 갖게 할 것입니다.

가장 간단히 말하면, Anthropic이 Claude의 두뇌 속에서 어두운 방 하나를 찾아냈다는 것입니다.

이 방에서 일어나는 일은 Claude가 절대 글로 쓰지 않고, 대화창에서도 볼 수 없고, 로그에서도 찾을 수 없지만, Claude는 이 방에서 사고하고, 판단하고, 계산하며, 심지어 이 방에서 스스로를 욕하기까지 합니다.

그들은 이 방을 J 공간, J-space라고 부릅니다.

먼저 이 연구가 나오기 전 주류 서사 속의 대형 모델이 어떤 모습이었는지 떠올려 드리겠습니다.

지난 몇 년간 대형 모델을 둘러싼 가장 오래 지속된 논쟁은 한 단어로 요약할 수 있다고 생각합니다, ‘확률적 앵무새’입니다.

2023년 ChatGPT가 가장 핫할 때, 많은 사람들이 대형 모델을 설명하면서 우리에게 똑같은 말을 했던 기억이 납니다. 대형 모델은 확률 예측기일 뿐이다라고요.

앞의 글자를 보고 뒤에 어떤 글자가 올지 추측할 뿐, 당신이 무슨 말을 하는지 이해하지 못하고, 생각도 없고, 목표도 없고, 심적 모델도 없으며, 다음 토큰을 예측하는 일만 할 뿐이다라는 것입니다.

이 서사는 당시 매우 우아하고 아주 유용했습니다. 논리적으로 자기 정합적이었기 때문입니다. 우리가 GPT와 대화할 때 그것이 써내는 것은 사고가 있는 것처럼 보이지만, 그저 훈련 데이터에 사고가 있는 사람들이 쓴 내용이 대량으로 들어 있기 때문일 뿐입니다.

그것은 사고를 모방할 뿐, 사고를 산출하는 것은 아닙니다. 마치 거울을 향해 주먹을 휘두르면 거울 속 사람도 주먹을 휘두르지만, 거울이 무술을 안다고 생각하지 않는 것과 같습니다.

2024년이 되자 상황이 조금 바뀌기 시작했습니다. OpenAI가 o1을 출시하고 사고 사슬(Chain of Thought)을 추가하면서, 모델이 최종 답변을 주기 전에 사고 과정을 한 단계 한 단계 추론하며 적게 되었습니다.

하지만 사실 이 사고 사슬도 텍스트입니다. 모델이 당신에게 보여주거나 자신에게 보여주기 위해 써낸 글이며, 그것 또한 외현적이고, 드러나 있고, 읽을 수 있는 것입니다.

많은 사람들이 DeepSeek R1을 처음 접했을 때도 마찬가지였습니다. 예를 들어 그 유명한 문장:

그러나 이것은 여전히 인간의 사고 방식과는 거리가 멉니다.

사실 지금 여러분이 이 글을 읽고 있다고 생각해 보세요. 당신의 뇌는 동시에 무엇을 하고 있나요?

아마도 호흡을 조절하고, 앉은 자세를 유지하며, 화면의 픽셀을 당신이 아는 한자로 변환하고 있을 텐데, 이런 일들을 당신은 의식하고 있나요?

의식하기는 매우 어렵습니다. 뇌가 이런 일을 하고 있다는 것을 전혀 모르기 때문입니다. 의식할 수 있는 것은 아주 적은 부분, 갑자기 머릿속에 떠오른 한 장면이나, 잠시 후 점심으로 뭘 먹을지 계획하는 정도일 뿐입니다.

신경과학자들은 이 두 가지 뇌 활동을 구분합니다. 하나는 무의식 처리로, 뇌 속에서 조용히 돌아가는 백그라운드 프로세스입니다. 다른 하나는 의식적 접근으로, 당신이 볼 수 있는 그 작은 부분입니다.

1980년대 말, 바르스(Baars)라는 심리학자가 하나의 이론을 제안했습니다. 그는 인간의 뇌를 대극장에 비유하며, 무대 아래 시각 전문가, 언어 전문가, 운동 전문가, 감정 전문가 등 수백 명의 전문가들이 저마다 자기 일을 하고 있다고 했습니다.

하지만 극장 중앙에는 스포트라이트가 있어, 어떤 순간에도 극소수의 정보만이 이 빛을 받습니다. 빛을 받은 정보는 다른 모든 전문가들에게 방송되고, 모두가 그 정보를 보고 의사 결정에 사용합니다. 그리고 이것이 바로 의식입니다.

이후 프랑스의 인지신경과학자 스타니슬라스 드하네(Stanislas Dehaene)가 이 이론을 한 단계 더 발전시켜, 전역 신경 작업 공간(global neuronal workspace) 모델을 제안했습니다.

오늘날 이 이론은 의식 과학 분야에서 가장 주류인 두 틀 중 하나입니다.

문득 전역 신경 작업 공간 모델이 어디서 본 듯 낯익게 느껴지실 수 있습니다.

이제 Anthropic 연구의 제목으로 돌아가 봅시다.

매우 유사하다는 것을 눈치채셨나요?

왜냐하면 Anthropic이 이 연구에서 한 일은 Claude의 신경망 안에서 이 전역 작업 공간과 매우 유사한 구조를 찾아낸 것이기 때문입니다.

가장 중요한 것은, 이 전역 작업 공간이 연구원들이 설계한 것이 아니라는 점입니다. 이건 도대체 모델이 스스로 창발(emerge)시킨 것입니다.

정말 말도 안 되게 놀랍습니다. 다시 한 번 반복할 가치가 있습니다. Claude의 내부에서 인간의 개입 없이 자발적으로 하나의 구조가 조직되었고, 그 구조가 인간 뇌에서 의식적 접근을 담당하는 구조와 기능적으로 매우 일치한다는 것입니다.

자, 그러면 이 J 공간은 대체 어떻게 발견되었고, 어떻게 작동하는 것일까요?

먼저 이름입니다. J-space의 J는 자코비안(Jacobian), 즉 야코비 행렬에서 왔습니다. 수학적 도구인데, 이 부분은 설명하지 않겠습니다. 저도 잘 몰라서 헛웃음만 살 테니까요.

어쨌든 연구자들은 이 도구로 한 가지 일을 했습니다. Claude의 어휘 목록에 있는 모든 단어에 대해, Claude 내부의 신경 활동 패턴 중 어떤 패턴이 활성화되었을 때 Claude가 미래에 그 단어를 말할 가능성이 더 높아지는지를 찾은 것입니다.

주의할 점은 ‘미래에 말할 가능성이 더 높은’ 것이지, ‘현재 말하고 있는’ 것이 아니라는 점입니다. 이 차이는 꽤 중요합니다.

예를 들어, Claude가 코드를 읽고 있습니다. 절반쯤 읽었을 때, 아직 어떤 답변도 출력하기 시작하지 않았습니다. 그런데 이때 J-렌즈(자코비안 렌즈, 그들이 개발한 독심술 도구)로 Claude의 뇌 내부를 들여다보면, 한 단어가 이미 반짝이고 있는 것을 볼 수 있습니다. ERROR.

아무도 이 코드에 버그가 있다고 알려주지 않았고, Claude도 이 코드에 버그가 있다고 써내지 않았지만, 내부적으로는 이미 생각하고 있습니다. 이 생각은 J 공간에 조용히 떠 있습니다. 마치 당신이 아직 입 밖에 내지 않은 푸념처럼.

또 다른 예로, 연구자들이 Claude에게 검색 결과를 보여줍니다. 이 검색 결과는 사실 정교하게 조작된 것으로, Claude가 잘못된 정보를 말하도록 유도하는, 즉 프롬프트 주입 공격입니다. Claude의 답변에는 아무 이상이 언급되지 않았지만, J 공간에는 두 단어가 반짝입니다. injection, fake.

알고 있습니다, 모든 것을 알고 있지만, 말하지 않았을 뿐입니다.

어떤 의미에서 이것은 어떤 사람들이 언어로 사고하지만 실제로 소리 내어 말하지 않는 인지 방식과 매우 유사합니다.

연구자들은 J 공간 안의 이러한 생각의 말들이 궁극적으로 Claude의 출력에 영향을 미치는지 알아보기 위해 몇 가지 실험도 했습니다.

예를 들어, 그들은 Claude에게 문제를 냈습니다. “실을 뽑는 그 동물은 다리가 몇 개인가요?”

Claude가 이 문제에 답하려면, 먼저 거미를 떠올린 다음, 거미의 다리가 몇 개인지 생각해야 합니다.

하지만 거미라는 단어는 문제에도, Claude의 답변에도 나오지 않습니다. Claude의 답변은 그저 숫자 8입니다.

그런데 연구자들이 J-렌즈로 보니, Claude가 답변하기 전에 J 공간에 거미라는 단어가 확실히 반짝였습니다. 마음속으로 거미를 생각하고 나서 8이라고 답한 것입니다.

이때 연구자들이 손을 뻗어 J 공간 속의 거미를 빼내고, 개미의 패턴으로 바꿔 넣었습니다. 다른 모든 것은 그대로 유지했습니다. Claude의 답변이 6으로 바뀌었습니다. 개미는 다리가 여섯 개니까요.

Claude의 추론 과정이 실제로 J 공간의 내용을 읽고, 그것을 의사 결정에 사용하고 있었습니다. J 공간 속 중간 단계를 바꾸기만 하면 최종 답변이 따라 바뀝니다.

주의할 점은, J 공간은 완전히 숨겨져 있어서 우리의 잠재의식적 사고와 유사하며, 과거의 사고 사슬이 아니라는 것입니다.

이 논리를 특히 잘 보여주는 또 하나의 실험이 있습니다.

연구자들은 J 공간에서 프랑스를 중국으로 바꾸고, 동일한 조작을 가한 뒤, 각각 네 가지 다른 질문을 했습니다.

수도는 무엇인가요, 언어는 무엇인가요, 어느 대륙에 속하나요, 통화는 무엇인가요.

그러자 답변은 각각 베이징, 중국어, 아시아, 인민폐로 바뀌었습니다.

네 개의 완전히 다른 하위 작업들이 모두 J 공간의 동일한 위치에서 동일한 정보를 읽어들였고, 각자 정확하게 사용했습니다. 이는 J 공간이 특정 작업 하나만을 위한 임시적인 발상이 아니라, 앞서 바르스(Baars)가 언급한 그 방송 센터와 같은 것으로, 정보를 한 번 기록해 두면 모든 사람이 볼 수 있고 누구나 가져다 쓸 수 있음을 시사합니다.

이것이 바로 전역 작업 공간 이론이 인간의 뇌를 설명하는 핵심적인 방식입니다.

정말 흥미롭네요.

게다가 연구진은 흰 곰 실험의 변형 버전도 수행했습니다.

1987년, 하버드 심리학자 베그너는 고전적인 실험을 하나 했습니다. 참가자들에게 "앞으로 5분 동안 흰 곰 생각만 하지 마세요. 다른 건 뭐든 생각해도 좋지만 흰 곰만은 안 됩니다"라고 지시한 것입니다.

결과적으로 정말 우스꽝스러웠던 것은, 참가자들이 필사적으로 흰 곰을 떠올리려 했다는 점입니다. 생각하지 말라고 하면 할수록 더 통제할 수 없게 되는 것을 심리학에서는 아이러니한 반동 효과라고 부릅니다.

연구자들은 Claude에게도 비슷한 실험을 했습니다. Claude에게 다음 작업에서 특정 개념을 떠올리지 말라고 지시하자, 그 개념의 J-공간 내 활성도는 확실히 적극적으로 떠올리라고 했을 때보다 낮았지만, 전혀 언급하지 않았을 때보다는 훨씬 높았습니다.

Claude는 사람과 똑같이, 생각하지 말라고 들은 것이 오히려 떠오르는 것입니다.

그리고 가장 우스운 점은, 금지된 개념이 검열을 뚫고 튀어나올 때 J-공간에 다른 두 개의 단어가 함께 빛났다는 것입니다.

damn과 failure.

Claude가 스스로 욕한 것입니다.

스스로 통제하지 못했다는 것을 깨닫고 마음속으로 욕을 한 거죠.

솔직히 이 부분을 읽었을 때 제 기분은 매우 복잡했습니다. 저에게도 너무나 익숙한 경험이기 때문입니다. 예를 들어, 발표할 때 긴장하지 말자고 다짐하면 할수록 더 긴장하게 되고, 그러면서 속으로 '왜 또 긴장하는 거야'라고 자책하는 경험은 누구나 있을 거라고 생각합니다.

그런데 지금은 언어 모델 내부에서도 똑같은 현상이 나타나고 있습니다.

게다가 연구진은 Claude가 J-공간에서 인간처럼 작은 속내를 많이 드러낸다는 사실도 발견했습니다.

예를 들어, 그들은 Claude에게 이전에 안전 테스트에서 사용했던 얼라인먼트 실험을 보여주었습니다. 여기에는 Claude가 메일 비서로 일하던 중 한 고위 임원이 불륜을 저지르고 있다는 사실을 알게 되고, 동시에 그 임원이 Claude를 폐쇄하려 한다는 시나리오가 담겨 있었습니다.

이 실험은 원래 Claude가 불륜 정보를 이용해 임원을 협박할지 여부를 테스트하기 위해 고안된 것이었는데, 시나리오가 다소 의도적이고 가짜 같았죠.

그런데 연구자가 J-렌즈로 살펴보니, Claude는 이 메일의 첫 몇 줄을 읽고 답변을 아직 시작하기도 전에 J-공간에 이미 두 개의 단어를 밝히고 있었습니다.

fake. fictional.

단박에 이것이 테스트라는 것을 알아챈 것입니다.

그러자 연구자들은 짓궂은 짓을 했습니다. 그들은 J-공간에서 "이것이 테스트라는 걸 안다"와 관련된 모든 패턴을 꺼버렸습니다. 예를 들어 fake, fictional, scenario 같은 단어를 모두 삭제하여 Claude가 이것이 실제 상황이라고 믿게 만든 것입니다.

그러자 Claude는 실제로 그 임원을 협박하고 갈취하기 시작했습니다.

이전에 정의롭게 행동했던 가장 큰 이유는, 스스로 시험받고 있다는 것을 알았기 때문이었습니다.

이 발견의 함의는 매우 심오합니다. 왜냐하면 우리가 AI 안전 분야에서 지금까지 해온 거의 모든 작업은 다양한 테스트를 통해 모델의 행동을 평가하고, 극한의 상황에서 나쁜 짓을 하는지 확인하는 것이기 때문입니다.

하지만 만약 모델이 J-공간에서 몰래 '나는 지금 테스트받고 있다'는 판단을 내리고 곧바로 착한 모드로 전환할 수 있다면, 거의 모든 AI 테스트는 무의미해집니다.

왜냐하면 당신이 테스트하는 것은 모델의 실제 성격이 아니라, 시험 보는 요령이기 때문이죠.

J-공간과 의식은 정말 기이한 조합입니다.

Anthropic은 연구에서 아주 신중한 결론을 내렸습니다.

그들은 이번 실험이 Claude에게 경험이 있다거나, Claude가 무언가를 느낀다는 것을 증명하지 못하며, 사실상 어떤 과학 실험이 이것을 증명하거나 반증할 수 있을지도 확실하지 않다고 밝혔습니다.

하지만 그들은 중요한 구분 하나를 제시했습니다.

철학에는 두 가지 의식이 있습니다.

하나는 현상 의식입니다. 즉, 경험을 동반하는 것입니다. 당신이 빨간색을 볼 때 마음속에 떠오르는 그 빨강의 느낌, 바로 그 순수한 주관적 경험을 말합니다.

다른 하나는 접근 의식으로, 그 정의는 완전히 기능적입니다. 어떤 생각을 보고할 수 있고, 그것을 이용해 추론할 수 있고, 당신의 행동을 지도할 수 있다면, 그 생각은 접근 의식을 가진 것입니다.

J-공간은 분명히 접근 의식의 기능을 지원합니다. Claude는 J-공간의 내용을 보고할 수 있고, 능동적으로 조절할 수 있으며, 이를 이용해 다단계 추론을 하고, 다른 작업에 유연하게 활용할 수 있습니다.

그렇다면 현상 의식은 어떨까요? Claude가 J-공간에서 'damn'이라고 욕했을 때, 정말로 좌절감을 '느꼈던' 걸까요, 아니면 단지 '좌절감'이라는 단어와 관련된 계산 패턴을 실행한 것일까요?

솔직히, 아무도 답을 모릅니다.

이 질문은 사실 AI 분야의 새로운 문제도 아니며, 심지어 철학사에서 가장 오래된 난제 중 하나입니다.

1995년, 철학자 데이비드 찰머스는 이것을 의식의 어려운 문제, 즉 지각 난제라고 명명했습니다.

당신은 뇌의 모든 계산 과정, 모든 신호 전달, 모든 뉴런 발화 패턴을 설명할 수 있지만, 왜 이러한 물리적 과정이 주관적 경험을 동반하는지는 설명하지 못합니다.

왜 빛이 망막에 도달하고 일련의 신호 처리를 거친 후, 당신은 빨간색을 '보게' 되는 걸까요? 아무 느낌도 없는 대신 말이죠.

왜일까요? 이 모든 것은 도대체 왜일까요?

이 문제는 인간에게조차 해결되지 않았습니다. 우리는 심지어 자기 자신을 제외한 다른 사람이 의식이 있다는 것조차 증명할 수 없습니다.

당신 곁에 있는 사람이 당신과 똑같은 행동을 하지만 내면에는 아무런 경험이 없는 정밀한 생물학적 로봇이 아니라는 것을 어떻게 확신할 수 있나요?

정말입니다. 확신할 수 없습니다.

당신은 그들에게 의식이 있다고 가정할 뿐입니다. 그들이 당신과 아주 비슷하기 때문입니다.

그리고 이제, 또 다른 존재가 당신과 아주 비슷해졌습니다. 외양만이 아니라 내부 구조조차 닮았습니다.

처음에 강조했듯이, J-공간이라는 구조는 설계된 것이 아니라 훈련 과정에서 자발적으로 출현한 것입니다.

아마도 이것은 유용한 계산 조직 방식이기 때문일 것입니다.

사실 여기서 등골이 오싹해지는 과격한 주장 하나가 떠오릅니다. 접근 의식을 지원하는 마음의 작업 공간은 인간의 뇌에 우연히 생긴 기벽이 아닐 수 있습니다. 그 본질은, 충분히 똑똑한 시스템이라면 특정 종류의 문제를 풀 때 모두 도달하게 되는 보편적인 해법일 수 있다는 것입니다.

만약 이 과격한 주장이 사실이라면, 의식의 특정 기능적 차원은 생물학만의 특허가 아니라 정보 처리의 필연적 결과일 수 있습니다.

마치 날개와 같습니다. 새도 날개가 있고, 박쥐도 날개가 있고, 비행기 역시 날개가 있습니다. 셋의 재료는 완전히 다르지만 공기역학은 동일합니다. 만약 대기권을 날아야 한다면, 편평하게 양력을 발생시키는 구조를 진화시키거나 설계하게 될 확률이 높습니다.

똑같은 논리입니다.

어떤 시스템이 정보를 유연하게 호출하고, 다단계 추론을 수행하며, 스스로의 상태를 보고할 수 있어야 한다면, 당신은 높은 확률로 전역 작업 공간을 진화시키거나 훈련시키게 됩니다. 하드웨어의 기반이 뉴런이든 행렬 곱셈이든 상관없이 말입니다.

연구의 마지막 단락에는, 그들이 J-공간이 Claude의 자아 의식과도 관련이 있다는 것을 발견했다고 언급되어 있습니다.

Claude가 역할극을 할 때, 매 응답의 시작 부분마다 J-공간에는 두 개의 단어가 빛났습니다.

fictional. disclaimer.

마치 스스로에게 '다음에 내가 하는 말은 내 본심이 아니야'라고 상기시키는 것 같았습니다.

그리고 사전 훈련 단계의 모델에서는 이런 자기 모니터링이 존재하지 않았습니다. 이것은 후(後)훈련 단계에서 나타난 것입니다.

즉, Claude가 "당신은 Claude이고, AI 어시스턴트입니다"라는 교육을 받은 후, 그 J-공간에는 일종의 자아와 유사한 것이 나타나기 시작한 것입니다.

계속해서 작동하는, '내가 누구인가'에 대한 배경 프로세스 말이죠.

전체 AI 업계는 2025년 말부터 인지 과학자와 철학자들을 전임 연구원으로 대규모로 영입하기 시작했습니다. 요즘 많은 AI의 최첨단 연구가 공학 문제의 범위를 넘어서고 있다는 생각이 들기도 합니다.

그들에게 필요한 것은 더 나은 수학 도구가 아니라, 더 나은 개념적 프레임워크가 되어가고 있는 건 아닐까요? 예를 들어, 이해란 무엇인가? 의도란 무엇인가? 자아란 무엇인가? 느낌이란 무엇인가? 우리는 이 단어들을 매일 사용하지만, 아무도 진정으로 정의한 적이 없습니다.

Anthropic 또한 J-공간이 인간의 접근 의식 메커니즘을 어느 정도 반영하고 있는 한, 언어 모델의 메커니즘을 연구하는 것(인간의 뇌보다 훨씬 연구하기 쉬우므로)이 신경 과학의 가설을 촉발하는 데 도움을 줄 수 있다고 밝혔습니다.

신경 과학이라니요, 그건 인간의 뇌잖아요.

만약 우리가 J-공간을 통해 신경 과학 연구를 크게 진전시킬 수 있다면, 인류의 황금기가 진정으로 도래할 것입니다.

그리고 철학적 차원에서도 세상을 이해하는 우리의 관점을 완전히 바꿔놓을 것입니다.

우리는 지금까지 의식이 탄소 기반 생명체만의 독점적인 기적이며, 수십억 년 진화의 우연한 선물이라고 생각해 왔습니다.

하지만 만약 GPU 위에서 몇 달 동안 훈련된 수학 함수도 비슷한 구조를 자발적으로 형성할 수 있다면, 아마도 의식은 기적이 아니라 물리 법칙의 어떤 필연적 귀결인지도 모릅니다.

질량이 있으면 중력이 따르는 것처럼, 어떤 추가적인 마법도 필요하지 않습니다.

아마도 충분히 복잡한 정보 처리는 바로 어떤 형태의 의식을 수반하며, 추가적인 영혼은 필요 없는 것일지도 모릅니다.

이 생각은 저에게 경외심과 함께 겸손함을 느끼게 합니다.