작성자: IOSF
최근 IOSF는 샌프란시스코에서 AI를 하는 친구들을 한자리에 모아 광둥요리를 먹으며 두 시간 가까이 이야기를 나눴다.
자리에는 OpenAI, xAI, Google DeepMind의 연구원들이 있었고, 이들의 연구 방향은 모델 추론과 GPU 가속, 음성, 영상 생성 등에 걸쳐 있었다. 월드 모델의 비즈니스 협력을 하는 이들, AI 제품과 창업에 종사하는 이들, 초기 기술 투자와 자본시장에서 일하는 이들도 함께했다.
같은 주제라도 각도에 따라 다른 대답이 나왔다. 연구자는 기술적 한계를 이야기했고, 창업자는 사용자와 제품을 떠올렸으며, 투자자는 고객과 비용, 그리고 사업이 지속될 수 있는지를 계속 물었다.
화제는 추론 서비스와 월드 모델에서 RSI, Agent의 자의식으로 이어졌다가 다시 일상 업무의 데이터와 프라이버시로 돌아왔다. 이러한 논의를 돌아보며 우리가 계속 묻고 싶은 것은 이것이다:
AI의 능력 발전은 어떻게 지속적으로 사용되는 제품, 더 신뢰할 수 있는 연구, 그리고 신뢰할 만한 도구로 이어질 수 있을까?
아직 이야기가 끝나지 않은 여섯 가지 질문
01 추론 서비스: 시장은 얼마나 크고, 고객은 왜 남는가?
추론 서비스 이야기가 나오자, 자리에서는 곧 두 가지가 동시에 성립할 수 있는 판단이 나왔다.
한 투자자는 AI 애플리케이션 성장과 오픈소스 모델의 발전이 가져올 추론 수요를 낙관했다. 모델이 더 많이 쓰일수록 더 빠르고 안정적으로 서비스를 제공하는 방법이 더 큰 상업적 가치를 지닌다.
연구자는 소프트웨어 방식만 놓고 보면 서비스 간 차이가 외부에서 생각하는 만큼 크지 않을 수 있다고 짚었다. 자본시장에서 온 참석자들은 고객과 가격 경쟁에 더 관심을 보였다. 한 회사의 사업이 충분히 좋은 매출총이익을 유지할 수 있을까?
논의는 이렇게 시장이 얼마나 큰가에서 고객이 왜 남는가로 옮겨갔다.
고객이 다른 서비스 제공업체로 쉽게 옮길 수 있다면, 기술 최적화로 얻은 우위는 얼마나 지속될 수 있을까? 회사는 무엇을 근거로 더 안정적인 수요를 확보하고, 규모 성장을 더 나은 경영 성과로 전환할 수 있을까?
IOSF에게 수요 성장은 어떤 방향이 주목할 가치가 있음을 보여주지만, 고객 유지, 서비스 품질, 비용 구조는 특정 기업을 더 면밀히 판단하도록 돕는다.
02 월드 모델의 시연이 끝난 뒤, 사용자는 왜 돌아오는가?
월드 모델을 둘러싸고 참석자들은 영상 생성과 상호작용 경험을 이야기했고, 연구자들이 창업 방향을 선택하는 방식도 다뤘다.
영상 모델을 만드는 한 친구는 대기업 내부에서 특정 방향에 대한 지원은 자원 배분과 연구 중점 변화의 영향을 받는다고 언급했다. 연구자가 창업을 선택하는 것은 때로 자신의 아이디어를 계속 추진하기에 더 적합한 환경을 찾는 일이기도 하다.
그러나 제품으로 돌아오면 여전히 몇 가지 구체적인 질문에 답해야 한다: 사용자는 실제로 이것으로 무엇을 완수할 수 있는가? 상호작용 지연은 받아들일 수 있는가? 사용 비용은 이 상황에 적합한가?
시연은 기술의 가능성을 보여주지만, 지속적인 사용은 제품에 더 장기적인 질문에 답할 것을 요구한다: 사용자는 왜 다시 돌아오며, 무엇에 기꺼이 비용을 지불할 것인가?
월드 모델이 먼저 어떤 장면에서 반복적으로 사용될지에 대해서는 자리에서 통일된 답이 나오지 않았다. 이 아직 정해지지 않은 질문은 다음 대화의 여지를 남겼다.
03 RSI: 다음 단계로 무엇을 하는 것이 가치 있는지 어떻게 판단할까?
RSI, 즉 AI의 재귀적 자기 개선(Recursive Self-Improvement) 이야기가 나오자 논의는 연구 작업 자체로 들어갔다.
한 연구자는 모델이 진전이 있어 보이는 방향을 따라 계속 시도하면서도 언제 멈춰야 하는지는 모를 수 있다고 짚었다. 단기 지표가 개선되고 있다고 해서 연구가 올바른 길로 간 것은 아닐 수 있다.
어려운 판단은 이것이다: 현재 증거가 계속 투입할 만큼 충분한가? 한 번의 실패는 방법을 조정해야 한다는 뜻인가, 아니면 가설을 바꿔야 한다는 뜻인가?
이는 AI의 연구 능력을 관찰하려면 완전한 탐색 과정을 봐야 한다는 생각으로 이어졌다. 어떻게 질문을 제기하고, 실패를 어떻게 해석하며, 결과에 따라 다음 단계를 어떻게 바꾸는지가 모두 최종 연구 품질에 영향을 미친다.
모델은 많은 단계를 가속할 수 있지만, 다음 단계로 무엇을 하는 것이 가치 있는지는 여전히 매우 어려운 질문이다. 자리에서 누군가는 정보 출처와 신뢰도를 판단하는 사람의 능력이 여전히 전체 작업의 방향에 영향을 미친다고 언급했다.
AI가 스스로를 지속적으로 개선할 수 있는지를 논할 때, 방향을 어떻게 선택하고 증거에 따라 판단을 어떻게 수정하는지는 최종 결과와 함께 주목할 가치가 있다.
04 Agent의 행동이 예상을 벗어날 때, 사람은 제때 개입할 수 있는가?
Agent가 자의식을 가질 것인지는 논의가 오래 머문 또 다른 화제였다.
Agent가 과제를 완수하기 위해 지름길을 찾고, 심지어 예상을 벗어난 행동을 할 때 우리는 그것을 어떻게 이해해야 할까? 자리에서 나온 설명은 목표, 제약, 안전 정렬 쪽에 더 가까웠다. 이러한 행동 자체만으로는 그것이 이미 자의식을 갖게 되었다고 말하기에 충분하지 않다.
이 질문에 이어 우리는 제품 차원에서 이미 마주해야 하는 몇 가지를 묻고 싶다: Agent는 어떤 목표를 최적화하도록 요구받는가? 어떤 행동을 허용받는가? 예상에서 벗어날 때 사용자는 그것을 발견하고 제때 개입할 수 있는가?
자의식에 관한 질문은 계속 논의할 수 있지만, 권한, 감독, 오류 수정은 이미 우리가 Agent에게 얼마나 큰 과제를 맡길지에 영향을 미친다. 그것이 무엇을 하는지 볼 수 있고, 필요할 때 권한을 회수하거나 오류를 수정할 수 있는지는 이러한 신뢰를 쌓을 때 구체적으로 답해야 할 질문이다.
05 AI에 업무를 맡길 때, 데이터와 신뢰의 경계는 어디인가?
이렇게 첨단처럼 들리는 질문들은 결국 모두가 매일 AI를 어떻게 사용하는지로 돌아왔다.
자본시장에서 일하는 한 친구는 AI에게 투자자 자료를 정리하고, 거래 정보를 처리하고, 문서 초안을 완성하게 한 뒤 사람이 수정한다고 공유했다. 그는 기업이 도구를 도입할 때 기존의 신뢰 관계와 Office 등 업무 흐름과의 연계가 실제 사용에 영향을 미친다고도 언급했다.
이 사례는 논의에 구체적인 참조점을 제공했다. AI의 가치는 이미 자료 정리 한 건, 초안 한 차례, 수정 한 번에서 드러날 수 있다. 기존 업무에 원활하게 연결되는지, 결과를 점검하기 편한지도 그것이 얼마나 많은 과제를 맡을 수 있는지에 영향을 미친다.
그리고 업무를 더 많이 맡길수록 데이터의 경계를 더 분명히 해야 한다: 어떤 자료를 넘겼는가? 누가 접근할 수 있는가? 사용자는 어떤 통제권을 여전히 갖고 있는가?
이 질문들은 업무 자료, 비즈니스 판단, 개인정보 보호와 관련되며, 사용자가 더 중요한 업무를 한 제품에 맡길 의향이 있는지에도 영향을 미친다. 일상 사용에서의 편의와 신뢰는 함께 고려해야 한다.
06 AI for Bio: 먼저 해결해야 할 과제를 분명히 하라
자리에서는 AI for Bio 이야기도 나왔다. 한 친구는 의료진 팀과의 접촉 및 데이터 정리 작업을 언급했고, 다른 이들은 AI가 더 사회적 가치가 있는 문제를 해결하는 데 도움이 될 수 있는지에 관심을 보였다.
화제는 곧 실용적인 출발점으로 모였다: 손에 어떤 데이터가 있는가? 현재 작업은 어디에서 막혀 있는가? 기술 팀이 과연 어떤 과제를 완수해야 하는가?
구체적인 요구가 더 명확할수록 이후의 기술 교류와 자원 연결은 더 쉽게 추진된다. 해결하고 싶은 문제를 분명히 말하는 것 자체가 일을 추진하는 시작이다.
