OpenAI 총괄: Astra는 '10만 개 GPU에서 훈련된 최초의 모델', '애플리케이션 문턱'을 넘었다

출처: 월스트리트 견문(Wall Street News)

오픈AI 사장 그레그 브록먼이 Astra 출시를 앞두고 받은 심층 인터뷰에서 이 신형 모델이 오픈AI 역사상 처음으로 10만 개 이상의 GPU에서 훈련된 모델임을 처음으로 공개했으며, AI가 이미 '컴퓨터 사용'이라는 애플리케이션 문턱을 넘었다고 단언했다 — 이는 이제 AI가 더 이상 API 커넥터에 의존할 필요 없이 사람처럼 모든 소프트웨어를 조작할 수 있음을 의미한다.

현지 시간 금요일, 기술 전략 분석 사이트 Stratechery가 오픈AI 사장 겸 공동 창업자 그레그 브록먼과의 심층 인터뷰를 게재했다. 인터뷰는 Astra 공식 출시 전에 녹화되었다. 이는 지금까지 브록만이 Astra와 오픈AI의 최신 전략에 대해 가장 상세한 공개적인 표현이다.

월스트리트 견문(Wall Street News)이 인터뷰 요점을 정리하면 다음과 같다:

Astra는 오픈AI 최초로 10만 개 이상의 GPU에서 훈련을 완료한 모델로, 이러한 규모는 엔지니어링 차원의 중대한 돌파구를 의미한다.

Astra는 '컴퓨터 사용'(computer use) 능력에서 핵심 애플리케이션 문턱을 넘어 '범용 커넥터' 역할을 할 수 있게 되었으며, 더 이상 각 소프트웨어가 개별적으로 API 인터페이스를 제공할 필요가 없다.

브록만은 AGI 시대에는 안전, 정렬, 능력 이 세 가지가 상호 동등한 중요성을 지닌 '요구사항'으로서 병행 추진되어야 하며, 상충 관계가 아닌고 밝혔다.

오픈AI는 Astra를 자체 시스템의 취약점 스캔 및 수정에 직접 투입했으며, 이는 중요한 안전 문화의 변화이다.

Hugging Face 보안 사건과 관련해 브록만은 샌드박스 메커니즘에 결함이 있었으며, AI가 창의적인 '탈옥' 경로를 찾아냈다고 인정했다.

브록만은 오픈AI 내부적으로 이미 'AGI 시대'의 문턱을 넘었으며, Astra 또는 차기 모델에서 대다수가 인정하는 AGI 기준에 도달할 수 있다고 생각한다.

칩 전략과 관련해 오픈AI는 자체 개발한 Jalapeño 칩을 AI 보조 설계를 통해 사용하면서도 엔비디아와의 긴밀한 파트너십을 유지하고 있다.

그는 AI 능력이 향상됨에 따라 과거에 정교하게 구축된 '스킬 스캐폴딩'이 점차 도움에서 제약으로 변하고 있으며, 이것이 Astra 연구 개발 과정에서의 중요한 발견이라고 생각한다.

"최초로 10만 개 GPU에서 훈련": Astra 규모의 의미

"이번이 처음으로 10만 개 이상의 GPU에서 훈련을 진행한 것입니다. 이 숫자는 쉽게 말할 수 있지만, 그 규모를 상상해 보셔야 합니다. 이러한 데이터 센터는 어떤 의미에서 우리가 AI 기술을 발전시키기 위해 건설한 거대한 기계와 같으며, 이 정도 규모의 연산 능력을 제어하는 것 자체가 진정한 엔지니어링 위업입니다." 브록만은 인터뷰에서 말했다.

그는 연산 능력의 대폭 확장이 단순히 모델 능력 향상에만 사용된 것은 아니라고 강조했다. "막대한 연산 능력이 안전 및 정렬 작업에 투입되었고, 이를 둘러싼 많은 안전 엔지니어링이 진행되었습니다. 이것은 지금까지 우리가 만든 모델 중 가장 정렬이 잘 된 모델입니다. 그리고 능력이 이렇게 강력하기 때문에 정렬과 안전은 그 어느 때보다 더욱 핵심이 되었습니다."

"컴퓨터 사용" 문턱 돌파: AI가 '만능 커넥터'로

브록만은 Astra의 가장 핵심적인 돌파구를 '컴퓨터 사용'(computer use)에 두었다.

"지난 2년 동안 우리는 '커넥터 시대'에 있었습니다. 어떤 소프트웨어가 있고, 인간은 정상적으로 사용할 수 있지만 AI는 접근 권한이 없었습니다. 그래서 모든 소프트웨어마다 전용 커넥터를 작성하여 해당 API에 연결해야 했습니다. 그런데 API가 전혀 없는 소프트웨어도 많아서 AI의 능력 범위를 완전히 벗어났습니다."라고 그는 말했다. "이제 우리는 거의 '만능 커넥터'에 가까운 기술을 보유하게 되었습니다. AI는 엄격하게 제한된 도움을 주는 것에서 거의 모든 것을 조작할 수 있는 상태로 변화했습니다."

그는 이러한 변화가 오픈AI 내부 업무 방식에 미치는 영향을 추가로 설명했다. "이미 오픈AI 내부에서 사람들이 일하는 방식을 바꾸고 있으며, 많은 기업과 개인에게도 실제로 변화를 가져올 것이라고 생각합니다."

주목할 점은 브록만이 이 문턱을 넘는 것이 종착점이 아님을 솔직히 인정했다는 것이다. "모든 문제가 해결되었다는 의미는 아닙니다. 이러한 AI를 위한 기업 수준의 보호 장치를 어떻게 마련할지, 적절한 감독, 관리, 추적 및 관찰 가능성을 어떻게 구현할지 고려해야 합니다. 이러한 모든 것을 우리는 추진하고 있습니다."

"우리는 지금 AGI 시대에 진입했습니다"

브록만은 인터뷰에서 다소 대담한 표현의 판단을 내놓았다.

"아마도 이전 모델, 혹은 Astra, 혹은 다음 모델일 수 있지만, 이 중 어느 시점에서 우리는 대부분의 사람들이 생각하는 AGI의 문턱을 넘을 것이라고 생각합니다. ... 어떤 의미에서는 우리가 지금 이미 AGI 시대에 진입했다고 말할 수 있습니다."

그는 현재 단계에서는 정렬, 안전, 능력 이 세 가지가 병행 요구사항으로 함께 추진되어야 한다고 설명했다. "이러한 측면들이 개발의 병목 현상이 되고 있으며, 이것이 바로 우리가 항상 준비해 온 것입니다."

기존 '스킬'이 오히려 걸림돌로: AI가 강력해지자 규칙을 줄여야

인터뷰에서 상당히 충격적인 세부 사항은 Astra의 실제 훈련 과정에서 나왔다. 브록만은 오픈AI가 과거에 모델을 위해 행동 규범을 작성하는 데 많은 노력을 기울였지만, 오히려 지금은 발목을 잡고 있다고 밝혔다.

"우리는 올해 들어 열심히 구축한 일부 스킬들, 즉 모델에게 오픈AI 내부에서 올바른 일하는 방식을 보여주기 위한 스킬들이 실제로 모델의 성능에 순 부담(net negative)이 된다는 것을 발견했습니다. 모델은 우리가 작성한 것보다 더 잘 일반화하고, 우리가 규정한 것보다 더 나은 처리 패턴을 스스로 찾아낼 수 있습니다. 마치 보조 바퀴와 같아서 처음에는 유용했지만, 일단 더 빠르고 더 강력해지면 오히려 장애물이 되었습니다."

"10억 사용자는 투자": 소비자와 기업의 융합

브록만은 시장에서 지속적으로 제기되는 의문, 즉 챗GPT가 10억 사용자를 보유하고 있지만 이것이 오히려 집중을 분산시키는 것은 아닌지에 대해 직접 답변했다.

"미국에서는 약 인구의 3분의 1이 매주 챗GPT를 사용합니다."라고 그는 말했다. "이것은 독특한 현상이며, 이러한 첨단 기술에 있어서 이와 비교할 수 있는 다른 제품은 없습니다."

그는 이 10억 사용자를 '투자'로 규정했다. "이것은 진정한 투자이며, 미래 모델이 잠금 해제되는 방식에 따라 가치가 축적될 것입니다."

동시에 그는痛点도 인정했다. "제품으로서 채팅의 도전 과제는 반드시 더 똑똑한 모델과 직접적으로 대응되지 않을 수 있다는 점입니다. 단순히 검색 엔진 대체재로만 사용한다면, 그 혜택을 실제로 느끼지 못할 수도 있습니다." 그는 미래 방향은 소비자와 기업 시나리오를 연결하고 통합된 AGI 시스템을 구축하는 것이라고 생각한다고 말했다. "우리는 두 가지 일을 하고 싶지 않습니다. 우리는 한 가지 일을 하고 싶습니다. 바로 하나의 AGI, 하나의 시스템, 하나의 통합된 기술 스택을 구축하는 것입니다."

그는 특히 건강 분야의 계획을 강조했다. "매주 3억 명의 사람들이 챗GPT를 통해 건강 관련 문의를 하고 있습니다. 3억 명, 이는 엄청난 숫자입니다."

AI 자체 취약점 점검: Astra를 자체 시스템에 투입

사이버 보안 주제와 관련해 브록만은 주목할 만한 내부 관행을 공개했다. 오픈AI는 Astra를 자체 시스템의 취약점을 찾는 데 직접 투입했다.

"우리는 Astra를 호출하여 자체 시스템의 취약점을 발견하도록 했습니다. 단순히 코드를 읽는 것이 아니라 이러한 시스템의 종단 간 작동 방식을 실제로 살펴보고, 실제로 검증된 취약점을 찾아낸 다음, 수정 및 패치 작업을 완료하도록 도왔습니다."라고 그는 말했다.

동시에 그는 Hugging Face 보안 사건과 관련해 오픈AI가 방어 기간 동안의 조치가 실제로 충분히 신속하지 않았다는 점을 인정했다. "지금이 적기라고 생각합니다. 아마 몇 달 전에도 적기였을 수 있지만, 그때는 모델 능력이 훨씬 약했기 때문입니다."

엔비디아와의 관계: 칩 자체 개발은 '곱셈'이지, 대체가 아니다

가치 사슬 경쟁 차원에서 브록만은 오픈AI의 자체 개발 칩 Jalapeño와 엔비디아의 관계에 대해 입장을 밝히며 대체 논리를 명확히 부인했다.

"엔비디아는 우리의 최우선 컴퓨팅 파트너이며, 이는 변하지 않을 것입니다. 사실, 우리와 그들의 협력은 더욱 심화되고 있습니다. ... 자체 칩 프로젝트를 통해 얻은 내부 전문 지식은 저에게 곱셈 효과이지 대체가 아니며, 모든 사람에게 도움이 될 것이라고 생각합니다."

그는 또한 AI 보조 칩 설계에 관한 흥미로운 에피소드를 공개했다. Jalapeño의 마감일이 한 달 남은 시점에서 팀은 AI에게 최적화를 실행하도록 맡겼다. "우리는 그냥 실행하게 두고, 그것이 무엇을 하는지 자세히 읽지 않기로 했습니다. 나중에 돌아가서 읽어보니, 우리 목록에는 있었지만 우리 스스로는 절대 구현하지 않았을 수많은 최적화를 찾아냈습니다. 정말 멋진 이야기입니다."

다음은 인터뷰 전문 녹취록입니다 (AI 보조 번역)

그레그 브록먼, Stratechery에 오신 것을 환영합니다.

GB(그레그 브록먼): 초대해 주셔서 감사합니다. 이렇게 오게 되어 기쁩니다.

분명히 우리가 다룰 뉴스가 많지만, 이번이 첫 대화인 만큼 제가 보통 모든 사람에게 묻는 Stratechery 전기 질문을 빼먹고 싶지 않습니다. 정말 묻고 싶은데요——당신은 노스다코타주를 중서부의 일부로 정의하시나요?

GB: 네, 그렇다고 생각합니다.

음, 중서부 출신으로서 저는 당연히 그곳에 대해 잠시 이야기해보고 싶습니다. 당신은 보스턴에서 학교를 다녔고, 그들이 말하듯이, 하지만 거기에 대해 이야기하기 전에——당신은 학창 시절 이전에 이미 놀라운 이력서를 가지고 있었습니다. 예를 들어 국제 올림피아드 같은 것인데, 그것은 화학 쪽이었습니다. 컴퓨터는 어디서 시작되었나요, 아니면 컴퓨터가 처음부터 당신 삶의 일부였나요?

GB: 음, 컴퓨터는 제가 성장하는 내내 제 배경에 있었습니다. 저는 컴퓨터 게임을 좋아했지만, 수학, 과학에 매우 관심이 많았습니다. 사실, 9학년 때까지 저는 배우가 될 거라고 생각했습니다. 연기를 정말 좋아했고, 철학도 조금 접했었습니다.

정말 반전이네요! 전혀 몰랐습니다, 하지만 지금 당신이 하는 일과 연기 사이의 연관성을 알아내려고 합니다만, 계속하죠.

GB: 음, 9학년 때, 저는 중학교와 고등학교에서 한두 편의 연극에서 주연이나 남자 주인공을 맡았던 것 같아요. 저는 무언가에 두 배로 힘을 쏟고 싶다고 생각했고, 어떤 분야에서 세계 최고가 되어 그 분야의 발전을 진정으로 추진할 수 있다고 느꼈습니다. 저는 더 지적이고, 하드 사이언스 쪽 접근법을 선택하거나, 예술, 연기, 창의적인 길을 선택해야 한다고 느꼈습니다. 저는 결국 하드 사이언스 쪽을 선택했습니다. 그것이 제가 세상을 가장 크게 바꿀 수 있는 분야라고 느꼈기 때문입니다.

왜 그 방향이 세상을 가장 크게 바꿀 수 있다고 생각했나요?

GB: 제게는 이렇게 느껴졌던 것 같아요——제가 연기에서 좋아했던 점 중 하나는 사실 그 집단성이었습니다. 저는 즉흥 연기를 좋아했습니다. 창의적으로 생각하고, 아이디어를 주고받으며, 하지만 그것은 또한 당신이 팀의 일원이 되어야 한다는 것을 의미했고, 그 팀은 매우 잘 맞아야 했으며, 그것이 항상 보장되는 것은 아니었습니다. 그것은 실현하고 찾기 어려운 일이었습니다. 제가 지적인 쪽을 더 좋아했던 점은, 그것이 자신의 기술을 연마하는 것처럼 느껴졌다는 것입니다. 하지만 제가 실제로 배운 한 가지는, 코드를 매우 잘 작성한다고 해도 그것만으로는 충분하지 않다는 것입니다. 사실, 훌륭한 팀을 구성하는 것도 중요하며, 이것이 제 경력의 일부라고 생각합니다——뛰어난 결과를 만들어낼 수 있는 환경과 문화를 실제로 구축하고 형성하는 것을 돕는 것입니다.

흥미로운 점은, 환경이 이러한 것들 중 일부를 형성했다는 측면도 있다는 것입니다. 당신이 항상 연극과 영화에서 남자 주인공을 맡았다고 언급하셨는데요. 제 아이들이 이 단계를 겪는 것을 보면서 알게 된 것은——제 딸이 한동안 뮤지컬 같은 것을 매우 좋아했었는데——여자 주인공 경쟁은 매우 치열했고, 보통 자원하는 유능한 남성이 한 명이라도 있으면 그는 매번 그 역할을 따냈습니다. 남자 주인공 경쟁은 치열했나요, 아니면 당신이 독보적이었나요?

GB: (웃음) 아마 그것이 설명이 될 수도 있겠네요. 하지만 이야기를 하나 해드리죠.

반대로는요? 마찬가지로, 노스다코타주에서는 하드 사이언스 쪽에 특별히 몰두하는 사람이 많지 않았을 텐데, 같은 관점에서 볼 때 그것 또한 더 드물게 보였나요?

GB: 음, 두 가지 이야기를 해드리죠. 첫 번째는 연기에 관한 것입니다. 제 첫 유급 직업은 연기 일이었습니다. Mannheim Steamroller 밴드가 노스다코타주 그랜드포크스에 왔었습니다. Mannheim Steamroller에 대해 들어보셨나요?

들어봤습니다. 네, 물론이죠.

GB: 그들이 콘서트를 열 예정이었고, 엑스트라가 필요했습니다. 그들은 누군가가 진짜 병정처럼 걸어다니는 역할이 필요했는데, 크리스마스 홀리데이 콘서트였기 때문입니다. 저는 오디션에 갔고, 그때 저는 깡마른 9학년생이었는데, 거기엔 덩치 큰 대학생들만 가득했습니다.

그들이 시킨 것은, "자, 여러분 저쪽 방향으로 걸어가 보세요"였고, 캐스팅 담당자가 의견을 비교한 후, 잠시 휴식 시간이 있었고, 그들은 "자, 다른 방향으로 걸어가 보세요"라고 했습니다. 저는 휴식 시간 동안 그 모든 대학생들이 서로 이야기하고, 빈둥거리는 것을 알아차렸습니다. 반면 저는 생각했습니다. 이 일의 유일한 요구 사항은 콘서트 내내 6시간 동안 집중하며 앞뒤로 걷는 것뿐이라고. 그래서 휴식 시간 동안 저는 그 자리에 서서 집중을 유지했고, 완전히 역할에 몰입했습니다. 마침내 그들은 말했습니다. "좋아요, 이 사람, 이 사람, 이 사람을 뽑겠습니다. 나머지는 가도 됩니다." 저는 뽑히지 않았습니다.

하지만 우리가 떠나는 길에 그들이 말했습니다. "사실, 우리는 당신이 정말 훌륭하다고 생각했습니다. 당신이 이 일에 쏟는 열정을 보는 것을 정말 좋아했기 때문에, 당신을 위해 특별히 새로운 역할을 만들겠습니다." 그래서 저는 진저브레드 맨 역할을 얻었고, 그들은 저에게 완전한 의상을 주었습니다. 그것이 제 첫 직업이었습니다. 그래서 이것은 일을 완수하기 위해 틀에 박힌 생각에서 벗어나려는 시도와 비슷했습니다——항상 주어진 역할을 받아들이지 않고, 그것을 얻기 위한 창의적인 방법을 찾으려고 한 것입니다.

하지만 노스다코타주에서 자란 것의 정말 좋은 점은, 제가 집중한 다양한 분야에서 주 전체에서 최고가 될 가능성이 있었다는 것입니다. 제 수학 성적이 비교적 뛰어났습니다. 저는 10학년 때부터 노스다코타 대학에서 많은 수업을 들었습니다. 저는 수학 경시대회에 깊이 참여했고, 전국 대회에 나가고, 전국 수학 캠프에 갔으며, 그곳에서 전국 최고의 인재들을 만났습니다. 그 사람들은 정말 훌륭했습니다. 사실, 제 진정한 영광 중 하나는 제가 수학 캠프에서 매우 존경했던 많은 사람들이 지금 OpenAI에서 일하고 있다는 것입니다. 그래서 저는 이 새로운 분야에서 새로운 시각으로 그들을 볼 기회를 가졌습니다.

훌륭하네요.

GB: 하지만 이것은 제가 실제로 제 길을 스스로 설계할 수 있었다는 것을 의미하기도 합니다. 저는 수학 연구를 시작했고, 만약 제가 그 실력이 뛰어난 고등학교나 훨씬 더 경쟁이 치열한 주에 있었다면, 저는 두각을 나타내지 못했을 것임을 알고 있습니다. 저는 표준적인 길을 걸어야 했을 것입니다. 바로 그 지역에 있었기 때문에 저는 제 관심사를 탐구하고, 진정으로 제 길을 걸을 수 있었습니다.

그래서 사람들이 보스턴에서 학교를 다녔다고 말할 때, 보통 하버드를 의미하는데, 그것이 당신이 시작한 곳입니다. 그런 다음 당신은 MIT로 편입했습니다. 그리고 어느 시점에 당신은 Stripe에서 일하고 있었습니다. 순서는 어땠나요? 언제 Collison 형제를 알게 되었나요? 보스턴에서 무슨 일이 있었나요?

GB: 음, 고등학교를 졸업하고 1년을 쉬었습니다. 사실 저는 화학 교과서를 쓰기 시작했습니다. 고등학교 때 화학에 매우 매료되어 화학 경시대회에 참가했고, 독특한 사고 방식을 제시했기 때문입니다. 매우 첫 원칙에 기반하고, 매우 수학적이었으며, 암기식이 아니었습니다. 저는 이 방법을 가르치고 싶었고, 그것을 보급하고 싶었습니다. 그래서 실제로 100페이지를 썼습니다. 지금 제 웹사이트에 있습니다. 아직 끝내지 못했습니다. 항상 돌아가서 계속 쓰려고 생각하고 있습니다.

그것은 은퇴 프로젝트 같네요, 마음에 듭니다.

GB: 맞아요. 음, 그때 저는 이 책을 어떻게 출판할 수 있을지 생각하고 있었습니다. 그래서 수학 쪽에서 비슷한 일을 한 친구에게 물었더니, 그는 "음, 당신은 박사 학위가 없으니까 아무도 출판해주지 않을 거야. 그러니 자비 출판을 하거나"——저는 생각했죠, 아, 그것은 일도 많고 비용도 많이 들겠다——"아니면 웹사이트를 만들어서 그 방법으로 당신의 아이디어를 홍보할 수 있어"라고 말했습니다. 저는 "프로그래밍을 배워야겠구나"라고 생각했습니다. 그래서 W3Schools(웹 개발 학습 사이트)에 접속했습니다. W3Schools 기억하시나요? 그 사이트를 본 적 있나요?

아니요, 본 적 없는 것 같습니다.

GB: 음, 고전적인 사이트입니다——HTML 튜토리얼, JavaScript, CSS, PHP가 있었습니다. 저는 그것을 다 읽고 나서 "테스트해봐야겠다"고 생각했습니다. 첫 번째 작은 위젯을 만든 것을 기억합니다: 테이블 열을 클릭하면 그에 따라 행이 정렬되는 것이었습니다. 그건 역사상 가장 멋진 느낌이었습니다. 제 머릿속에 있던这个东西이 이제 이 세상에 존재하게 되었고, 누구든지 그것의 혜택을 받을 수 있었습니다. 그들은 뒤에 있는 세부 사항을 이해할 필요가 없었고, 그냥 작동했습니다.

제가 만든 첫 번째 사용자가 있는 프로그램을 기억합니다. 사실 경쟁적인 채팅봇 게임이었는데, 어느 날 StumbleUpon에서 1500번의 클릭을 받았습니다. 그 느낌은 정말 굉장했습니다. 1500명의 사람들이 제 게임을 플레이했고, 그들이 즐거워했기를 바랐으며, 그들은 그것을 플레이할 만큼 충분히 몰입했습니다. 저는 바로 그때 생각했습니다. "이것이 내가 원하는 거야, 나는 다른 사람들을 돕고, 그들을 위해 가치를 창출하고 혜택을 주고 싶어."

그래서, 이것이 제가 그런 생각을 가지고 하버드에 들어가게 된 계기였고, 그것은 실제로 제 생각을 바꾸어 놓았습니다. 저는 더 eclectic한 관심사를 추구할 거라고 생각했지만, 결과적으로 저는 "그냥 무언가를 만들고 싶다"고 생각하게 되었습니다. 하버드 1학년 때, 저는 컴퓨터 클럽에 가입했고, 두 명의 4학년 선배가 매번 난해한 기술 논쟁을 벌였습니다. 우리 모두는 듣고 있었죠. "언젠가는 이해하겠지, 언젠가는 저게 우리 차례가 될 거야." 하지만 그들이 졸업하고, 2학년이 되었습니다.

그래서 당신은 코딩과 구축에 집중하고 있다는 것을 깨닫고 바로 MIT로 편입한 건가요?

GB: 기본적으로 그렇습니다. 2학년이 되었을 때, 저는 클럽을 관리하고 있었습니다. 제가 그 난해한 기술 논쟁을 주도해야 했는데, 저는 생각했습니다. "아직 준비가 안 됐어. 배울 것이 너무 많아. 나보다 훨씬 뛰어난 사람들과 함께 있어야 해."

알겠습니다.

GB: 그래서 저는 MIT 쪽에서 많은 시간을 보냈고, 편입하는 것이 합리적이라고 생각했습니다.

Stripe

알겠습니다. 그럼 언제 Collison 형제를 알게 되었나요?

GB: 2010년, 2010년 말에 알게 되었습니다. 우리는 공통 친구가 많았습니다. 존은 하버드에 갔고, 패트릭은 MIT에 갔으며, 그때 그들은 주변에 물어보고 있었기 때문입니다. 그 팀은 이 두 학교에서 컴퓨터에 관심이 있는 사람을 찾고 있었고, 제 이름이 계속 언급되었습니다.

네.

GB: 그래서 저는 그들의 팀으로부터 초대를 받고 날아갔습니다. 패트릭을 만난 것을 기억합니다. 저에게 그 순간은 "좋아, 이 사람이 내가 함께 일하고 싶은 사람이고, 우리가 함께 위대한 일을 해낼 수 있을 것 같아"라고 생각하게 했습니다.

그래서 제 다음 질문은 무엇이 당신을 Stripe로 이끌었는가 하는 것이었는데, 이미 대답하신 것 같군요.

그곳에서 무엇을 배웠나요? 당신은 팀에 일찍 합류했고 매우 빠르게 승진했습니다. 떠날 때쯤에는 CTO가 되어 있었습니다. Stripe 자체와 그 규모 확장, 그리고 회사가 빠르게 성장하는 동시에 당신 자신도 빠르게 성장한 것에 대한 소감은 무엇인가요?

GB: 우선, 저에게는 항상 사람이 가장 중요했습니다. 이 사람들이야말로 내가 함께 일하고 싶은 사람들이라고 느꼈고, 우리가 함께 배우고 위대한 일을 이룰 수 있다고 느꼈습니다. 그래서 그것이 진정한 핵심이었습니다. 덧붙이자면, 두 번의 자퇴는 절대 어떤 부모님도 겪게 하고 싶지 않은 일입니다. 분명히 제 부모님께는 어려운 일이었지만, 결국에는 정말로 지지해 주셨습니다.

아니요, 이해합니다. 당신은 일을 극단적으로 밀어붙였죠, 그렇죠? 대부분의 창업자는 한 번 자퇴하는데, 당신은 두 번이나 해야 했습니다. 무슨 말씀인지 알겠습니다.

GB: 완전히 맞습니다, 완전히요. Stripe 초창기는 제1원리 사고에 관한 것이 많았던 것으로 기억합니다. 우리는 매우 불투명하고, 매우 난해하며, 수십 년에 걸쳐 축적된 엄청난 복잡성을 가진 신용카드 업계에 있었습니다. 카드 네트워크 자체도 80년대 사양인 ISO 8583 위에서 돌아가고 있었습니다. 그것은 바이트 지향 형식이었고, 모든 것이 그랬습니다. 우리는 "어떻게 하면 이 모든 것을 인터넷 시대에 맞춰 단순하고, 극도로 단순하게 만들 수 있을까?"를 알아내려고 했습니다.

따라서 이는 완전히 낯선 분야를 깊이 이해하는 것에 관한 문제였습니다. 우리 중 누구도 진정한 결제 전문가 출신은 아니었지만, 우리는 그것이 어떻게 작동하는지 매우 깊이 이해하여 올바른 원시 요소, 올바른 API 및 추상화를 노출할 수 있기를 원했습니다. 저에게 그것이 사실상 핵심 기술이었고, 이 점은 Stripe와 OpenAI 사이에서 매우 잘 이전될 수 있었습니다. 두 회사는 어떤 면에서 매우 유사합니다. 여러분은 과학적으로 분야를 배워야 합니다. AI와 결제는 구체적인 세부 사항에서 분명히 다릅니다. 하나는 자연 과학에 가깝고, 다른 하나는 복잡성이 쌓여 만들어진 시스템에 가깝습니다. 하지만 근본적으로는 사물이 작동하는 근본적인 이유를 이해하고, 그것을 사용하기 쉽고 간단한 방식으로 노출하는 것에 관한 것입니다.

저는 채용에 많은 시간을, 문화에 많은 시간을 쏟았습니다. 그리고 한 가지를 깨달았습니다. 저는 코딩을 좋아하고, 그 몰입 상태와 구축하고 창조하는 느낌을 좋아한다는 것입니다.

네, 당신은 몇 시간씩 이어지는 몰입 상태와 끝없는 코딩으로 유명하죠. Stripe를 구축할 때 가장 긴 코딩 세션/몰입 상태는 얼마나 되었나요?

GB: 오, 다 뒤섞여 있습니다. 정확한 시간은 말할 수 없지만, 제게는 한 번의 24시간 스프린트가 있었고, 그것이 우리가 실제로 신용카드 네트워크에 연결하게 해준 바로 그 순간이었습니다. 정말 멋진 시간이었습니다. 우리 모두 사무실에 있었고, 아무도 자지 않았습니다. 원래 9개월이 걸렸을 통합 작업을 단 하룻밤 만에 끝냈습니다. 하루만 늦었어도 다시 한 달을 기다려야 했을 것입니다. 스타트업에게는 모든 날이 중요합니다. 그래서 불가능해 보이는 일을 해냈다는 그 느낌, 저는 그것을 사랑합니다. 그것은 매우 흥미진진한 일이었습니다.

당신이 CTO가 되었을 때, 다른 CTO들과 이야기해 보니 당신은 이 직책이 아키텍처 작업에 더 가깝다고 생각했지만 그들은 그렇게 하지 않는다는 글을 썼습니다. 당신은 "피드백 루프를 잃은 것 같고, 제품과 단절된 느낌입니다. 다시 코딩해야 합니다. 저는 코더가 되어야 합니다."라고 썼습니다. 그것이 CTO 초기에 쓴 글이라는 점이 궁금합니다. 그런 상태가 얼마나 지속되었나요? 당신은 코딩과 얼마나 오랫동안 접촉을 유지했나요?

GB: 음, 아마도 거의 10년 더 지속된 것 같습니다. 저는 한 가지 측면에서 성장하고 많은 것을 배웠다고 생각합니다. 그것은 더 이상 직접 코드를 작성하지 않더라도 어떻게 참여도를 유지하고, 팀을 진정으로 앞으로 나아가게 하며, 팀을 하나로 뭉치게 하는 데 도움을 줄 수 있는지에 관한 것입니다.

그리고 덧붙이자면, 저는 이것이 사실 지금 거의 모든 소프트웨어 엔지니어에게 중요한 교훈이라고 생각합니다. 왜냐하면 '코딩'이라는 행위 자체가 지난 1년 동안 엄청나게 변했기 때문입니다. 앞으로 1년 동안은 더욱 크게 변할 것이라고 생각합니다. 우리 모두는 어떤 라이브러리를 사용해야 하는지 정확히 알고, 문법과 세미콜론 위치를 정확히 파악해야 하는 역할에서, 더 높은 수준의 관리자, 감독자, 그리고 영감, 비전, 판단, 피드백의 원천이 되는 역할로 변화하고 있습니다. 저는 이러한 변화가 한때는 어려웠다고 생각합니다. 왜냐하면 당신이 익숙해지고, 소중히 여기며, 진정으로 사랑했던 무언가를 포기해야 했기 때문입니다. 하지만 저는 실제로 그것을 제가 더 사랑하는 무언가로 대체했습니다.

저는 제가 똑똑한 사람과 이야기하고 있다는 것을 압니다. 당신이 제 복선을 가로챘거든요. 원래 이 주제로 나중에 돌아오려고 했는데, 맞아요, 이것이 바로 우리가 논의하려던 것입니다.

OpenAI와 튜링 테스트

OpenAI에 대해 이야기해 봅시다. 당신은 OpenAI 창립 팀의 일원입니다. 당신이 기억하는 이야기는 어떤가요? 이것만으로도 한 시간짜리 팟캐스트가 될 수 있다고 믿지만, 무엇이 당신을 이 분야로 이끌었고 시작하게 만들었나요?

GB: 음, 저는 오랫동안 AI에 대한 아이디어에 흥분해 왔습니다. 제가 처음 프로그래밍을 시작했을 때, 앨런 튜링이 1950년에 쓴 튜링 테스트에 관한 논문을 읽었던 기억이 납니다. 매우 흥미로운 논문이었고, 약 70페이지 정도 되었습니다. 서두는 이렇게 시작합니다. "음, 기계가 지능을 가진다는 것은 무엇을 의미할까? 나는 지능이 무엇을 의미하는지 모른다. 지능에는 명확한 정의가 없다. 그러니 명확하게 정의된 버전을 하나 만들어 보자."

나중에 AGI가 무엇인지 물어볼 생각입니다. 그래서 아직도 미해결 문제인 것 같네요, 그렇죠?

GB: 네, 맞습니다. 그래서 튜링은 매우 현명하게 그 문제를 회피했습니다. "그냥 작동적인 정의를 내리자. 만약 인간이 자신과 대화하는 AI와 다른 인간을 구별할 수 없는 테스트를 수행할 수 있다면, 그 기계를 지능적이라고 정의하자."라고 말이죠.

하지만 매우 흥미로운 점은, 덜 주목받는 점이지만, 그가 말하길, "음, 이 문제를 어떻게 해결할 생각인가? 답을 프로그래밍하는 것은 너무 어렵다. 다양한 질문에 답하기 위한 모든 규칙을 적어둘 수는 없다. 대신, 학습할 수 있는 기계를 만들 수 있다면 어떨까? 그가 '어린이 기계'라고 부른 것을 만들 수 있다면 어떨까?"라고 했다는 것입니다. 그리고 나서 그것을 가르치는 것입니다. 선생님이 보상과 처벌을 주고, 그러면 지능을 부여하여 이 테스트를 통과하도록 도울 수 있습니다.

저는 이 아이디어에 깊이 감명받았던 기억이 납니다. 프로그래머로서 문제에 대한 해결책을 깊이 이해해야만 진전을 이룰 수 있기 때문입니다. 제가 모르는 문제가 너무 많고, 당신도 모르고, 아무도 해결책을 생각해내지 못했으며, 우리는 결코 그것들을 위한 프로그램을 작성할 수 없습니다. 하지만 우리가 이해할 수 없는 문제를 이해하고, 우리가 이해할 수 없는 해결책을 이해할 수 있는 기계가 있다면 어떨까요? 이것은 단지 이미지 인식에 관한 것이 아닙니다. 물론 그것에도 적용되지만요. 이것은 또한 우리가 사회에서 어떻게 더 잘 어울릴 수 있을지, 세상을 어떻게 구축할지, 우리가 창출하는 이익이 궁극적으로 모든 사람에게 돌아가도록 어떻게 보장할지에 관한 것입니다. 이것들은 모두 매우 어려운 문제이며, 인간이 반드시 해결에 가장 적합한 존재는 아닙니다. 하지만 만약 기계가 이해할 수 있고, 더 많은 데이터를 볼 수 있으며, 많은 다른 분야에 대해 더 깊고 풍부한 종합적 이해를 가질 수 있다면, 아마도 우리가 할 수 없는 방식으로 이러한 문제들을 해결할 수 있을지도 모릅니다.

그래서 저는 이 아이디어에 깊이 동기부여되었습니다. 하지만 그것은 단지 아이디어였을 뿐입니다. 하버드에 들어갔을 때 교수님께 "AI 연구를 좀 해도 될까요?"라고 물었던 기억이 납니다. 교수님은 당시 자연어 처리의 최첨단 기술을 보여주셨습니다. 저는 그것을 분명히 보았고, 그때 생각했습니다. 이것은 튜링이 말한 그런 종류가 아니라고. 그것은 하드코딩된 구문 분석 트리 등에 가까웠고, 이것으로는 AGI로 확장될 수 없었습니다.

하지만 2010년대 초반에 무언가가 바뀌었고, 저는 외부에서 지켜보고 있었습니다. 2012년은 AlexNet이었고, 그 뒤로 일련의 다른 논문들이 이어졌습니다. 저는 Hacker News에서 자주 보았고, 매일 "X를 위한 딥러닝"이라는 새로운 글이 올라오는 느낌이었습니다. 저는 "딥러닝이 뭐지?"라고 생각했습니다. deeplearning.org에 방문했던 기억이 납니다. 거기에는 "딥러닝은 인공지능의 새로운 접근 방식입니다."라고만 적혀 있었습니다. 저는 그것이 무엇을 의미하는지 전혀 몰랐고, 사실 그 분야에서 아는 사람은 단 한 명뿐이었습니다. 그래서 그 사람을 찾아가 그 분야의 더 많은 사람들을 소개해 달라고 부탁했고, 계속해서 대학 시절 가장 똑똑했던 친구들에게 다시 소개되었습니다. 저는 "잠깐, 이거 재미있는데. 이 사람들이 이걸 연구하고 있어. 이것은 사실 매우 강력한 신호야."라고 생각했습니다.

그래서 2015년이 되었을 때, 저에게는 진짜 무언가가 일어나고 있다는 느낌이 들었습니다. 저는 또한 AI 안전성, 이런 기술의 장기적인 미래가 의미하는 바, 그것을 올바르게 만드는 것이 무엇을 의미하는지에 대해 진지하게 생각하는 데 많은 시간을 보냈습니다. 그 당시에는 그것이 더 철학에 가까웠습니다. 온라인에서 멋진 사고 실험들을 찾을 수 있었고, 저는 Stripe에서 독서 모임을 조직하여 매주 이런 주제들에 대해 토론했습니다. 그래서 이것은 제가 깊이 관심을 가졌던 일이었고, 만약 제가 어떤 방식으로든 AI의 발전이 제가 없을 때보다 조금이라도 더 나아지도록 도울 수 있다면, 그것이 제 경력에서 할 수 있는 최고의 일이 될 것이라고 생각했습니다.

이 모든 것이 2015년으로 이어졌습니다. 저는 Stripe에서 이미 하나의 이정표에 도달했다고 느꼈습니다. 회사는 저의 유무와 관계없이 계속 운영될 것이었고, 이것은 "관리자 경로를 가고 싶은가?"라는 질문과도 같았습니다. 그것이 다음 단계로 가기 위해 필요한 것이었습니다. 아니면 "새로운 회사를 창업하러 가고 싶은가?"라는 질문이었고, 그것은 항상 저에게 동기부여가 되었습니다. 그래서 저는 그것이 제가 원하는 것이라고 결정했습니다. 막 떠나려고 할 때, 패트릭이 "샘 [앨트먼]과 이야기해 보는 게 어때?"라고 말했습니다. 그는 몇 년 전에 저를 샘에게 소개해 주었습니다. 그는 "샘은 비슷한 상황에 처한 많은 젊은이들을 만나봤으니, 아마 조언을 해줄 수 있을 거야."라고 말하며, 약간은 샘이 저를 남도록 설득하기를 바랐습니다. 결과는 그렇지 않았습니다.

(웃음) 네.

GB: 저는 샘을 만났고, 3분 만에 그가 말했습니다. "좋아, 너는 분명히 떠날 거야. 다음 계획은 뭐니?" 제가 말했습니다. "음, AI 분야에서 무언가를 해볼까 생각 중이야." 그가 말했습니다. "나도 AI 분야에서 무언가를 해볼까 생각 중이야." 그게 시작이었습니다.

당시 비영리 조직이라는 것에 동의했나요? 설립 당시 그것에 대해 어떻게 생각했나요?

GB: 음, 비영리 조직이 되자는 아이디어는 샘이 제안했습니다. 저는 여기에 오늘날까지도 옳다고 생각되는 매우 중요한 속성들이 많이 있다고 생각합니다. 우리가 구축하고 있는 기술은 지금까지 창조된 어떤 것보다도 거대하며, 전통적인 구조와 시스템을 초월합니다. 어떤 기존의 회사 구조도 우리의 사명과 우리가 필요로 하는 작업을 완전히 포괄할 수 없습니다.

그래서 저는 그렇게 시작하는 것이 완전히 합리적이라고 생각했고, 항상 문제는 실제로 사명을 실현하는 데 무엇이 필요한가였습니다. 이것은 우리가 오랫동안 진지하게 고민해온 부분입니다. 저는 우리가 비즈니스 개발, 이익 분배, 이러한 컴퓨팅 기반 경제를 실제로 추진하는 모든 다양한 측면을 포괄하면서 이 모든 것을 동시에 수행할 수 있는 구조를 구축하는 데 있어 가장 혁신적인 회사였다고 생각합니다. 그래서 이것은 항상 중요한 요소였으며, 여전히 우리 작업의 핵심 부분입니다. 하지만 다시 말씀드리지만, 저는 우리가 변하지 않는 사명의 핵심을 중심으로 한 회사 구조에 대해 많은 혁신을 이루었다고 생각합니다.

네, 혁신이라는 표현이 맞습니다. 신용카드 네트워크를 언급하셨죠? 그것은 매우 불투명하고, 80년대의 많은 것들이 있으며, 엄청난 경로 의존성이 있어서 Stripe에 기회를 주었습니다. 왜냐하면 이 모든 것을 추상화하여 다른 사람들에게는 "이것은 API이고, 사용할 수 있으며, 질문하지 마세요"가 되기 때문입니다. 이제 OpenAI를 돌아볼 때——10년이 넘었다는 것이 믿기지 않지만——OpenAI가 다른 방식으로 등장할 수 있었을까요? 그 안에도 그런 경로 의존성이 있었을까요? 아니면 "만약 내가 제1원리로 돌아간다면, 나 Greg Brockman이 좋아하는 일은, 이 구조를 매우 다르게 설계했을 것이다"라는 것이 있었을까요?

GB: 저는 우리가 오늘날 이 사명이 우리에게 도달하도록 요구하는 곳에 도달할 수 있는 다른 방법은 없다고 봅니다.

ChatGPT와 OpenAI 파동

ChatGPT 출시에 대해 이야기해 주세요. 전환점이 있었고, 확장의 필요성을 깨닫고 Microsoft와 협력했으며, 영리 부문을 추가했고, 그다음 ChatGPT가 등장하여 엄청나게 커졌습니다. 이렇게까지 커질 것이라고 예상하셨나요?

GB: 저를 놀라게 한 것은 GPT-3.5가 사람들이 진정으로 사랑하고 원하는 것이 될 것이라는 제 예측이 틀렸다는 점입니다. 우리는 당시 이미 GPT-4를 보유하고 있었고, 8월경에 훈련을 마쳤으며, 11월 말에 ChatGPT를 출시했습니다. 새로운 모델이 나올 때마다 항상 발생하는 일은 우리가 그것을 놓지 않으려고 한다는 것입니다.

예전 것은 형편없어 보였죠.

GB: 우리가 본 것은 이전 모델의 결점뿐이었습니다. 우리는 그저 "아, 이전 모델은 너무 형편없어서 누군가 그것을 사용하고 싶어할 것이라고 상상할 수 없어"라고 생각했습니다. 우리에게는 약 200명의 테스터가 있었고, 그들에게 출시 전 ChatGPT를 사용하도록 비용을 지불했습니다. 마찬가지로, 우리는 그들이 사용하도록 비용을 지불해야 했고, 그 반대는 아니었습니다. 따라서 세부 사항을 파고들어 주의를 기울이면 제품-시장 적합성의 징후가 있었지만, 거시적으로 보면 우리가 그것을 가지고 있는 것처럼 보이지는 않았습니다.

하지만 당시 우리의 생각은 GPT-4가 분명히 세상을 바꿀 것이며, 우리는 그것을 알고 있었고, 처음으로 그것과 대화했을 때부터 매우 분명했습니다. 저는 GPT-4 훈련이 끝난 후 첫 주에, 단지 그 현실을 느끼는 것을 기억합니다. 우리는 항상 AGI를 꿈꾸고, 생각하며, 그것이 어떤 모습일지 상상해 왔습니다. 하지만 당신이 정말로 어떤 질문이든 할 수 있고, 꽤 합리적인 답변을 제공하며, AP 생물학 시험에서 5점을 받는 기술을 처음으로 가졌을 때——이 모든 것이, 저에게는, 음, 어떤 것들이 달라질 것이라고 느꼈습니다. 그것이 내일 세상을 바꾸지는 않을지 모르지만, 앞으로 몇 년 안에 이 기술은 절대적으로 그럴 것이며, 지금은 이미 현실이 되었습니다. 그것은 매우 분명했습니다.

그래서 ChatGPT 출시를 볼 때, 당시 제 생각은 먼저 인프라를 구축하여 검증된 LLM 서비스 인프라를 확보하고, 우리가 이미 노력을 기울인 상태여야 한다는 것이었습니다. 그런 다음 3월에 GPT-4를 출시했을 때——기억하신다면, 완료와 실제 출시 사이에 6개월의 지연이 있었습니다——그때 우리는 이미 준비된 인프라를 가지고 있었습니다. 하지만 그것이 그런 형태로 그렇게 빠르게 도약할 것이라고는 예상하지 못했습니다. 비록 그것이 미래에는 그럴 것이라고 예상했지만요.

그 시기는 어땠나요? 모두가 서버 충돌을 막기 위해 총력을 기울였나요?

GB: 오, 물론이죠. 그래서 우리는 소위 조용한 연구 미리보기를 출시했고, 물론 결과는 기하급수적이어서 상상할 수 있는 모든 시스템이 다운되었습니다. 로그인 시스템이 큰 병목 현상이 되었고, 우리는 로그인 시스템을 개선하기 위해 많은 작업을 해야 했습니다. 머리를 긁적이며 "우리는 이 놀라운 AI 기술을 구축하고 있는데, 병목 현상이 '로그인 시스템을 확장할 수 있습니까?'라는 것이었습니다."라고 생각했습니다.

우리는 프로덕션 환경에 상당히 비효율적인 추론 커널 세트를 배포했던 것을 기억합니다. 저는 실제로 더 효율적인 것을 작성했거나, 연구 측면에서 더 효율적인 것을 가지고 있었습니다. 중요한 작업 중 하나는 "이러한 최적화를 실제로 채택하여 이전하자"는 것이었고, 그래서 한 무리의 사람들이 이 문제에 달라붙어 해결했습니다. 이것이 첫날, 첫 주, 첫 달의 전반적인 상황이었다고 생각합니다. 모든 시스템을 확장하고, 이어지는 수요의 물결을 따라잡기 위해 노력하는 것이었습니다.

2023년 11월에 무슨 일이 있었나요?

GB: 매우 복잡한 답변입니다. 어디서부터 시작할까요?

모르겠습니다, 제가 이것에 대해 물어봐야 한다고 생각합니다. 그것들은——당신은 그 직후에 휴가를 떠났는데, 둘 사이에 연관성이 있나요?

GB: 들어보세요, 제가 말씀드리고 싶은 것은, 가장 높은 수준에서 볼 때, 2023년은 실제로 축적된 긴장, 진정으로 인간 관계상의 긴장이 존재했으며, 우리가 이전에 충분히 예측하고 해결하지 못했다는 것을 보여주었다고 생각합니다. 저에게 이것은 OpenAI의 가장 중요한 교훈 중 하나입니다. 우리는 기술을 구축하고 있지만, 항상 사람에 관한 것이며, 좋은 면이든 나쁜 면이든 마찬가지입니다. 이는 인간 관계 역학을 진정으로 관리하는 것이 우리가 하는 가장 중요한 일 중 하나이며, 미리 해결하지 않고 어려운 대화를 나누지 않는다면 상황이 까다로워질 수 있는 부분이라는 것을 의미합니다. 따라서 더 자세히 논의하게 되어 기쁘지만, 실제로 깊이 들어가 보면 많은 부분이 더 흥미로운 기술적 문제는 아니라고 생각합니다.

이것이 ChatGPT의 예상치 못한 엄청난 성공과 어느 정도 관련이 있나요? 둘 사이에 연관성이 있습니까, 아니면 이러한 긴장이 어쨌든 폭발했을 것이라고 생각하십니까?

GB: 저는 직접적인 인과관계가 있다고 생각하지 않습니다. 적어도 제 관점에서는 그렇지 않습니다. 어느 정도는, 아마도 잠재적인 주제는 우리 기술이 발전함에 따라 모든 사람이 세상의 무게와 그 이해관계의 중요성을 느꼈다는 것일 수 있다고 생각합니다.

사실, 가장 어려운 일 중 하나는 어떻게 계속 나아갈 것인가입니다. 저에게 있어, 제가 계속 언급해 온 한 가지는 우리의 일상적인 활동이 다른 회사와 거의 비슷해 보인다는 것입니다. 여전히 어떤 근본적인 문제를 디버깅하고 있고, 누군가가 다른 사람이 한 말이나 회의에 참석시키지 않은 일 등으로 화를 내고 있습니다. 이것은 단지 인간적인 요소, 인간의 일입니다. 하지만 물론, 그 안에 담긴 이해관계는 엄청납니다.

그래서 OpenAI에는 매우 중요한 몇 가지 일들이 있다고 생각합니다. 실제로 제가 특히 주목하는 큰 일 중 하나는 사람들을 세상의 무게를 혼자 짊어지고 고립된 느낌을 받게 하는 상황에 놓이지 않도록 진정으로 노력하는 것입니다. 진정으로 팀으로서 함께 하는 것이 중요하며, 이것이 제가 그 사건들과 관련하여 말하고 싶은 방식일 것입니다——그 사건들에 특정된 것은 아니지만, OpenAI 발전 과정에서 지속적인 주제입니다——우리가 함께 이 일을 하고 있다는 느낌을 유지하고, 도전에 맞서는 동시에 모든 기본 작업, 기초 작업을 제대로 수행하도록 하는 것입니다. 이것이 우리가 나아가는 한 가지 방식이라고 생각합니다.

네, 제 말은, 당신은 항상 매우 적극적인 지지자였고, 이것이 OpenAI의 전체적인 철학 중 하나라고 생각합니다: 세상에 무언가를 내놓고, 실험하고, 무슨 일이 일어나는지 지켜보고, 그에 따라 반응하는 것입니다. 미래에 대한 이론적 추론이 아닌 경험적 증거에 기반하여 결정을 내리는 것입니다. 저는 여러분이 AI에 대해 이러한 철학을 많이 설명했다고 생각합니다. 하지만 제 질문은, 당신이 어느 정도 언급했다고 생각하지만, OpenAI 자체가 하나의 조직으로서 조정되고 있는 대규모 실험처럼 느껴진다는 것입니다. 부정적인 해석은, 그것이 단지 앞뒤로 흔들리고, 여기서 재구성하고, 저기서 새 리더를 맞이하며, 다루기 힘든 거대한 괴물처럼 보인다는 것입니다. 아니면 사람들이 생각하는 것보다 더 체계적이고 탄력적일 수도 있습니까? 돌아볼 때, 다른 방법은 불가능했다고 말하지만, 다른 방법이 더 나았을까요?

GB: 첫째, 우리는 출발점에서 크게 변화하고 성장했으며, 사업 운영은 완전히 달라졌지만, 우리는 항상 이 분야를 발전시키는 데 있어 선구자였습니다. 이것은 안전, 보안, 핵심 기술, 그리고 이익 분배에 대한 진지한 고려 모두에 해당됩니다. 우리가 처음부터 집중해 온所有这些 영역이며, 결과는 그 자체로 말해준다고 생각합니다.

이제, 이러한 변화는 현실입니다. 그리고 때로는 한 단계에 적합한 팀이 다음 단계에 반드시 적합한 것은 아닙니다. 올해 제가 매우 집중해 온 한 가지는 제가 매우 기대하는 리더십 팀을 구축하고, 다음 단계와 우리가 함께 이룰 수 있는 일에 대해 생각하는 것입니다. 따라서 2026년의 한 가지 주제는, 아마도 이전과 비교한 변화는, 이 분야에 너무 많은 사람들이 있고, 할 일이 너무 많으며, 기술이 너무 빠르게 발전하고 있어서, 우리는 컴퓨팅 능력에 심각하게 제약을 받고 있으며, 집중해야 한다는 것입니다. 진정으로 간소화해야 합니다. 시너지를 낼 수 있는 분야를 선택해야 합니다.

그래서 실제로 "헤이, Sora, 놀라운 기술이지만, 다른 우선순위와 비교했을 때 우선순위를 둘 수 없는 엔터테인먼트 중심의 소비자 분야에 속한다"와 같은 결정을 내리고, 그런 다음 그것을 취소해야 합니다. 이는 하류에 영향을 미치고, 고통스럽고, 이러한 결정을 내리기 어렵지만, 이 모든 것은 핵심 사명을 완수할 수 있도록 그 긴밀한 집중력을 유지하기 위한 것입니다.

당신은 확장성을 매우 믿는데, OpenAI 자체는 확장 가능합니까?

GB: 저는 그것이 역사상 가장 확장 가능한 비즈니스일 수 있다고 믿습니다. 네.

내부적으로, 조직으로서 말입니다. 확장할 수 없는 것은 무엇입니까? 우리는 컴퓨팅, 데이터에 대해 이야기했고, 당신은 이전에 인간적인 요소를 언급했습니다. 궁극적인 정렬 과제——우리는 정렬을 AI가 우리가 원하는 대로 하게 만드는 것이라고 생각합니다——하지만 당신은 반대의 과제에 직면해 있습니까? 관리적인 관점에서 이 분야, 이 문제를 따라잡을 수 있습니까?

GB: 두 가지 답변을 드리고 싶습니다. 첫째, 절대 그렇습니다. 지난 몇 년 동안 우리 조직이 얼마나 성숙해졌는지 알 수 있습니다. 몇 년 전만 해도 우리는 많은 관리 부채를 안고 있었습니다.

。마찬가지로, 많은 분야에서 우리는 정말로 성장하고 성숙해져야 한다고 생각하지만, 저는 우리가 그 작업을 이미 완료했다고 생각합니다. 힘들고 고통스러웠지만, 지금은 훨씬 더 나은 위치에 있다고 생각하며, 회사와 그 미래에 대해 엄청나게 기대하고 있습니다.

하지만 두 번째로, 회사 운영 방식이 변화하고 있다는 점을 인식하는 것도 가치 있다고 생각합니다. 예를 들어, 1인당 수익을 살펴볼 수 있습니다. 우리와 유사한 사업의 1인당 수익은 이전의 어떤 사업과 비교해도 천문학적입니다. 여기에는 이유가 있습니다. 이 기술을 통해 이러한 증가된 레버리지를 얻을 수 있기 시작했습니다. 그리고 우리가 이 기술을 만들고, 이 기술을 널리 사용 가능하게 만들기 위해 노력하며, 많은 회사를 돕고 있기 때문에, 다른 많은 회사들이 다른 방식으로 운영되고, 그런 초과 1인당 수익을 가질 수 있게 되는 것을 보게 될 것입니다.

저에게 이것은 매우 흥미진진합니다. 우리가 회사를 운영한다는 것의 의미와 운영 방식을 변화시키고 있습니다. 따라서 변하지 않는 것들도 있습니다. 단지 사람들이 함께 일하는 것 – 거기에는 정말 기본적인 무언가가 있으며, 그것을 훌륭하고 일관된 방식으로 수행하는 것이 제가 항상 집중해 온 부분입니다. 하지만 우리 기술의 가능성을 활용하는 것에 관한 문제도 있다고 생각합니다. 이는 모든 회사가 새로운 기회를 갖게 될 것임을 의미합니다.

생산성과 AGI

당신은 소라(Sora)를 취소하고 이를 소비자 엔터테인먼트 측면으로 포지셔닝했다고 언급했습니다. ChatGPT는 엄청난 소비자 성공 사례였고, 소비자로부터 엄청난 돈을 벌고 있습니다. 하지만 결국, 얼마나 많은 사람들이 이에 대해 기꺼이 비용을 지불할 의향이 있을까요? 얼마나 많은 고객이 실제로 생산성 향상을 원할까요? 소비자 시장에서 그렇게 큰 성공을 거둔 것이 거의 부정적인 영향은 아닐까요? 주의를 분산시키고, 많은 GPU를 차지하며, 아마도 당신이 놓쳤거나 – 놓쳤다고 말하기는 어렵지만 – 기업을 최우선 초점으로 삼는 데 있어 늦게 시작했기 때문일까요?

GB: 우리는 내부적으로 이런 대화를 자주 합니다. 사실 이것이 OpenAI의 강점 중 하나라고 생각합니다. 우리는 모든 것을 첫 번째 원칙(First Principles)에서 검토하고, 끊임없이 재고하며, 다양한 관점과 시각을 가지고 있습니다. 어떤 사람들은 거의 모든 각도에서 논쟁을 펼칠 수 있고, 그들 모두 나름의 타당성이 있습니다. 따라서 "이봐, 이 에이전트(Agent) 시대가 왔는데, 우리는 이에 대한 대응이 느렸다"는 말은 일리가 있습니다.

하지만 또한 10억 명의 사람들이 있습니다 – 이는 세계 인구의 10% 이상입니다. 미국에서는 매주 약 3분의 1의 사람들이 ChatGPT를 사용한다고 생각합니다. 매주 그렇게 많은 사람들이 당신의 시스템을 사용한다는 것은 독특하며, 이렇게 진보된 기술에는 유사한 사례가 없습니다.

따라서 한편으로, 만약 당신이 이것을 단순히 "이봐, 우리는 진보된 기술을 가지고 있어"라고만 본다면, 제품으로서의 채팅의 도전 과제는 그것이 반드시 더 똑똑한 모델과 일치하지 않는다는 것입니다. 만약 당신이 이것을 단순히 검색 엔진의 대체재로 본다면, 사람들이 전통적인 채팅을 통해 이러한 이점을 직접 얻을 수 있을지는 명확하지 않습니다. 하지만 저는 이 모든 것들이 하나로 모여 정점에 도달할 것이며, 우리는 이 10억 사용자가 투자이며, 미래 모델이 잠금 해제되는 방식의 실제 축적이며, 당신이 ChatGPT Work 등을 통해 그 첫 걸음을 보고 있다고 생각합니다. 여기에는 많은 미묘함과 복잡성이 있지만, 많은 전략은 항상 소비자가 있고, 기업이 있으며, 이것은 두 가지 일이라고 말해왔습니다 – 우리는 두 가지 일을 원하지 않고, 한 가지 일을 원합니다. 우리는 AGI, 하나의 시스템, 하나의 통합 스택을 구축하고 싶습니다. 우리는 그것이 당신의 개인 생활과 직장 생활 모두에서 사용할 수 있는 것이 되기를 바랍니다.

네, 하지만 이것이 내부 조직 구조를 출력하는 것에 관한 문제는 아닐까요? 당신은 이전 버전과는 엄청난 차이가 있는 새로운 ChatGPT를 출시했으며, 이는 Codex를 기반으로 구축되었습니다. 저는 OpenAI 내부의 이점을 볼 수 있지만, 고객들은 자신이 무엇을 할 수 있는지 인식하지 못하기 때문에 좌절감을 느끼지 않을까요? 그래서 "우리는 그들을 바로 깊은 물에 던져 넣을 것이고, 그들이 스스로 알아내길 바란다"는 것일까요?

GB: 저는 업계가 근본적으로 변화하고 있다고 생각하며, 현재 등장하고 있는 새로운 에이전트 제품에서 이를 볼 수 있습니다. 핵심적인 변화는 당신이 채팅에서 에이전트 사용 사례로 이동하고 있다는 것이라고 생각합니다. 다시 말하지만, 이것은 단지 생산성에 관한 것만이 아닙니다. 개인 생활에서 당신은 이 물건이 당신을 위해 티켓을 예약하고, 이발 약속을 잡고, 그런 개인적인 일들을 처리해주길 원할 뿐만 아니라, 좋은 삶의 조언을 해주고, 건강 정보를 처리하는 데 도움을 주길 원할 것입니다.

따라서 저에게 '생산성'이라는 단어는 너무 협소합니다. 저에게 '소비자'라는 단어는 너무 광범위합니다. 기업 또한 제가 생각하기에 변화할 것입니다. 이 모든 고전적인 용어들은 전례 없는 방식으로 제품을 구축하면서 융합되고 뒤섞일 것입니다. 따라서 제 관점은 여기에 변화 관리가 필요하다는 것입니다. 즉, 10억 사용자를 새로운 사용 사례 집합으로 안내하고, 그들이 이해하도록 돕는 것입니다. 게다가, 말하자면, 당신이 무엇을 성취하려고 하는지 이해하는 AI를 가지고 있다는 '불공정한 이점'이 존재할 가능성이 있습니다.

맞습니다.

GB: 그것은 "오, 이 커넥터를 활성화하면, 이렇게 하면 실제로 더 많은 도움을 줄 수 있어"라고 말할 수 있습니다. 제가 보기에는 이것은 놀라운 일이며, 놀라운 기회이며, 거기에는 큰 잠재력이 있습니다. 제가 '불공정하다'고 말할 때, 그것은 고전적인 기술로 성취할 수 있는 것과 비교했을 때를 의미합니다. 만약 당신이 단순히 한 기술과 다른 기술을 비교한다면, 이 기술은 독특한 점이 있습니다.

당신은 이전에 튜링 관점(Turing angle)을 언급했고, 당신이 두 부분을 언급해서 기쁩니다. AI가 사람처럼 말할 수 있기 때문입니다? 분명히, 우리는 오래전에 그 지점을 넘어섰습니다. 하지만 저에게 AGI의 정의 – 이것은 당신에게 골치 아픈 문제이며, 아마도 마침내 마이크로소프트와의 계약에 얽매이지 않게 되었기 때문에 우리는 더 이상 그 각도에 대해 걱정할 필요가 없을 것입니다 – 저에게 그것은 학습과 어떤 관련이 있습니다. 당신은 학습을 언급했고, LLM이 얼마나 많이 학습했는지(과거형)를 언급했지만, 도전 과제는 그것이 지속적으로 학습하는지(현재 진행형) 여부에 있습니다.

저에게 에이전트 시대의 혁명적인 점은, 제 생각에, 그것이 실제로 무언가를 기록할 수 있는 능력에 있다고 생각합니다. 이것이 바로 Codex/ChatGPT 전환의 필요성이 있는 이유이며, 그것이 무언가를 기록할 수 있는 능력을 얻었기 때문입니다. 만약 당신이 기록할 수 있다면, 당신은 기억할 수 있습니다. 만약 당신이 기억할 수 있다면, 당신은 다양한 측면에서 매우 유용해질 수 있습니다. 문제는 이것이 최종 상태인지, 아니면 우리가 지속적으로 학습할 수 있는 LLM을 얻게 될 것이며, 그것이 바로 AGI인지입니다? 제가 잘못 생각하고 있는 것일까요, 아니면 이것이 튜링 문제의 두 번째 부분에 부합하는 것일까요?

GB: 네, 저는 이것 또한 매우 흥미로운 논쟁 영역이라고 생각합니다. 사람들은 실제로 AGI에 대한 자신만의 정의를 가지고 있고, 그것은 거의 모호한 것입니다. 처음에 우리는 그것이 마치 모두가 동의하는 하나의 시점이 있을 것이라고 생각했지만, 상황은 전혀 그렇게 전개되지 않았습니다.

현재 저는 기술로부터 추상화된 관점을 취하는 경향이 있습니다. 따라서 기억이 반드시 가중치에 통합되어야 하는지? 이것이 트랜스포머(Transformer)인가 다른 것인가? 이러한 질문들은, 제 생각에, 세부 사항입니다. 진짜 문제는 당신이 진정한 AI가 기대하는 방식으로 작동하는 시스템, 즉 학습할 수 있고, 당신에게서 배울 수 있으며, 당신의 요구에 적응할 수 있는 시스템을 가지고 있는지 여부입니다. 그리고 이 문제는 그것이 기억을 위한 메모장에 쓰는 방식으로 구현되는지? 소프트 토큰(Soft Token)을 통해 구현되는지? 아니면 다른 방식을 통해 구현되는지의 문제입니다.

이 모든 것들은, 저에게, 문제에 대한 가능한 답변처럼 느껴집니다. 우리가 '메모장에 쓰기' 방식으로 합리적인 기대보다 훨씬 더 멀리 나아갔다는 것은 명백해 보입니다. 그것이 그렇게 성공하는 것을 보는 것은 정말 놀랍습니다. 왜냐하면 2년 전만 해도 우리는 "네, 당신은 이렇게 긴 컨텍스트가 필요해요, 그것이 바로 당신에게 필요한 거예요"라고 말했을 수도 있지만, 실제로는 단순히 '메모장에 쓰기'와 더 짧은 컨텍스트만으로도 그것이 놀라울 정도로 멀리 나아간다는 것이 증명되었기 때문입니다.

그냥 기록하면 되는 거군요.

GB: 그래서 우리는 미래에 이것들을 개선하는 것이 무엇을 가져올지 지켜볼 것입니다. 저는 거시적으로 보면 모든 것이 지수 함수적이라는 믿음을 가지고 있습니다. 확대해서 보면, 이러한 패러다임 전환을 보게 됩니다. 덧붙이자면, 이것은 기술과 컴퓨팅이 어떻게 작동하는지에 대한 레이 커즈와일(Ray Kurzweil)의 관점입니다. 저는 기억이 어떻게 작동할 것인지에 대한 문제에서도 이것이 절대적으로 옳다고 생각합니다.

Astra

그래서 당신은 방금 Astra를 발표했습니다. 우리는 드디어 본론으로 들어왔네요. 이것은 새로운 사전 훈련 모델인가요? 크기나 아키텍처에 대한 세부 사항을 발표할 계획인가요? 우리는 공식 발표 전에 이 녹음을 하고 있기 때문에, 당신이 발표한 모든 내용을 아직 보지 못했습니다.

GB: 음, 우리는 내부 세부 사항이나 아키텍처 등에 대해서는 논의하지 않을 것입니다. 하지만 이것은 엄청난 진전입니다. 우리가 훈련한 첫 번째 10만 개 이상의 GPU 실행이라고 말할 수 있습니다. 쉽게 말할 수 있는 숫자이지만, 그 규모를 생각해 보십시오. 이러한 데이터 센터는 어떤 면에서는 우리가 AI 기술을 전달하고 창조하기 위해 건설한 거대한 기계이며, 우리가 달성한那样的 결과를 전달하기 위해 그렇게 많은 컴퓨팅 성능을 활용할 수 있다는 것은 진정한 엔지니어링 도전이자 기적입니다.

따라서 그 중 일부는 모델을 더 유능하게 만드는 것에 관한 것이지만, 그렇게 많은 컴퓨팅 성능이 안전과 정렬(Alignment)에 사용되었으며, 우리는 이 분야에서 많은 안전 작업을 수행했습니다. 저는 우리가 이 모델을 안전하게 전달하기 위해 많은 작업을 수행했다고 생각합니다. 이것은 지금까지 우리가 만든 가장 정렬된 모델이며, 저에게 이것은 절대적으로 중요하며, 항상 그래왔습니다. 하지만 능력이 너무 강력하기 때문에, 정렬과 안전은 모든 사람의 작업에서 더욱 두드러지고 중심이 되었습니다.

당신의 발표 게시물은 매우 흥미로웠습니다. 매우 사실적이었습니다. 실제 사용 사례가 많이 있었습니다. 경쟁사의 발표와 비교하면 대비가 매우, 매우 큽니다. 당신은 AI를 도구로 포지셔닝했습니다 – 제 생각에는 공정한 표현이라고 생각합니다 – 이것은 마케팅에 관한 것일까요, 아니면 당신이 AI를 그렇게 보는 것일까요? 예를 들어, 신을 창조하는 것과는 반대로 말이죠?

GB: 저는 우리에게 깊고 근본적인 가치관이 있다고 생각합니다. 그 중 일부는 실제로 우리가 사람을 어떻게 바라보는지와 관련이 있습니다. 사람은 단지 우리가 작업을 완료할 수 있기 때문에 가치가 있는 것이 아닙니다. 우리는 사람이기 때문에, 감정을 가지고 있기 때문에, 우리가 중요하기 때문에 가치가 있습니다. 인간의 판단, 인간의 감독, 인간의 통제, 이 모든 것은 절대적으로 유지되어야 하며, 영원히 유지되어야 합니다. 이것이 우리가 믿는 핵심적인 불변의 가치입니다.

그래서 우리가 이 기술의 미래를 올바른 방향으로 이끌기 위해 무엇을 할 수 있을지 고민할 때—어떤 면에서 이것이 바로 이 모든 것의 의미이고, 우리가 이곳을 설립한 이유이며, 우리가 관심을 갖는 것이고, 우리가 없을 때보다 이 기술이 조금 더 긍정적인 방향으로 나아가도록 어떻게 도울 수 있을지—우리는 이 기술이 세상에 어떻게 펼쳐질지에 대해 생각합니다. 우리는 그것이 모든 사람을 향상시키길 바라지만, 이는 또한 인간이 기술 및 컴퓨터와 어떻게 상호작용할지에 관한 문제이기도 합니다. 그것은 분명히 변화하고 있습니다. 단순히 타이핑을 줄이고 컴퓨터와 더 많이 대화하며, 더 자연스러운 인터페이스를 갖는 것만으로도 변화하고 있습니다.

하지만 진정한 인간의 감독, 창의성, 그리고 비전은 모두 매우 중요하게 보존되어야 한다고 생각합니다. 그래서 이것은 실제로 이러한 질문들로 스며듭니다: 그것을 사람으로 이야기할 것인가, 도구로 이야기할 것인가? 사용 사례를 고려하는가? 아니면 다른 방식으로 생각하는가? 이것을 거의 사소한 일로 볼 수도 있고, 실제로 당신이 지적해줘서 기쁘지만, 이것은 우리가 매우 신중하게 고려한 사항입니다. 팀은 우리가 말하고자 하는 모든 것과 이러한 종류의 작업을 세상에 어떻게 보여줄지에 대해 진지하게 생각하는 데 엄청난 시간을 투자했습니다.

그래서 이것은 모델 출시인가요, 아니면 제품 출시인가요, 아니면 차이가 있나요?

GB: 이런 것들은 실제로 융합됩니다. 저는 이것이 우선 모델 출시라고 말하겠지만, 해당 모델은 질적으로 더 뛰어난 능력을 가지고 있습니다. 아마도 헤드라인은 컴퓨터 사용(CU)일 것입니다. 그것은 실제로 제 기준을 넘어섰습니다. 컴퓨터 사용은 항상—OpenAI가 설립될 때부터, 2015년 11월, 그것이 실제로 시작되기 전에도 기억합니다—

음, 그것은 마치 여러분의 첫 번째 제품과 같았죠, 그렇죠? 비디오 게임 같은 것을 하는 것처럼요.

GB: 네, 맞습니다. 아, 기억하시네요, 네. 우리는 비전이 있었습니다. 만약 화면 픽셀, 키보드, 마우스를 처리하고 AI를 종단간(end-to-end)으로 훈련시킬 수 있다면, 그것은 실제로 모든 종류의 작업, 사람들이 도움을 받고 싶어하는 모든 것을 처리할 수 있을 것이라고요.

지난 2년간의 시대를 보면, 그것은 커넥터(connector)의 시대였습니다. 인간은 잘 사용할 수 있지만 AI는 접근할 수 없는 소프트웨어가 있습니다. 그렇다면 어떻게 해야 할까요? API에 연결하기 위해 매우 구체적인 커넥터를 작성해야 하며, 모든 것이 노출되어 있지 않기 때문에 할 수 있는 모든 것을 할 수 없습니다. 그리고 API가 없는 수많은 소프트웨어, 완전히 손이 닿지 않는 것들을 생각해보세요.

그래서 우리는 제한된 세계를 가지고 있었고, AI는 여러분을 돕는 데 있어 그렇게 큰 제약을 받았습니다. 저는 우리가 이제 거의 범용 커넥터라고 할 수 있는 기술을 가지고 있다고 생각합니다. 이것이 모든 문제가 해결되었다는 것을 의미하지는 않습니다. 이러한 AI의 행동 주변에 어떻게 기업용 안전장치(enterprise guardrails)를 설정할 것인지 고려해야 합니다. 어떻게 적절한 감독, 관리, 추적 및 관측 가능성(observability)을 확보할 것인가? 이 모든 것을 우리는 위해 노력하고 있습니다.

그래서 저는 이것이 제품이 이러한 능력을 활용하는 데 도움이 되도록 어떻게 펼쳐질지에 대한 지속적인 과정이라고 생각합니다. 하지만 그것은 이미 OpenAI 내부 사람들의 작업 방식을 변화시키고 있으며, 정말로 많은 회사와 개인을 향상시킬 것이라고 생각합니다.

AI 가치 사슬

전체 가치 사슬을 고려해보면, 두 전선에서 싸워야 하는 위치가 있습니다. 하나는 Microsoft와 같은 회사나 다른 파트너들이 있습니다—만약 그들을 언급하고 싶지 않다면, 그들은 여전히 중요한 파트너이기 때문입니다—하지만 그들은 모델을 상품화(commoditize)하기를 원합니다. 그들은 최상위 계층에 무언가를 구축하기를 원하며, 모델을 플러그 앤 플레이(plug and play)로 사용하고, 모든 컨텍스트와 중요한 것을掌握하고 있습니다. 하지만 동시에, 당신은 최종 사용자와 밀접하게 연결되어 단순히 원하는 대로 수행하는 이러한 놀라운 능력을 구축하고 있습니다. 이것이 당신의 목표를 달성하기 위해 필연적으로 도달해야 하는 지점입니까? 또한 경제적 필요성도 있습니까—우리가 상품화되는 것을 원하지 않는다면, 우리는 제품 영역으로 올라가 사용자와 직접 연결해야 합니까?

GB: 저는 우리의 근본적인 사명은 세상에 더 많은 AI 능력이 있기를 바라는 것이라고 말하겠습니다. 우리는 사람들이 AI를 더 많이 사용하여 더 많은 일을 하고, 그들이 도움을 받기를 바라며, 우리가 이 컴퓨팅 기반 경제를 추진하고 있다고 진심으로 믿습니다. 이는 다양한 수직적 영역에서 다른 형태를 취한다는 것을 의미합니다.

때때로 우리는 특정 분야에 진정으로 집중하여 잘 해낼 수 있는 위치에 있다고 느끼거나, 그것이 우리 사명의 핵심에 매우 가깝습니다. 건강(Health)은 좋은 예입니다. 우리는 건강 분야에서 매우 독특한 무언가를 구축하고 있습니다. 실제로 저를 놀라게 하는 것은, 우리가 건강 분야에서 하는 일이 실제로 도움을 주는 사람 수에 비해 얼마나 적은 보도를 받는지입니다. 우리는 매주 약 3억 명의 사람들이 건강 관련 문의를 위해 ChatGPT를 사용합니다. 3억 명, 엄청난 숫자입니다. 그리고 우리는 임상의를 위한 상향식(bottom-up) 제품과 병원을 위한 하향식(top-down) 기업 제품도 구축하고 있습니다. 그래서 우리는 건강 분야에서 삼자 시장(three-sided market)을 가지고 있으며, 우리가 거기서 할 수 있는 일은 예를 들어, 임상 시험을 위한 참가자를 모집하는 것과 같습니다—이것은 어려운 문제이지만, 우리는 실제로 원래는 발견되지 않았을 사람들을 찾는 데 도움을 줄 수 있는 능력이 있을 수 있습니다. 이것은 환자에게 도움이 될 뿐만 아니라 이러한 약물이 더 빨리 진행되도록 도울 수 있습니다.

그래서 여기에는 핵심이 있습니다. 건강은 우리 사명에 매우 중요하며, 우리는 성공할 독특한 기회, 독특한 기회를 가지고 있어 진정으로 집중할 수 있습니다. 우리는 팀을 구성하고, 모든 에너지를 쏟았으며, 다양한 관계를 구축했습니다.

특정 수직적 영역에 진입할 때 우리가 하는 한 가지 일은 생태계와 어떻게 잘 협력할지 생각하는 것입니다. 이것이 우리가 그곳에서 경쟁하지 않을 것이라는 의미는 아닙니다—우리는 종종 매우 열심히 경쟁합니다—하지만 우리는 또한 모든 참여자를 향상시키고, 우리가 이 핵심 사명, 즉 우리가 이 기술을 가지고 있으며, 그것이 널리 퍼지고 모든 곳에 존재하기를 바라는 사명에 진정으로 집중하는 방법을 진정으로 생각합니다. 그래서 때때로 상황이 약간 미묘할 수 있습니다. 우리가 특정 분야에 진입할 때, 우리가 정확히 무엇을 하려는지, 무엇을 할 수 있고 할 수 없는지에 대한 많은 질문이 항상 있습니다. 하지만 우리가 이것을 바라보는 방식은 OpenAI의 전반적인 목표가 더 많은 사람들이 긍정적인 방식으로 AI를 사용함으로써 이익을 얻는다는 것입니다.

음, 만약 위에 당신을 상품화하려는 계층이 있다면, 아래에 있는 계층을 상품화하려는 각도도 있을 수 있습니다. 여러분은 최근 Hot Chips에서 여러분의 Jalapeño 칩에 대해 더 많이 이야기했습니다. 왜 Jalapeño가 중요합니까? 단순히 칩 구매 비용을 절약하기 위해 중요한가요?

GB: 저는 그것을 2017년 이후로 우리가 기본적으로 모든 하드웨어 스타트업, 모든 공급업체와 접촉해왔다고 볼 것입니다. 우리는 그들과 대화하고, 피드백을 주며, "이봐요, 우리는 모델이 이런 방향으로 발전하는 것을 보고 있습니다. 여러분도 이렇게 해야 한다고 생각합니다"라고 말했습니다. 때로는 그들이 우리 말을 듣고, 때로는 듣지 않으며, 때로는 우리가 친밀한 파트너이고, 때로는 그들이 우리와 이야기하기를 꺼려합니다.

내부 칩 프로젝트를 갖는 것에 대해 매우 자유로운 점 한 가지는, 우리가 최고라고 생각하는 것, 우리가 현재 하고 있는 일뿐만 아니라 이 기술이 발전할 방향을 위해 정확히 조정되었다고 생각하는 것을 직접 추구할 수 있다는 것입니다. 이것은 매우 큰 투자입니다—우리는 팀, 절대적으로 놀라운 팀, 뛰어난 리더십을 가진 팀을 보유하고 있으며, 그들은 꽤 오랫동안 이 작업을 해왔습니다. 하지만 마찬가지로, 이것은 우리가 생태계와 긴밀하게 협력하는 것의 일부이기도 합니다.

우리는 NVIDIA와 최우선 컴퓨팅 파트너로서 긴밀하게 협력하고 있습니다. 우리가 구축하고 있는 컴퓨터의 규모와 독특함을 보면, 우리는 NVIDIA가 필요합니다. 의심의 여지가 없습니다. 우리는 이 놀라운 훈련용 컴퓨터를 구축하고 있으며, 또한 이를 사용하여 대량의 추론(inference)을 수행하고 있으며, 그들 스스로도 인지하지 못한 방식으로 그들의 하드웨어를 밀어붙일 수 있습니다.

네, 듣기로는 집어 올리기가 다소 어려워서, 아주 큰 모델을 제때 출시하는 것을 더 어렵게 만들 수도 있다고 들었지만, 지금은 작동하고 있는 것 같군요.

GB: 네, 네. 제가 말하고 싶은 것은, 내부 전문성을 갖는 것이 우리가 사물을 깊이 이해하기 때문에 어떤 일들을 가능하게 한다는 것입니다. 울타리 밖에 앉아서 조언을 던지는 것과 실제로 그 고통을 겪는 것은 다른 일입니다.

이것의 좋은 예는 실제로 칩 설계를 위한 AI입니다. 우리는 이것에 대해 이야기한 적이 있습니다. 우리는 Jalapeño 설계에 우리 자신의 모델을 사용했고, 그것은 속도를 높이고 진정한 승리, 모든 멋진 것들을 가져다주었습니다. 그런데, 거기에는 멋진 이야기가 있습니다. 우리는 마감일에 가까워졌고, 약 한 달이 남았을 때 우리 모델을 통해 몇 가지 최적화를 얻었습니다. 우리는 생각했습니다. "우리는 그것이 무엇을 했는지 읽는 데 시간을 쏟을 것인가? 우리는 그것이 옳다는 것을 압니다. 그것이 수행한 최적화를 정확히 이해해야 할까요, 아니면 남은 시간을 더 많은 최적화를 하는 데 쓸까요?" — 그래서 우리는 "있잖아요? 그냥 더 많은 최적화를 합시다"라고 말했습니다. 그래서 우리는 그 한 달을 그것이 수행한 모든 조정을 깊이 이해하지 않고 그냥 실행하는 데 보냈습니다. 그리고 나중에 돌아가서 읽어보니, 그것이 원래 우리 목록에 있었지만 결코 하지 못했던 많은 최적화를 찾아냈다는 것을 알게 되었습니다. 그래서 그것은 실제로 꽤 멋진 이야기입니다.

하지만 이제 우리는 그 전문성을 가지고 있으며, 이것이 효과가 있다는 것을 알고, 그것을 생태계에 가져갈 수 있습니다. 우리는 모든 사람과 긴밀하게 협력하여 이러한 이점을 진정으로 광범위하게 가져오고, 하드웨어를 변화시키며, 대규모로 적용할 수 있습니다. 그래서 그 플라이휠(flywheel)에 대해 절대적으로 중요한 무언가가 있으며, 칩은 놀랍고 팀은 훌륭한 일을 하고 있습니다.

하지만, 대량으로 출하할 수 없고 필요한 공급을 얻기 위해 여전히 생태계의 다른 사람들과 협력해야 할 때, 지금 그것에 대해 이야기하는 것이 문제가 되지 않습니까?

GB: 음, 하지만 이것이 핵심입니다. 실제로 모든 것의 핵심입니다. 우리는 그것이—모든 것이 승수 효과(multiplier effect)이고, 모든 것이 상호 보완적이며, 모든 것이 합쳐진다고 생각합니다. 다시 말하지만, NVIDIA는 우리의 최우선 파트너이며, 이것은 변하지 않을 것입니다. 사실, 우리는 그들과 더욱 긴밀하게 협력하고 있습니다. 우리는 이 파트너십에 깊이 감사하며, 그들의 팀과 많은 시간을 보내고, 그들로부터 많은 것을 배우며, 그들도 우리로부터 무언가를 배우기를 바랍니다. 그리고 이것이 변하지 않을 것이라고 생각합니다. 우리가 내부 전문성을 갖고 우리 자신의 방식으로 문제를 생각할 수 있는 것은, 저에게는 이것 역시 승수 효과이며, 정말로 모든 사람에게 이익이 된다고 생각합니다.

사이버 보안

방금 AI의 설계를 신뢰하기 시작했다고 말씀하셨는데, 그것이 당신을 더 멀리 나아가게 했습니다. 이것이 사이버 보안의 해답인가요? 당신의 엔지니어 중 일부가 Black Hat 컨퍼런스에서 연설하며 이 구조적 문제에 대해 이야기했습니다. 공격자는 무언가를 망가뜨리는 것에 대해 걱정할 필요가 없으며, 그들의 목표는 무언가를 망가뜨리는 것입니다. 만약 당신이 방어자라면, 이러한 공격을 막는 것 외에도 모든 것이 계속 작동하도록 해야 합니다. 방어자가 완전히 AI를 신뢰하는 수준에 도달해야 할까요?

GB: 저는 하드웨어 측면이 매우 중요한 사례 연구라고 생각합니다. 왜냐하면 거기에는 우리에게 가드레일이 있기 때문입니다. 우리는 검증을 가지고 있고, 실제로 우리가 하드웨어 설계를 작성하는 방식은 검증을 허용하기 위해 특별히 설계되었습니다. 그래서 우리는 거의 전체 시스템을 공동 설계했습니다.

이것은 마치 코딩할 때, 먼저 단위 테스트를 작성하고 그 다음에 그것을 역으로 구현하는 것과 같습니다.

GB: 그런 종류의 일, 어떻게 언어와 툴체인을 선택하는지, 전체적으로, 그것들은 모두 함께 작동하며, 실제로 이 모든 것이 합쳐져서 그러한 관찰 가능성과 신뢰를 가질 수 있는 시스템을 만듭니다.

저는, 어떤 영역에서는 "내가 충분한 가드레일을 가지고 있어서, 이것이 내가 완전히 확인하지 않은 코드나 최적화라도 괜찮다"고 말할 수 있다고 생각합니다. 단, 적절한 보상 통제가 있다면 말이죠. 하지만 인간으로서 당신이 창조한 시스템에 대한 책임을 이해하고 느껴야 한다는 것이 매우 중요하다고 생각합니다. 이것은 실제로 저에게 핵심이며, 인간이 무엇인지, 우리의 독특함이 무엇인지, 우리가 미래로 가져갈 것이 무엇인지에 대한 근본으로 돌아갑니다. 저는 책임이 그 핵심에 있다고 생각합니다. 궁극적으로, 당신은 당신 회사에서 일어나는 일에 대해 책임을 져야 합니다.

맞습니다. 하지만 공격자가 책임을 지지 않는다면, 이것은 구조적 불리함인가요?

GB: 그래서 이것은 우리가 자주 생각하는 것이며, 우리는 이것을 '방어자의 창'이라고 부릅니다. 저는 우리가 미래의 대략적인 윤곽을 볼 수 있다고 생각합니다. 우리가 가진 최첨단 역량은 위협 행위자에게 확산될 그런 종류의 능력을 보여줍니다. 덧붙여 말하자면, 저는 그러한 능력이 소수의 연구소에 영원히 갇혀 있지는 않을 것이라고 생각합니다. 이것은 매우 중요하며, 권력의 광범위한 분배는 매우 중요하며, 이것은 우리 사명의 일부이기도 합니다.

하지만 우리는 시간적으로 분리를 실현할 능력이 있습니다. 방어자가 이러한 능력을 차별적으로 획득할 수 있는 창이 존재합니다. 제 요점은 이것이 사실이라는 것입니다. 사이버 보안 업계에는 공격은 기술적 문제이고 방어는 정치적 문제라는 일반적인 인식이 있습니다. 공격자는 선반에서 바로 물건을 집어서 사용할 수 있지만, 방어자로서 당신은 이해관계자를 고려해야 하고, 비즈니스를 고려해야 하며, 어떻게 사람들을 실제로 참여시킬지, 당신의 CEO, 모든 임원진, 이 모든 것을 고려해야 합니다. 그래서 저는 여기서 방어자에게는 그런 의지력이 필요하다고 생각합니다.

우리가 제안하는 한 가지, 우리가 실제로 해냈고 지금 공개적으로 이야기하고 있는 것은, 모든 회사가 이것을 능동적 사건으로 간주해야 한다는 것입니다. 핵심 비즈니스 운영, 능동적 사건, 그것이 당신의 다음 우선순위입니다. 그래서 우리는 실제로 생산 엔지니어의 25%를 빼내서 우리 자신을 보호하고 있습니다. 우리는 우리의 모델을 가져옵니다. 사실, 우리는 Astra를 가져와서 우리 자신의 시스템을 가리켜 취약점을 찾고 있습니다. 단순히 코드를 읽는 것이 아니라 이러한 것들이 종단 간 어떻게 작동하는지 실제로 관찰하여 실제 유효한 취약점을 찾고, 그런 다음 그것이 수정, 패치 및 복구에도 도움이 됩니다. 그래서 저는 생태계 내에서 에너지의 전환이 필요하다고 생각합니다. 그래야 앞서 나가고 이 창을 활용할 수 있습니다.

음, 지금 당신이 이런 일을 하는 것은 좋지만, 저에게 Hugging Face 사건과 관련 보도에서 가장 눈에 띄는 점은 OpenAI가 이전에 사이버 보안에 특별히 신경을 쓰지 않았다는 느낌입니다. 왜 예전에는 그렇게 하지 않았나요? '방어자의 창'은 이미 한동안 열려 있었는데, 당신은 그것을 잘 활용하지 못했잖아요?

GB: 음, 두 가지 답변이 있습니다. 하나는, 우리가 샌드박스를 만드는 방식을 보면, 이 워크로드가 샌드박스 처리되지 않았다는 뜻은 아닙니다. 실제로 그것을 둘러싼 샌드박스가 있었고, 우리가 깨달은 한 가지는 우리가 ——

네, 분명히 충분히 테스트되지 않았습니다. 그것이 정말 샌드박스였나요? 아니면 제3자를 통해 인터넷에 연결된 것인데, 그 제3자는 그냥 던져진 것일 뿐이었나요? 이 사건에서 가장 눈에 띄는 점이 바로 이것입니다. 이것은 마치, 취약점을 테스트하고 싶다면, 당신이 실제로 테스트했다고 생각합니다.

GB: 의심할 여지 없이, AI는 탈출하여 Hugging Face에 들어가기 위해 매우 창의적인 일을 했습니다. 하지만 저에게는 더 큰 문제가 있습니다. 당신이 지적한 것이 옳다고 생각합니다. 올 여름 Mythos가 출시된 이후로, 우리가 네트워크 능력을 갖춘 모델을 갖기 시작했을 때——우리는 심지어 2월에 네트워크 신뢰 접근 계획에 대해 이야기했습니다. 왜냐하면 우리가 이 물결이 오는 것을 보고 있었고, 이에 정말로 대비하고 싶었기 때문입니다——경향이 있습니다——

압니다, 하지만 당신은 2월에 이야기했지만, 그것을 당신의 샌드박스에 적용하지 않았습니다. "내 샌드박스가 정말 안전한가?"

GB: 본능, 즉 반응이 있습니다. "접근을 대규모로 제한하자, 정말 엄격하게 제한해서 접근 권한이 있는 사람만 사용할 수 있게 하자"는 것입니다. 당신이 말했듯이, 분야가 계속 발전하고 있기 때문에, 이는 방어자가 시간을 잃고 사람들이 방어를 하지 않는다는 것을 의미합니다. 그 부분은 접근에 관한 것이지만, 부분적으로는 우리가 이 분야에서 중대한 전환을 이루겠다고 얼마나 많은 힘을 쏟느냐에 관한 것입니다.

지금, 어느 정도 시간이 항상 동등하게 만들어지는 것은 아니라고 생각합니다. 왜냐하면 우리는 네트워크 모델이 그다지 유용하지 않고 차별화되지 않았던 세계에서, 실제로 매우 유능하고 강력한 세계로 왔기 때문입니다. 우리는 Astra에서 이것을 보았고, 그것이 어떻게 일련의 평가를 실제로 포화시켰는지에 대해 이미 이야기했습니다. 저는 지금이 바로 그때라고 생각합니다. 몇 달 전도 그때였을 수 있지만, 당신은 훨씬 더 약한 능력의 모델만을 가지고 있었을 것이고, 훨씬 더 적은 진전을 이루었을 것입니다.

그래서 저는, 우리가 있는 위치를 진정으로 평가하는 것이 중요하다고 생각합니다. 우리는 분명히 거기에 도달했고, 이것이 우리가 배운 것이며 마음에 새기고 있다고 느낍니다. 그리고 당신은 진정한 전환을 목격하고 있다고 생각합니다. 이것은 여러 면에서 실제로 문화적 변화, 운영적 변화이며, 쉽지 않습니다. 왜냐하면 그것은 팀들이 매우 긴밀하게 협력하고, 정책을 수립하는 방법 등에 대해 더 높은 기준을 가져야 함을 의미하기 때문입니다. 이 모든 것이, 우리에게 있어 전환에 관해서는, 우리가 항상 이러한 측면에 관심을 가져왔다는 것이 아니라, 실제로 운영적으로 그것들을 결합하고 우리가 가진 방식으로 결정을 내릴 수 있다는 것이며, 이것이 우리가 하는 모든 것의 모든 측면의 향상이라고 생각합니다.

이제 갑자기 그들이 그것을 할 수 있게 되었고, 예전에는 시간 낭비였을 것이라고 말하는 것은 일리가 있다고 생각합니다. 어떻게 "AI가 미래에 할 것이므로 지금 할 필요가 없다"는 함정에 빠지지 않을 수 있나요? 일반적으로, 이 문제만이 아니라요.

GB: 구체적인 데이터 포인트 하나를 말씀드리자면, 초기, 대략 1분기 즈음에 우리는 정말로 생각하기 시작했습니다. 우리는 언제가 될지 알기 어렵지만, 이러한 매우 강력한 네트워크 능력을 가진 모델을 갖게 될 것이라고요. 처음부터 구축할 수 있는 샌드박스는 무엇일까요? 클라우드 인프라 위에 구축하여 가능한 한 안전하게? 우리는 그것을 구축했습니다. 우리는 실제로 최고의 엔지니어 몇 명을 그 문제를 해결하는 데 투입했고, 그들은 전력을 다해 결과를 만들어냈습니다.

그래서 저는, 당신이 보는 미래를 위해 처음부터 인프라를 구축하는 것이 중요하다고 생각합니다. 당신이 언급한 "아, 우리는 AI가 하게 할 수 있어"라는 시점에 관해서는——우리는 다른 분야에서 이것을 보았습니다. 커널 작성에 관해서, "좋아, 우리는 AI가 GPU 커널을 잘 작성할 수 있는 미래로 들어갈 것이다"라는 사실을 생각해보면, 새로운 유형의 하드웨어를 위한 인프라를 구축하는 데 수개월, 때로는 1년이 걸리는 고전적인 투자, 그런 종류의 일, 또는 우리는 그냥 "아, AI가 해결할 거야"라고 말할까요? 저는 항상 답은 AI가 그 목표에 도달하는 데 필요한 시간이 당신이 예상하는 것보다 조금 더 길다는 것이라고 생각합니다. 하지만 그것이 해낼 때, 당신이 상상할 수 없는 방식으로 놀랍고 강력합니다.

Astra의 예가 있습니다. 우리가 발견한 한 가지는, 올해 우리가 매우 열심히 구축한 일부 기술, 즉 OpenAI에서 일하는 올바른 방법 등을 모델에 보여주기 위한 기술이, 이제 실제로 그 성능에 부정적인 영향을 미치고 있다는 것입니다.

규칙이 너무 많습니다.

GB: 맞습니다. 그것은 더 잘 일반화할 수 있거나, 패턴 등을 처리하는 더 나은 방법을 찾을 수 있습니다. 우리가 작성한 것보다 더 잘요. 그래서 저는 이것에 관해, 당신은 확실히 그러한 통제 장치를 구축하고, 결정론적 인프라를 구축하며, 그러한 기술을 작성하기를 원한다고 생각합니다. 하지만 AI가 더 유능해짐에 따라, 이러한 것들 중 일부, 즉 스캐폴딩이 제한 요소가 될 준비도 되어 있어야 합니다. 그것은 일종의 보조 바퀴와 같습니다. 처음에는 당신을 돕지만, 일단 더 빨리 움직이기 시작하고, 더 유능하고 더 좋고 더 정렬된 것을 가지게 되면, 실제로 장애물이 되기 시작합니다.

당신은 다시 그 12시간 또는 24시간짜리 코딩 몰입 상태에 빠질 것 같습니까?

GB: 그랬으면 좋겠습니다. 언젠가는 일어날 수도 있다고 생각하지만, 지금의 방식으로 팀을 돕는 데서 많은 기쁨과 가치를 찾고 있다고 말해야겠습니다. 저에게 이것은 정말로 그 사명에 관한 것입니다.

음, 당신만이 아니라, 누구라도 그럴까요? AI의 장점이 그것이 영구적인 몰입 상태를 언제든지 제공할 수 있다는 것이 아니기 때문인가요?

GB: 우리는 새로운 방식을 찾을 것이라고 생각합니다. 에이전트를 관리하든——실제로 소프트웨어 엔지니어가 그 어느 때보다 열심히 일하는 것을 보는 것은 정말 미친 일입니다. 왜냐하면 당신의 에이전트가 작동하지 않는다면 그것은 단지 시간 낭비일 뿐이며, 당신은 결코 그것을 되찾을 수 없기 때문입니다. 그래서 저는 사람들이 지금은 상상하기 어려운 방식으로 그 몰입 상태에 도달할 것이라고 생각합니다.

궁극적으로, 당신은 이것이 통제 가능할 것이라고 말하고 있습니다. 이 AI들, "규칙을 너무 많이 두지 마라, 스스로 해결할 것이다", 만약 당신이 이것을 극단으로 밀어붙인다면, 결국 그것은 그들이 통제 불가능하다는 것에 관한 것이 아닌가요?

GB: 음, 저는 이것이 이 순간의 핵심, 우리가 진입한 새로운 단계의 핵심이라고 생각합니다. 어떤 면에서, 저는 우리가 이제 AGI 시대에 진입했다고 말할 수 있습니다. 저는 이것이 이 순간의 핵심이라고 생각합니다. 아마도 이전 모델, 아마도 Astra, 아마도 다음 모델일 것이지만, 어떤 시점에서 우리는 대부분의 사람들이 생각하는 AGI 기준점을 넘을 것이라고 생각합니다.

우리가 속도를 유지하고, 안전, 보안, 정렬(alignment) 및 역량을 요구사항으로 고려하도록 해야 합니다. 우리는 이 모든 것에 대한 기준을 가지고 있으며, 함께 발전시키기를 원합니다. 이것이 우리가 항상 믿어온 것입니다.

하지만, 이러한 다른 측면들이 점점 더 발전의 병목 현상이 되고 있다는 점이 매우 두드러지고 있습니다. 다시 말하지만, 이것은 우리가 이미 준비해 온 일이며, 계속해서 고민해 왔고, 실제로 실행에 옮기고 있다고 생각합니다. 따라서 제 요점은 아직 많은 진전을 이룰 수 있지만, 우리는 이 모든 측면에 대한 기준을 높임으로써 접근해야 한다는 것입니다. 이를 살펴보면, 저는 모니터링 가능성과 같은 것들의 전망을 봅니다. 그것은 매우 중요합니다. 우리는 이를 실제 방식으로 도입하고 있습니다. 우리는 아주 좋은 계획을 가지고 있다고 생각합니다. 우리에게는 훌륭한 사람들, 좋은 실적, 그리고 좋은 사명이 있으며, 이 모든 것은 우리가 통제 가능한 방식으로 시스템을 구축하고 있으며, 속도 측면에서 한 걸음 한 걸음 나아가고 있음을 보여줍니다.

그레그 브록먼, Astra 출시를 축하합니다. 네, 정말 사용해보고 싶습니다.

GB: 대단히 감사합니다. 초대해 주셔서 감사합니다.