2.8조 개 파라미터는 시작일 뿐: Kimi K3가 대형 모델 경쟁을 'AI가 AI를 만드는' 방향으로 이끈다

作者：Climber，CryptoPulse Labs

7월 16일, Moonshot AI가 차세대 오픈소스 모델 Kimi K3를 공식 출시했다. 이 모델은 2조 8천억 개의 매개변수, 100만 토큰 컨텍스트 윈도우를 갖췄으며, 시각적 이해를 네이티브로 지원하고 Kimi Delta Attention 및 Attention Residuals 등의 기술을 채택했다.

이는 전 세계 최초의 3조 개 수준 오픈소스 모델이다. Kimi K3의 전반적인 성능은 여전히 Claude Fable 5, GPT-5.6 Sol 등 최강의 폐쇄형 모델에는 미치지 못하지만, 여러 벤치마크에서 첨단 수준을 보여주었으며, Moonshot AI는 전반적인 성능이 다른 테스트 모델들을 안정적으로 능가한다고 밝혔다.

더욱 주목할 점은 Kimi K3가 자체적으로 칩 설계를 완료했다는 점이다. 대규모 모델이 AI 실행에 필요한 하드웨어를 설계하기 시작한 것은 2조 8천억 개 매개변수 자체보다 더 주목할 만한 점일 수 있다.

1. 2조 8천억 개 매개변수 뒤: 대규모 모델 경쟁, 규모에서 효율성으로

지난 몇 년간 대규모 모델 업계에서 가장 이해하기 쉬운 지표는 매개변수 규모였다. 수백억에서 수천억, 다시 수조까지, 매개변수 규모는 거의 모델 능력을 측정하는 중요한 상징이 되었다.

그러나 모델 규모가 2조 8천억 개 매개변수에 도달한 지금, 진짜 문제는 더 이상 ‘모델이 얼마나 큰가’가 아니다. ‘이렇게 방대한 모델을 어떻게 훈련시킬 것인가?’, ‘매 작업마다 실제로 얼마나 많은 매개변수가 연산에 참여해야 하는가?’, ‘어떻게 하면 모델에 더 강력한 능력을 부여하면서도 실행 비용을 통제할 수 있을까?’와 같은 질문이다.

Kimi K3가 내놓은 해답은 희소 아키텍처를 한층 더 확장하는 것이다.

Moonshot AI에 따르면 Kimi K3는 Mixture of Experts, 즉 혼합 전문가 아키텍처를 채택했다. 모델은 896개의 전문가 모듈을 가지고 있지만, 매번 작업 시 그중 16개 전문가만 활성화한다.

이는 모델이 방대한 지식 용량을 가질 수 있지만, 매번 모든 매개변수를 호출할 필요가 없다는 의미다. 마치 896개의 전문 부서를 가진 거대 기관이, 서로 다른 문제에 직면했을 때 가장 관련성 높은 16개 부서만 소집하는 것과 같다.

이 아키텍처의 핵심 가치는 모델의 총 규모와 단일 연산 비용을 분리할 수 있다는 점이다.

앞으로 대규모 모델 경쟁은 더 많은 매개변수를 보유한 쪽이 아니라, 더 많은 매개변수를 더 낮은 비용으로 효과적으로 호출할 수 있는 쪽이 될 것이다.

Kimi K3의 또 다른 핵심 혁신은 Kimi Delta Attention, 즉 KDA이다. 기존 Transformer 아키텍처는 초장문 텍스트를 처리할 때 연산량과 메모리 부담이 현저히 늘어난다. KDA의 목표는 모델이 긴 시퀀스 정보를 처리하는 효율을 높이는 것이다.

동시에 Kimi K3는 Attention Residuals, 즉 주의 잔차 메커니즘을 도입했다. 기존 모델은 보통 계층 단위로 정보를 순차적으로 전달하며, 정보가 뒤쪽 레이어로 계속 누적되지만 중복과 감쇠가 발생할 수 있다. Attention Residuals는 모델이 서로 다른 깊이를 뛰어넘어, 더 이른 단계의 정보를 선택적으로 호출할 수 있도록 한다.

기존 모델의 정보 흐름이 출발점에서 종점으로 흐르는 강과 같다면, Attention Residuals는 강줄기를 따라 정보 검색 시스템을 구축한 것과 비슷하여, 모델이 과제에 따라 서로 다른 깊이의 정보를 재호출할 수 있다.

Moonshot AI는 Kimi K2 대비 Kimi K3가 전체 확장 효율을 약 2.5배 향상시켰다고 밝혔다.

이는 AI 업계가 ‘규모가 클수록 강하다’에서 ‘더 큰 규모를 어떻게 더 높은 효율로 전환할 것인가’로 변하고 있음을 보여준다.

Kimi K3의 의미는 단지 2조 8천억 개 매개변수 모델을 출시한 것뿐 아니라, 오픈소스 모델의 규모 상한을 한층 더 높였다는 데 있다.

과거에는 오픈소스 모델이 폐쇄형 모델의 추격자로 여겨졌다. 그러나 지금은 오픈소스 모델이 ‘초대규모 모델도 공개, 연구, 2차 개발될 수 있다’는 점을 증명하려 시도하고 있다.

2. 챗봇에서 디지털 직원으로: Kimi K3, 복잡한 작업을 겨냥하다

2조 8천억 개 매개변수가 Kimi K3의 가장 전파되기 쉬운 라벨이라면, 진정한 제품 방향은 ‘장기 작업’이다.

과거의 AI 어시스턴트는 대부분 질문에 답변하는 형태였다. 사용자가 질문하면 모델이 답을 내놓고, 코드를 요청하면 코드를 반환하고, 글을 요약해 달라고 하면 요약문을 생성했다.

그러나 현실의 복잡한 작업은 단일 문답으로 끝나지 않는 경우가 많다.

연구자는 논문 읽기, 데이터 정리, 모델 구축, 실험 실행, 결과 분석, 보고서 작성까지 해야 할 수 있다. 프로그래머는 방대한 문서를 읽고, 프로젝트 구조를 이해하고, 코드를 수정해 테스트를 실행하고, 오류를 찾아내며 지속적으로 반복해야 할 수 있다.

이러한 작업의 공통점은 주기가 길고, 단계가 많으며, 정보량이 방대하고, 중간 결과에 따라 다음 행동을 계속 조정해야 한다는 점이다. 바로 이것이 Kimi K3가 해결하려는 문제다.

Moonshot AI가 공개한 사례에서 Kimi K3는 계산 천체물리학 연구 과제를 수행했다. 20여 편의 논문을 읽고 교차 검증하며 수치 계산을 수행하고, 수백 개의 상태 방정식을 평가했으며, 발표된 공식에서 불일치를 발견했고, 3000줄 이상의 파이썬 코드와 인터랙티브 HTML 대시보드를 생성했다.

Moonshot AI는 이 작업에 약 2시간이 소요되었으며, 기존에는 경험이 풍부한 연구자가 1~2주 걸릴 수 있는 작업이라고 밝혔다.

이것이 AI가 연구자를 대체할 수 있다는 의미는 아니다. 과학 연구에서 가장 중요한 부분은 문제 제기, 가설 판단, 결과 해석인 경우가 많다.

그러나 Kimi K3가 보여준 중요한 변화는, AI가 인간의 특정 단계를 도와주는 것에서 점차 한 세트의 워크플로우를 자율적으로 완료하는 방향으로 나아가고 있다는 점이다. 이것이 바로 에이전트 시대와 기존 챗봇 시대의 차이다.

전통적인 챗봇은 ‘무엇을 물으면 무엇을 답한다’에 그친다. 반면 에이전트는 ‘목표를 제시하면 스스로 과제를 분해하고, 도구를 호출하고, 단계를 실행하고, 결과를 점검하며, 지속적으로 수정한다’는 문제를 해결한다.

Kimi K3의 100만 토큰 컨텍스트 윈도우는 이 과정에서 중요한 의미를 갖는다. 대규모 코드 저장소, 연구 보고서, 기업 자료, 복잡한 프로젝트 문서에 대해 모델이 한 번에 더 많은 정보를 이해할 수 있다는 것은, 컨텍스트를 자주 잊어버리거나 사용자가 배경을 반복해서 알려줄 필요가 없다는 뜻이다.

또한 Kimi K3는 비주얼 이해를 네이티브로 지원하여, AI가 더 완전한 작업 폐쇄 루프를 형성할 수 있게 한다.

예를 들어 AI가 코드를 작성한 후 웹페이지 실행 결과를 확인할 수 있고, PPT를 제작한 후 페이지 레이아웃을 점검할 수 있으며, 콘텐츠를 생성한 후 시각적 피드백을 통해 결과를 판단할 수 있다.

과거의 AI가 눈을 감고 코드를 짜는 것에 가까웠다면, 미래의 AI는 과제 이해, 결과 생성, 결과 관찰, 문제 발견, 결과 수정이라는 루프를 형성할 수 있다.

Moonshot AI는 Kimi의 능력을 Kimi Work, Kimi Code, Kimi API 등 시나리오로 확장하여, 각각 연구, 문서, 슬라이드, 스프레드시트, 대시보드, 복잡한 프로그래밍 과제를 겨냥하고 있다.

앞으로 진정한 상업적 가치를 지닌 AI는 가장 많은 질문에 답하는 모델이 아니라, 가장 많은 작업을 완수할 수 있는 모델이 될 가능성이 높다.

기존 소프트웨어는 사용자가 복잡한 조작 절차를 익힐 것을 요구했지만, AI 에이전트의 목표는 검색, 데이터베이스, 프로그래밍, 데이터 분석, 오피스 도구를 연결하여 사용자가 최종 목표만 설명하면 되도록 하는 것이다.

이는 미래 소프트웨어 업계의 경쟁이 더 많은 도구를 가진 자가 아니라, 더 강력한 AI 실행 시스템을 가진 자의 싸움이 될 수 있음을 의미한다.

3. 가장 주목할 것은 모델이 아니라, AI가 칩을 설계하기 시작했다는 점

Kimi K3에서 가장 충격적인 부분은 아마도 자체적으로 칩 설계를 완료했다는 점일 것이다.

Moonshot AI가 공개한 정보에 따르면, Kimi K3는 48시간의 자율 실행 동안 오픈소스 EDA 도구와 Nangate 45nm 공정 라이브러리를 사용해, 자체 아키텍처 소형 모델을 위한 칩 설계, 최적화, 검증을 완료했다.

이것은 Kimi K3가 현대의 첨단 공정 AI 칩의 상업적 양산을 독자적으로 완수할 수 있다는 뜻은 아니다. 45nm 공정은 오늘날 가장 앞선 AI 가속기와 큰 격차가 있으며, 칩이 설계에서 양산까지 이르기 위해서는 복잡한 IP, 공정, 제조, 패키징 및 공급망 체계가 필요하다.

그럼에도 이 시도는 여전히 중요한 의미를 지닌다. 칩 설계는 단순한 코딩이 아니라, 논리 설계, 합성, 배치 및 배선, 타이밍 분석, 전력 최적화, 물리적 검증 등 여러 단계를 처리해야 하기 때문이다.

과거에 AI는 칩 업계에서 레이아웃 최적화, 타이밍 예측, 설계 결함 발견과 같은 국소적인 작업을 도와주는 역할이 대부분이었다.

반면 Kimi K3가 보여준 것은 AI가 단순히 도구를 사용하는 것을 넘어, 스스로 도구를 조직하여 완전한 엔지니어링 흐름을 완수하는 또 다른 가능성이다.

이는 AI 코딩의 발전 경로와 매우 유사하다. 초기 AI는 짧은 코드만 생성할 수 있었으나, 나중에는 완전한 프로그램을 작성했고, 그 후에는 코드 저장소를 읽고 테스트를 실행하며 버그를 수정할 수 있게 되었다. 이제 AI는 AI 실행에 필요한 하드웨어를 설계하는 시도를 시작했다.

이는 AI가 더 강력한 칩 설계를 돕고, 더 강력한 칩이 더 뛰어난 모델을 훈련시키며, 더 뛰어난 모델이 다시 차세대 칩 설계를 돕는 새로운 AI 자기 강화 루프를 형성할 수 있다.

더 주목할 점은 Kimi K3가 GPU 프로그래밍 시스템을 자체 개발하는 능력도 보여주었다는 것이다. Moonshot AI는 Kimi K3가 MiniTriton이라는 Triton 유사 컴팩트 컴파일러 시스템을 개발했으며, 자체적인 중간 표현 계층, 최적화 파이프라인 및 PTX 코드 생성 파이프라인을 포함한다고 밝혔다.

이는 AI 능력의 경계가 소프트웨어 사용에서 더 나아가 소프트웨어 도구 창조로 확장되고 있음을 보여준다. 앞으로 모델 자체가 칩 최적화, 컴파일러 개발, 연산자 어댑테이션, 시스템 튜닝에 직접 참여할 수 있으며, 이것이 아마도 Kimi K3의 가장 중요한 전략적 가치일 것이다.

그것은 단순한 모델 제품이 아니라, AI 네이티브의 연구개발 방식을 탐구하고 있습니다. 모델부터 컴파일러까지, 알고리즘부터 칩까지, 데이터부터 애플리케이션까지, AI는 점차 전체 인프라의 일부가 되어가고 있습니다.

물론, AI가 자체 설계한 칩은 여전히 엄격한 검증이 필요하고, AI가 생성한 연구 결과 역시 전문가의 검토가 필요하며, AI가 복잡한 작업을 자율적으로 수행할 때에도 오류가 발생할 수 있다.

하지만 Kimi K3는 AI가 창조되는 대상에서, 차세대 AI 창조에 참여하는 주체로 점차 변화하고 있다는 중요한 신호를 보여주었다.