CertiK, 컬럼비아대 연구진과 TensorLean 기술 성과 발표… 세계 최초로 DeepSeek·FlashAttention 프로덕션급 AI 연산자 형식 검증 완료

  • CertiK와 컬럼비아대 연구진이 TensorLean을 공개하며 프로덕션급 AI 연산자의 형식 검증을 세계 최초로 완료했다고 밝혔다.
  • 평가한 컴파일된 GPU 커널 149개 중 83개를 형식 검증했고, 6개 라이브러리에서 38건의 정확성 문제를 발견했다.
요약

11월 20일, CertiK는 컬럼비아대학 연구진과 공동으로 이룬 TensorLean 기술 성과를 발표하며, 세계 최초로 프로덕션급 AI 연산자에 대한 형식 검증을 완료했다고 밝혔다. 이번 돌파구는 수학적 증명을 복잡한 성능 최적화를 거친 실제 AI 연산 코드에 적용할 수 있게 함으로써, 대규모 모델 기업이 학습 속도를 높이고 추론 비용을 낮출 때 더욱 엄격한 정확성 보장을 제공한다.

대규모 모델의 학습과 답변 생성은 AI 연산자 라이브러리의 저수준 계산 프로그램에 의존한다. GPU에서 실행되는 이러한 프로그램을 GPU 커널이라고 부른다. 한 곳의 오류만으로도 시스템이 평소처럼 작동하면서 조용히 잘못된 결과를 계산해 이후 출력에 영향을 미치고, 심지어 학습이 예상에서 벗어나게 만들 수 있다. 시나리오 계산을 예로 들면, 1억 달러 규모의 컴퓨팅 파워를 투입한 학습에서 1%의 계산이 오류로 인해 다시 수행되어야 한다면 100만 달러의 추가 비용이 발생한다는 뜻이다.

**형식 검증의 핵심 가치는 수학적 증명으로 오류와 취약점을 배제하는 것이다.**일반적인 테스트는 구체적인 샘플을 통해 문제를 찾지만, 형식 검증은 프로그램이 규정된 입력과 실행 조건에서 항상 요구사항을 충족하며 검증 범위 내에 오류와 취약점이 존재하지 않음을 증명할 수 있다.

이 방법을 프로덕션급 AI 코드에 적용할 때 어려운 점은 실제 성능 최적화를 다루는 데 있다. GPU 프로그램은 데이터를 옮기면서 동시에 계산하고, 작업 크기에 따라 실행 일정을 조정하며, 더 낮은 정밀도의 연산을 사용한다. TensorLean은 이러한 복잡한 조건을 동시에 처리하며, 프로그램이 컴파일된 후 생성된 PTX 코드를 직접 검증해 규정된 조건과 오차 범위 내에서 계산이 요구사항을 충족함을 증명한다. 모든 증명은 Lean에서 완료되며 기계가 검증할 수 있다.

TensorLean 연구팀 멤버인 치앙웨이(强巍)와 양간샹(杨淦翔)은 "이러한 복잡한 최적화야말로 프로덕션급 AI 코드가 빠르게 실행되는 이유"라며 "우리의 도전은 이러한 실제 실행 조건을 무시하지 않은 채 증명을 완성해, 엄격한 검증이 실제로 사용되는 고성능 코드에도 적용될 수 있게 하는 것"이라고 말했다.

연구팀은 컴파일이 완료된 GPU 커널 인스턴스 149개를 평가했으며, 형식 증명을 통해 그중 83개가 해당 Lean 명세를 충족함을 검증했다. 이번 연구는 서로 다른 세대의 GPU 아키텍처를 아우르며, DeepSeek의 DeepGEMM과 널리 사용되는 FlashAttention 연산자 라이브러리를 포함했다. 팀은 총 6개 라이브러리에서 38개의 정확성 문제를 발견했으며, 그중 DeepGEMM에 2개, FlashAttention에 23개가 있었다.

CertiK 공동 창립자이자 컬럼비아대 컴퓨터과학과 교수인 구룽후이(顾荣辉)는 "취약점을 발견한 뒤에는 수정된 프로그램이 규정된 조건에서 요구사항을 충족함을 증명해야 한다"며 "대규모 모델 기업에게는 매번의 속도 향상에 신뢰할 수 있는 정확성 근거가 있어야 한다. 우리는 이러한 엄격한 검증이 코드 반복 속도를 따라가게 해, 계산 오류의 위험을 최대한 대규모 학습과 배포 이전에 차단하고자 한다"고 말했다.

**이번 성과가 대규모 모델 기업에 갖는 실질적 가치는 매 라운드의 성능 최적화에 있다.**코드가 업데이트된 후 개발팀은 속도 향상을 측정하는 것 외에도 검증을 다시 실행해 최적화가 계산 오류를 초래했는지 확인하고, 요구사항을 충족하는 프로그램에 대해서는 기계가 검증할 수 있는 증명을 제시할 수 있다. 이는 컴퓨팅 낭비, 학습 재작업, 잘못된 결과가 후속 계산으로 흘러들 위험을 줄이는 데 도움이 된다.

동일한 유형의 계산은 기존의 검증 요구사항을 재사용할 수 있어, 이 방법을 더 많은 커널에 적용하고 코드가 업데이트될 때마다 반복 실행함으로써 AI 계산 효율성을 지속적으로 높이기 위한 더 신뢰할 수 있는 기반을 제공한다.

올해 10월, 앤스로픽(Anthropic)도 Claude를 활용해 오픈소스 소프트웨어의 수학적 증명을 구성하는 연구를 발표했다. TensorLean은 AI 자체의 저수준 계산에 초점을 맞춰, 자동화된 형식 검증이 프로덕션급 AI 코드에서 갖는 응용 가치를 보여준다.

공유하기:

작성자: 项目动态 · PA官方账号,连接项目最新动态。

이 글은 PANews 입주 칼럼니스트의 관점으로, PANews의 입장을 대표하지 않으며 법적 책임을 지지 않습니다.

글 및 관점은 투자 조언을 구성하지 않습니다

이미지 출처: 项目动态. 권리 침해가 있을 경우 저자에게 삭제를 요청해 주세요.

PANews 공식 계정을 팔로우하고 함께 상승장과 하락장을 헤쳐나가세요
PANews APP
홍콩, 가상자산 업계 사칭 광고 단속…라이선스 신청자 사칭 시 징역 2년, 칭호 위반 사용 시 10만 홍콩달러 벌금
PANews 속보