PANews 6월 27일 소식, 코인베이스 CEO 브라이언 암스트롱이 X 플랫폼에 게시한 글에서 회사 내부 AI 비용 관리 사례를 공유했습니다. 그는 토큰 호출량이 기하급수적으로 증가하는 배경 속에서 AI 비용을 안정시키는 핵심은 사용 문턱과 소비 알림을 설정하는 것이 아니라, 기본 모델 최적화, 지능형 작업 라우팅, 캐싱 시스템이라는 세 가지 기반 역량이라고 제시했습니다.

코인베이스는 LLM 게이트웨이를 통해 GLM 5.2, Kimi 2.7 등 오픈소스 가중치 모델을 기본 선택으로 설정했으며, 데이터에 따르면 직원의 91%가 한 번도 사용량 상한선에 도달한 적이 없어 회사는 한도 축소나 알람 추가 같은 통제 방식을 포기했습니다. 시스템은 자동으로 프롬프트를 전처리하고, 캐싱과 가격을 결합해 최적의 모델을 자동으로 매칭하며, AI가 사람을 대신해 모델 선택을 완료합니다.

동시에 플랫폼 전 구간에 캐싱 메커니즘을 적용해 LibreChat의 캐시 적중률을 5%에서 60%로 끌어올렸으며, 컨텍스트를 표준화하고 간소화하여 불필요한 토큰 낭비를 줄였습니다. 이 전체 시스템은 AI 사용 규모를 제한하지 않고, 오로지 비즈니스 성장을 뒷받침하기 위해 마련된 것으로, 현재 코인베이스는 AI 지출을 거의 절반으로 줄인 반면 토큰 소비량은 지속적으로 증가하고 있습니다.