PANews 6월 27일 소식, Coinbase CEO Brian Armstrong이 X 플랫폼에서 밝혔습니다. 회사는 인프라 최적화(기본 설정, 라우팅 및 캐싱 메커니즘)를 통해 토큰 사용량이 기하급수적으로 증가하는 상황에서 AI 지출을 거의 절반으로 줄였습니다. 그 조치는 다음과 같습니다.

• 더 나은 기본 모델: 기본적으로 오픈소스/가성비 높은 모델(예: GLM 5.2, Kimi 2.7)을 사용합니다. 직원의 91%는 원래 사용량 한도에 도달한 적이 없었습니다.
• 스마트 라우팅: 작업에 따라 가장 적합한 모델로 자동 라우팅(첨단 모델은 계획에, 저렴한 모델은 실행에 사용)하여 사람 대신 AI가 선택합니다.
• 효율적인 캐싱: 캐시 적중률을 크게 향상시킵니다(예: LibreChat이 5%에서 60%로 향상).
• 컨텍스트 간소화: 새 작업에는 새 세션을 시작하고, 파일 범위를 축소하며, 사용하지 않는 도구를 연결 해제하여 낭비를 줄입니다.
• 더 높은 가시성: 자유로운 사용을 허용하되 지출을 가시화합니다.