PANews 6월 29일 소식, Coinbase CEO Brian Armstrong이 회사의 AI 지출 최적화 경험을 공유했습니다. 그는 토큰 사용량이 기하급수적으로 증가하는 가운데, 더 나은 기본 설정, 라우팅 및 캐싱 전략을 통해 AI 지출을 거의 절반으로 줄였으며, 사용 한도와 경고 메커니즘에 의존하지 않았다고 밝혔습니다. 기본 설정 측면에서, Coinbase는 LLM 게이트웨이를 통해 오픈 웨이트 모델(예: Zhipu의 GLM 5.2, Moonshot AI의 Kimi 2.7)을 기본 옵션으로 설정하고, 엔지니어들이 특정 작업에 적합한 모델을 선택하도록 장려하고 있습니다. 회사 직원의 91%는 사용 한도에 도달한 적이 없어, 팀은 한도를 낮추는 대신 더 저렴한 기본 설정으로 전환하기로 했습니다. 라우팅 측면에서는, Coinbase가 프롬프트를 전처리하고 캐시 적중률과 모델 가격을 기준으로 작업을 가장 적합한 모델로 라우팅하며, AI가 결국 이 선택 과정을 자동화할 수 있을 것으로 보고 있습니다. 캐싱 측면에서, Coinbase의 모든 요청은 캐시 인식 기능을 갖추고 있으며, LibreChat의 캐시 적중률이 5%에서 60%로 향상되었습니다.

Armstrong은 목표가 사용량을 억제하는 것이 아니라, 기하급수적 성장을 지속 가능하게 만드는 인프라를 구축하는 것이라고 말했습니다. 그는 컨텍스트를 간결하게 유지하고, 낭비되는 토큰을 줄이며, 사용 가시성을 제공해야 한다고 강조했습니다. AI 지출이 높을수록 아웃풋에 대한 기대 효과도 커집니다.