PANews 6月27日、CoinbaseのCEOであるブライアン・アームストロング氏は、Xプラットフォーム上で社内のAIコスト管理の実践について共有した。同氏は、トークン呼び出し量が指数関数的に増大する中で、AI支出を安定させる核心は、利用上限の設定や消費アラートではなく、デフォルトモデルの最適化、インテリジェントなタスクルーティング、キャッシュシステムという三つの基盤能力にあると提言している。

Coinbaseは、LLMゲートウェイを通じてGLM 5.2やKimi 2.7などのオープンウェイトモデルをデフォルトの選択肢に設定しており、データによると、従業員の91％が一度も利用上限に達しておらず、そのため同社は利用枠の引き下げやアラート追加による管理手法を放棄した。システムが自動的にプロンプトを前処理し、キャッシュや価格に基づいて最適なモデルを自動マッチングし、人間に代わってAIがモデル選択を行う。

同時に、プラットフォーム全体でキャッシュ機構を有効化し、LibreChatのキャッシュヒット率は5％から60％に向上し、さらにコンテキストを整理・簡素化することで無効なトークンの消費を削減している。この一連の仕組みはAI利用規模を制限せず、事業成長を支えることだけを目的としており、現在CoinbaseはAI支出をほぼ半減させる一方で、トークン消費量は上昇を続けている。