PANews 6月29日消息、Coinbaseの最高経営責任者（CEO）Brian Armstrong氏が、AI支出の最適化に関する同社の経験を共有した。同氏は、トークン使用量が指数関数的に増加する中、利用上限やアラートに頼るのではなく、デフォルト設定、ルーティング、キャッシュ戦略の改善により、AI支出をほぼ半減させたと指摘した。デフォルト設定では、CoinbaseはLLMゲートウェイを通じて、智谱のGLM 5.2や月之暗面のKimi 2.7といったオープンウェイトモデルをデフォルトに設定しつつ、エンジニアが特定のタスクに適したモデルを選択するよう促している。同社の従業員の91%は利用上限に一度も抵触したことがないため、チームは上限を引き下げるのではなく、より安価なデフォルトに切り替える道を選んだ。ルーティングでは、Coinbaseはプロンプトの前処理を行い、キャッシュヒット率とモデルの価格に基づいて最適なモデルにタスクを振り分けており、将来的にはAIがこの選択プロセスを自動化できると見ている。キャッシュに関しては、Coinbaseの全リクエストがキャッシュ認識機能を備え、LibreChatのキャッシュヒット率は5%から60%に向上した。

Armstrong氏は、目標は利用を抑制することではなく、指数関数的な成長を持続可能にするインフラを構築することだと述べた。同氏は、コンテキストを簡潔に保ち、無駄なトークンを減らし、利用状況の可視性を提供することを強調し、AI支出が高くなるほど、成果への影響に対する期待も高まるとした。