PANews 7月11日ニュース、SemiAnalysisが発表した記事によると、大規模モデル推論でよく引用される「初回トークン遅延」（TTFT, time-to-first-token）は市場で過度に注目されている可能性があり、推論システムの中核的な評価軸は「速ければ速いほど良い」ではなく、「単一ユーザーあたりの対話速度（tok/s/user）」と「全体のスループット効率（tok/s/GPU）」の間のトレードオフにあるという。多くのシナリオでは、TTFTが体験に与える影響は限定的だが、生成段階でのトークン速度こそが鍵となる変数である。

SemiAnalysisは、推論タスクのうち実際に遅延が制約となるのは約10%～20%に過ぎず、残りの大部分のシナリオではスループットとコスト効率の最適化に、より依存しているとまとめた。