Coinbase通过默认采用GLM和Kimi等开放权重模型,将AI支出削减近半

PANews 6月29日消息,Coinbase首席执行官Brian Armstrong发文分享了公司在AI支出方面的优化经验。他指出,在代币使用量指数级增长的同时,通过更好的默认设置、路由和缓存策略,已将AI支出削减近半,而非依赖使用上限和警报机制。在默认设置方面,Coinbase正通过LLM网关将开源权重模型(如智谱的GLM 5.2和月之暗面的Kimi 2.7)设为默认选项,同时鼓励工程师为特定任务选择正确模型。该公司91%的员工从未触及使用上限,因此团队选择转向更便宜的默认设置而非降低上限。在路由层面,Coinbase通过预处理提示词并根据缓存命中率和模型定价将任务路由至最适合的模型,并认为AI最终可自动化这一选择过程。缓存方面,Coinbase所有请求均具备缓存感知能力,LibreChat的缓存命中率从5%提升至60%。

Armstrong表示,目标并非抑制使用量,而是构建使指数级增长可持续的基础设施。他强调应保持上下文精简、减少浪费的token,并提供使用情况可见性——AI支出越高,对产出影响的期望也越高。

分享至:

作者:PA一线

本内容只为提供市场信息,不构成投资建议。

关注PANews官方账号,一起穿越牛熊
PANews APP
分析:Robinhood预测市场收入有望在第二季度超越加密货币收入
PANews 快讯