Coinbase已将AI支出削减近半，尝试将GLM 5.2、Kimi 2.7等开放权重模型设为默认选项

火星财经消息，6 月 27 日，Coinbase CEO Brian Armstrong 发文表示，若想在 token 使用量指数级增长的同时保持 AI 支出稳定，关键不在于设置使用摩擦或支出提醒，而在于更好的默认模型、路由和缓存机制。Coinbase 正在通过 LLM 网关尝试默认使用 GLM 5.2、Kimi 2.7 等开放权重模型，同时仍鼓励工程师根据任务选择合适模型。其称，91% 的员工从未触及使用上限，因此公司没有选择降低额度并增加提醒，而是转向更低成本的默认模型。 在模型路由方面，Coinbase 会在自定义流程中预处理提示词，并根据缓存命中率和模型定价，将任务路由至最合适模型。例如，规划阶段可能需要前沿模型，但执行阶段使用前沿模型可能过度。其认为，未来不应由人类选择模型，AI 可以自动完成该任务。 Armstrong 还表示，缓存未命中是推高成本最容易的方式。Coinbase 的请求均具备缓存感知能力，以便尽可能复用热缓存。例如，在正确实现缓存后，LibreChat 的缓存命中率已从 5% 提升至 60%。此外，Coinbase 也要求工程师保持上下文精简，包括切换任务时开启新会话、缩小文件上下文范围、断开未使用工具等。目标不是压制 AI 使用量，而是构建可支撑指数级增长的基础设施。通过上述实践，Coinbase 已将 AI 支出削减近一半，同时 token 使用量仍在继续增长。