Coinbase CEO Brian Armstrong 在上週五(26日)表示,该加密货币交易所已将中国开源 AI 模型 GLM 5.2 和 Kimi 2.7 设为内部工程师的默认大语言模型。Armstrong 报告称,通过路由优化和缓存改进,Coinbase 将 AI 支出削减了近一半,同时代币使用量继续呈指数级增长。这一部署反映了美国科技公司更广泛的趋势——将中国开源 AI 模型悄悄集成到生产基础设施中,以降低成本并扩展应用。
Coinbase 实施三层基础设施以削减 AI 成本
Armstrong 将成本降低归因于三层基础设施的全面改造。第一层是“智能路由”,系统预处理提示词,并根据缓存命中率和模型定价自动将任务分配给最合适且最经济的模型。第二层是“激进缓存”,通过要求所有请求感知缓存,将 LibreChat 的缓存命中率从 5% 提升至 60%。第三层是“精简上下文”,在切换任务时建议开启新会话,并缩小文件范围,以减少浪费的代币。
Armstrong 强调,这种做法并非抑制使用,而是扩大 AI 的应用规模。他称该方法为实现 AI 使用可持续扩展的关键,任何企业都可以采用此模式,让工程师免费使用任意数量的代币和模型,而无需设置成本上限,同时将使用情况与业务影响挂钩。
中国开源模型在多模型策略中处理日常任务
这两款中国开源模型主要部署于日常任务场景。对于需要复杂规划的任务,工程师仍可选择前沿模型。在代码审查过程中,Coinbase 采用多模型并行策略,让不同模型交叉验证输出结果,以保持质量标准。
Armstrong 指出,随着美国顶级模型服务的成本持续攀升,中国开源模型的性价比优势正逐步改变全球科技公司的 AI 部署策略。
常见问题
Coinbase 在上週五(26日)就 AI 模型宣布了什么?
Coinbase CEO Brian Armstrong 宣布,公司已将中国开源 AI 模型 GLM 5.2 和 Kimi 2.7 设为内部工程师的默认大语言模型。Armstrong 表示,这一改变结合路由优化和缓存改进,将 AI 支出减少了近一半,同时代币使用量保持指数级增长。
Coinbase 如何在运营中使用中国 AI 模型?
Coinbase 主要将 GLM 5.2 和 Kimi 2.7 部署于日常任务场景,而工程师在需要复杂规划的任务中仍可选择前沿模型。在代码审查中,公司采用多模型并行策略,让不同模型交叉验证输出结果。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复