Coinbase 发现，更新后的 AI 模型在欺诈检测基准测试中跑输。

Coinbase 在 10 月 7 日发布的研究结果显示，新一代 AI 模型在欺诈检测方面跑输前代模型。这种欺诈检测能力的退化促使这家加密货币交易所将风控运营转向开放权重模型，并开展领域特定的后训练。在“Own Intelligence”系列的第二篇文章中，Coinbase 使用涵盖 7,293 名用户的固定基准测试集，对六个大型语言模型进行了评估。该测试集包含 16,140 笔交易，其中有 813 笔已确认的欺诈交易。结果发现，三个较新模型版本的召回率和美元加权召回率均低于其前代模型。

Coinbase 在包含 16,140 笔交易的基准测试中评估六个 AI 模型

Coinbase 使用涵盖 7,293 名用户的固定基准测试集，对六个大型语言模型进行了评估。该数据集取自公司部署由 LLM 驱动的风控代理之前九周的生产数据，从而确保该代理自身的干预不会对可观察到的欺诈结果造成偏差。该样本包含 813 笔已确认的欺诈交易。

此次评估将 Opus 4.5 与 Opus 5、Sonnet 4.6 与 Sonnet 5，以及 GPT-5.4 与 GPT-5.6 进行了比较。在全部三组模型中，较新版本的召回率、F1 分数和美元加权召回率均更低。美元加权召回率指成功识别出的欺诈交易总价值占全部欺诈交易总价值的比例。

较新模型版本的召回率和美元加权召回率更低

三组模型的性能退化幅度存在显著差异。与 Sonnet 4.6 相比，Sonnet 5 的召回率下降了 22.2 个百分点，美元加权召回率下降了 22.9 个百分点。Sonnet 5 的精确率和召回率均有所下降，这表明其整体区分欺诈活动与合法活动的能力减弱，而不是两个指标之间进行简单权衡的结果。

Opus 5 的召回率较 Opus 4.5 小幅下降了 0.8 个百分点。GPT-5.6 则呈现出不同的模式：精确率提高了 11.5 个百分点，但召回率下降了 20.7 个百分点，美元加权召回率下降了 21.8 个百分点，这与更加保守的分类行为一致。

Coinbase 提醒称，其基准测试证明了性能退化的存在，但并未确定其原因；由于无法获取模型提供商的训练数据或目标，相关解释仍属推测。可能的因素包括决策边界和提示行为的变化、后训练过程引入的权衡，以及训练数据构成和任务优先级的变化。

Coinbase 转向采用领域特定后训练的开放权重模型

这些发现促使 Coinbase 在战略上转向自主掌控模型。Coinbase 已将其法币入金服务 Onramp 的风控代理迁移至开放权重模型，并开展领域特定的后训练。

根据该系列的第三篇文章，公司使用 Anyscale 上的 SkyRL 对 Qwen3.5-9B 进行后训练。生成的模型在全部四项欺诈检测指标上均优于 Opus 4.5，同时将端到端服务延迟降低了 55%。

这一转变建立在此前成果的基础上：在该系列第一篇文章中，Coinbase 报告称，在不替换现有风控栈的情况下，将 LLM 审查代理叠加到现有机器学习模型和规则引擎之上，在线 A/B 实验使欺诈交易减少了 30%，欺诈金额减少了 22%。

常见问题

Coinbase 发现较新的 AI 模型在欺诈检测方面表现如何？

Coinbase 发现，最新一代前沿 AI 模型在检测欺诈交易方面的表现不如前代模型。10 月 7 日的评估涵盖六个大型语言模型，测试了 16,140 笔交易，三个较新模型版本（Opus 5、Sonnet 5、GPT-5.6）的召回率和美元加权召回率均低于其前代模型。

Coinbase 如何应对 AI 模型性能退化？

Coinbase 将风控运营转向采用领域特定后训练的开放权重模型。该公司将其法币入金服务 Onramp 的风控代理迁移至经过后训练的 Qwen3.5-9B 模型。该模型在全部四项欺诈检测指标上均优于 Opus 4.5，同时将端到端服务延迟降低了 55%。

Coinbase 使用什么基准测试来评估 AI 模型？

Coinbase 使用了一个固定基准测试集，其中包含 16,140 笔交易，涵盖 7,293 名用户。这些交易取自公司部署 LLM 驱动的风控代理之前九周的生产数据。该数据集包含 813 笔已确认的欺诈交易，并比较了三组模型：Opus 4.5 与 Opus 5、Sonnet 4.6 与 Sonnet 5，以及 GPT-5.4 与 GPT-5.6。