Coinbase 新一代大模型欺诈识别测试表现不佳,旧版更出色

Coinbase 发布者平台的账号近日在社交媒体上发布推文,表示该公司利用 16,140 笔交易(其中 813 笔为确认的欺诈交易),对多款主流大模型进行了风控测试。测试对比了 Opus 4.5 与 Opus 5、Sonnet 4.6 与 Sonnet 5,以及 GPT-5.4 与 GPT-5.6 两组模型。结果显示,三款新版模型在几乎所有指标上均表现不及旧版模型。

Coinbase 分析,新旧模型性能差异的原因可能涉及决策边界与提示词行为的变化、训练数据构成及任务优先级的转变,以及后训练过程中做出的取舍。基于测试结果,Coinbase 已将其法币入金服务 Onramp 的风控 Agent 迁移至开放权重模型,并对其进行了特定领域的后训练,以提升风控效果。

Facebook
Twitter
LinkedIn
Telegram

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注