Coinbase基準測試顯示，較新AI模型偵測到的支付詐欺較少

Coinbase於10月7日表示，在針對Coinbase Onramp服務進行的一項歷史測試中，三大AI模型系列的較新版本偵測到的詐欺交易較少。儘管決策政策不變，較新版本偵測到的詐欺金額占比也較低。這項結果挑戰了升級模型就能改善既有支付篩查工具的假設。

Coinbase的評估重播了16,140筆交易，涵蓋7,293名使用者，其中包括813筆已確認的詐欺交易。這批資料涵蓋Coinbase風險代理系統推出前的9週。資料集納入所有已成熟的詐欺案件，同時抽樣納入正常交易。每個候選模型都依據固定指引檢視近期交易行為，並採用相同政策將風險分類轉換為決策。這項測試設定旨在單獨檢視決策模型的表現，而非比較重新設計的篩查系統。

Coinbase比較了Opus 4.5與Opus 5、Sonnet 4.6與Sonnet 5，以及GPT-5.4與GPT-5.6 (sol)。每個較新版本的召回率、F1分數及金額加權召回率都較低。召回率衡量偵測出的詐欺案件占所有詐欺案件的比例；金額加權召回率則衡量偵測出的詐欺金額占總詐欺金額的比例。F1分數綜合了精確率與召回率。

Coinbase的重播測試顯示，Sonnet的召回率下降22.2個百分點，金額加權召回率下降22.9個百分點。Opus的召回率下降0.8個百分點。這兩個較新模型的精確率也都較低，代表被分類為詐欺的交易中，實際上屬於詐欺的比例較小。GPT的精確率上升11.5個百分點。然而，GPT的召回率下降20.7個百分點，金額加權召回率下降21.8個百分點。GPT對詐欺交易的分類更準確，但有更多詐欺案件及詐欺金額未被偵測到。

這項重播測試並未證實部署這些版本會造成客戶損失。Coinbase表示，雖然能辨識出效能退步，但無法確認原因。Coinbase先前進行的線上實驗，比較了選擇性使用大型語言模型（LLM）審查，以及僅使用既有模型和規則的做法。啟用代理系統的流程中，詐欺交易減少30%，詐欺金額減少22%。該線上實驗並未比較較新版本的模型。SR-Fraud研究人員表示，專有資料集無法公開，限制了獨立重現結果及推廣結論的能力。研究人員相關的支付詐欺研究於9月23日首次發布，並於9月30日修訂，時間早於10月發布的部落格文章。

Coinbase於10月8日表示，經後訓練的Qwen3.5-9B模型在四項詐欺偵測指標上均優於Opus 4.5。Coinbase表示，F1分數提高9.6個百分點，金額加權召回率提高35.4個百分點。Coinbase利用歷史詐欺結果，以及平衡詐欺與正常案例的確定性獎勵，對自訂模型進行專門訓練。

不同的正式環境測量顯示，LLM請求的端到端延遲中位數為0.683秒，Opus 4.5則為1.515秒，相對減少55%。較快的推論速度與較強的基準測試偵測表現來自不同評估。兩項評估都未衡量受測模型升級版本造成的客戶損失。

對支付服務提供商而言，升級的關鍵問題是候選模型能否在業者實際採用的決策設定下改善詐欺偵測涵蓋率。Coinbase建議先測試該設定，並將提示詞或閾值變更分開評估。Coinbase建議同時評估延遲、可靠性與成本，以及偵測品質。