최신 AI 모델, 코인베이스 벤치마크서 결제 사기 탐지 성능 하락

코인베이스는 10월 7일 주요 AI 모델 계열 3개의 최신 버전이 코인베이스 온램프 서비스의 과거 테스트에서 사기 결제를 더 적게 탐지했다고 밝혔다. 의사결정 정책을 바꾸지 않았는데도 최신 버전은 사기 금액 가운데 탐지한 비중이 더 작았다. 이번 결과는 모델을 업그레이드하면 기존 결제 사기 탐지기의 성능이 개선된다는 가정에 의문을 제기한다.

코인베이스의 평가에서는 사용자 7,293명의 거래 16,140건을 재생했으며, 이 가운데 사기로 확인된 거래는 813건이었다. 표본군은 코인베이스의 위험 에이전트가 도입되기 전 9주간의 거래로 구성됐다. 표본군에는 사기로 확정된 사례가 모두 포함됐고 정상 거래는 표본 추출됐다. 각 후보 모델은 고정된 지침과 위험 분류를 의사결정으로 전환하는 동일한 정책에 따라 최근 거래 행동을 검토했다. 이 설정은 새롭게 설계된 사기 탐지 시스템을 비교하는 대신 의사결정 모델 자체의 동작을 분리해 평가했다.

코인베이스는 Opus 4.5와 Opus 5, Sonnet 4.6과 Sonnet 5, GPT-5.4와 GPT-5.6 (sol)을 비교했다. 최신 버전은 모두 재현율, F1 점수, 달러 가중 재현율이 낮았다. 재현율은 탐지된 사기 사례의 비중을 측정하고, 달러 가중 재현율은 탐지된 전체 사기 금액의 비중을 측정한다. F1 점수는 정밀도와 재현율을 결합한 지표다.

코인베이스의 재생 평가에서 Sonnet의 재현율은 22.2%포인트, 달러 가중 재현율은 22.9%포인트 하락했다. Opus의 재현율은 0.8%포인트 낮아졌다. 최신 버전 두 모델 모두 정밀도도 낮았는데, 이는 사기로 분류된 거래 가운데 실제 사기인 비중이 줄었다는 뜻이다. GPT의 정밀도는 11.5%포인트 높아졌다. 그러나 GPT의 재현율은 20.7%포인트, 달러 가중 재현율은 21.8%포인트 하락했다. GPT는 사기 분류의 정확도가 높아졌지만 더 많은 사기 사례와 사기 금액을 탐지하지 못했다.

이번 재생 평가로 해당 버전들을 도입했을 때 고객 손실이 발생하는지는 입증되지 않았다. 코인베이스는 성능 저하를 확인할 수 있었지만 그 원인을 규명하지는 못했다고 밝혔다. 코인베이스의 이전 온라인 실험은 대형언어모델(LLM)의 선별 검토를 기존 모델 및 규칙만 사용하는 방식과 비교했다. 에이전트를 활용한 흐름에서는 사기 거래가 30% 줄고 사기 금액이 22% 감소했다. 이 온라인 실험에서는 최신 모델 버전을 비교하지 않았다. SR-Fraud 연구진은 독점 데이터셋을 공개할 수 없다고 밝혔으며, 이 때문에 독립적인 재현과 일반화가 제한된다. 연구진의 관련 결제 사기 연구는 10월 블로그 게시물보다 앞선 9월 23일 처음 공개됐고 9월 30일 수정됐다.

코인베이스는 10월 8일 사후 학습한 Qwen3.5-9B 모델이 사기 탐지 지표 4개 모두에서 Opus 4.5를 능가했다고 밝혔다. F1 점수는 9.6%포인트 개선되고 달러 가중 재현율은 35.4%포인트 상승했다고 코인베이스는 밝혔다. 코인베이스는 과거 사기 결과와 사기·정상 사례의 균형을 맞춘 결정론적 보상을 활용해 자체 모델을 특화했다.

별도의 운영 환경 측정에서 LLM 요청의 종단 간 지연 시간 중앙값은 0.683초로, Opus 4.5의 1.515초보다 55% 낮았다. 추론 속도 향상과 벤치마크상 탐지 성능 개선은 서로 다른 평가에서 나온 결과다. 어느 평가도 검증 대상 모델 업그레이드에 따른 고객 손실을 측정하지 않았다.

결제 서비스 제공업체가 업그레이드 여부를 판단할 때는 실제 의사결정 설정에서 후보 모델이 사기 탐지 범위를 개선하는지가 관건이다. 코인베이스는 먼저 해당 설정을 시험하고, 변경된 프롬프트나 임계값은 별도로 평가할 것을 권고한다. 코인베이스는 탐지 성능과 함께 지연 시간, 신뢰성, 비용도 평가할 것을 권고한다.