Modelos de IA más recientes detectan menos fraude en pagos en una prueba de Coinbase

Coinbase informó el 7 de octubre de que versiones más recientes de tres importantes familias de modelos de IA detectaron menos pagos fraudulentos en una prueba histórica del servicio Onramp de Coinbase. Las versiones más recientes también detectaron una proporción menor del valor del fraude, pese a que la política de decisión no había cambiado. Los resultados cuestionan la idea de que actualizar un modelo mejore un sistema de detección de fraude en pagos ya existente.

La evaluación de Coinbase reprodujo 16.140 transacciones de 7.293 usuarios, incluidas 813 transacciones confirmadas como fraudulentas. La muestra abarcó las nueve semanas anteriores al despliegue del agente de riesgos de Coinbase. Incluyó todos los casos de fraude ya confirmados y una muestra del tráfico legítimo. Cada modelo candidato revisó la actividad reciente de las transacciones siguiendo instrucciones fijas y la misma política para convertir las clasificaciones de riesgo en decisiones. El diseño aisló el comportamiento del modelo de decisión, en lugar de comparar sistemas de detección rediseñados.

Coinbase comparó Opus 4.5 con Opus 5, Sonnet 4.6 con Sonnet 5 y GPT-5.4 con GPT-5.6 (sol). Todas las versiones más recientes obtuvieron resultados inferiores en sensibilidad, F1 y sensibilidad ponderada por valor monetario. La sensibilidad mide la proporción de casos de fraude detectados, mientras que la sensibilidad ponderada por valor monetario mide la proporción del valor total del fraude detectado. F1 combina precisión y sensibilidad.

La reproducción de Coinbase mostró que la sensibilidad de Sonnet cayó 22,2 puntos porcentuales y que la sensibilidad ponderada por valor monetario cayó 22,9 puntos porcentuales. La sensibilidad de Opus descendió 0,8 puntos porcentuales. Ambos modelos más recientes también tuvieron menor precisión, lo que significa que una proporción menor de las transacciones clasificadas como fraude eran realmente fraudulentas. La precisión de GPT aumentó 11,5 puntos porcentuales. Sin embargo, la sensibilidad de GPT cayó 20,7 puntos porcentuales y la sensibilidad ponderada por valor monetario, 21,8 puntos porcentuales. Las clasificaciones de fraude de GPT fueron más precisas, pero más casos y valor de fraude escaparon a la detección.

La reproducción no demuestra que la implementación de esas versiones hubiera causado pérdidas a los clientes. Coinbase dijo que pudo identificar las regresiones, pero no determinar su causa. En un experimento en línea anterior, Coinbase comparó la revisión selectiva mediante un modelo de lenguaje de gran tamaño (LLM) con el uso exclusivo de los modelos y las reglas existentes. El flujo con el agente registró un 30 % menos de transacciones fraudulentas y un 22 % menos de valor de fraude. El experimento en línea no comparó versiones más recientes de los modelos. Los investigadores de SR-Fraud dijeron que no pueden publicar el conjunto de datos de propiedad exclusiva, lo que limita la replicación independiente y la generalización de los resultados. El estudio relacionado de los investigadores sobre fraude en pagos apareció por primera vez el 23 de septiembre y fue revisado el 30 de septiembre, antes de las publicaciones de octubre.

Coinbase informó el 8 de octubre de que un modelo Qwen3.5-9B sometido a entrenamiento adicional superó a Opus 4.5 en cuatro métricas de detección de fraude. Coinbase informó de una mejora de 9,6 puntos porcentuales en F1 y de un aumento de 35,4 puntos porcentuales en la sensibilidad ponderada por valor monetario. Coinbase especializó el modelo personalizado con resultados históricos de fraude y recompensas deterministas que equilibraban los ejemplos fraudulentos y legítimos.

Mediciones independientes en producción situaron la latencia mediana de extremo a extremo de las solicitudes al LLM en 0,683 segundos, frente a 1,515 segundos con Opus 4.5, una reducción relativa del 55 %. La inferencia más rápida y la mayor capacidad de detección en la prueba de referencia procedían de evaluaciones distintas. Ninguna de las dos evaluaciones midió las pérdidas de los clientes derivadas de las actualizaciones de los modelos evaluados.

Para los proveedores de pagos, la cuestión al actualizar es si un modelo candidato mejora la cobertura del fraude con la configuración de decisiones que usan en la práctica. Coinbase recomienda probar primero esa configuración y evaluar por separado los cambios en las instrucciones o los umbrales. También recomienda evaluar la latencia, la fiabilidad y el costo junto con la calidad de la detección.