Новые версии ИИ-моделей выявляют меньше мошеннических платежей в бенчмарке Coinbase

7 октября Coinbase сообщила, что новые версии трех крупных семейств ИИ-моделей выявили меньше мошеннических платежей в историческом тесте сервиса Onramp компании. Новые версии также выявили меньшую долю суммы мошенничества при неизменной политике принятия решений. Эти результаты ставят под сомнение предположение, что обновление модели улучшает работу действующего фильтра платежей.

В ходе оценки Coinbase повторно проверила 16 140 транзакций 7 293 пользователей, включая 813 подтвержденных случаев мошенничества. Выборка охватывала девять недель до запуска агента Coinbase по оценке рисков. Она включала все случаи мошенничества, подтвержденные к тому моменту, и выборку законных транзакций. Каждая из тестируемых моделей анализировала недавнее поведение при совершении транзакций, следуя фиксированным инструкциям и той же политике преобразования классификаций риска в решения. Такая схема позволяла оценить поведение модели принятия решений, а не сравнивать заново спроектированные системы проверки.

Coinbase сравнила Opus 4.5 с Opus 5, Sonnet 4.6 с Sonnet 5 и GPT-5.4 с GPT-5.6 (sol). У каждой новой версии показатели полноты выявления, F1 и полноты выявления с учетом суммы мошенничества были ниже. Полнота выявления показывает долю обнаруженных случаев мошенничества, а полнота выявления с учетом суммы — долю выявленной общей суммы мошенничества. Показатель F1 объединяет точность и полноту выявления.

По результатам повторной проверки Coinbase, показатель полноты выявления у Sonnet снизился на 22,2 процентного пункта, а полнота выявления с учетом суммы мошенничества — на 22,9 процентного пункта. Полнота выявления у Opus снизилась на 0,8 процентного пункта. У обеих новых моделей также снизилась точность: меньшая доля транзакций, классифицированных как мошеннические, действительно оказалась мошеннической. Точность GPT выросла на 11,5 процентного пункта. Однако полнота выявления GPT снизилась на 20,7 процентного пункта, а полнота выявления с учетом суммы мошенничества — на 21,8 процентного пункта. Классификации мошенничества у GPT стали точнее, но больше случаев и суммы мошенничества остались необнаруженными.

Повторная проверка не устанавливает, понесли ли клиенты убытки из-за внедрения этих версий. Coinbase сообщила, что выявила ухудшение показателей, но не установила его причину. В более раннем онлайн-эксперименте Coinbase сравнивала выборочную проверку с помощью большой языковой модели (LLM) с использованием только существующих моделей и правил. Вариант с агентом показал на 30 % меньше мошеннических транзакций и на 22 % меньшую сумму мошенничества. В онлайн-эксперименте новые версии моделей не сравнивались. Исследователи SR-Fraud заявили, что не могут опубликовать закрытый набор данных, что ограничивает возможности независимого воспроизведения результатов и их обобщения. Связанное с этой темой исследование мошенничества с платежами исследователей впервые появилось 23 сентября и было пересмотрено 30 сентября — до публикаций в октябре.

8 октября Coinbase сообщила, что дообученная модель Qwen3.5-9B превзошла Opus 4.5 по четырем показателям выявления мошенничества. По данным Coinbase, показатель F1 улучшился на 9,6 процентного пункта, а полнота выявления с учетом суммы мошенничества выросла на 35,4 процентного пункта. Coinbase специализировала собственную модель на исторических данных о случаях мошенничества и детерминированных функциях вознаграждения, балансировавших примеры мошеннических и законных транзакций.

Отдельные замеры в рабочей среде показали, что медианная сквозная задержка запросов к LLM составила 0,683 секунды против 1,515 секунды у Opus 4.5 — относительное снижение на 55 %. Более высокая скорость обработки и лучшие результаты выявления мошенничества в бенчмарке были получены в рамках разных оценок. Ни одна из этих оценок не измеряла убытки клиентов из-за проверенных обновлений моделей.

Для платежных компаний вопрос об обновлении заключается в том, улучшает ли тестируемая модель выявление мошенничества при фактической настройке процесса принятия решений. Coinbase рекомендует сначала проверить эту конфигурацию, а изменения запросов к модели или пороговых значений оценивать отдельно. Компания также рекомендует наряду с качеством выявления оценивать задержку, надежность и стоимость.