Anthropic выпустила Sonnet 5.5: модель превзошла Opus 5.5 в программировании за половину цены

В понедельник Anthropic выпустила Claude Sonnet 5.5. Модель представляет собой обновление Sonnet 5, вышедшей в июне. По словам Anthropic, Sonnet 5.5 работает более чем на 30 % быстрее Sonnet 5. Anthropic установила цену на уровне 2 долларов за 1 млн входных токенов и 10 долларов за 1 млн выходных токенов. Это вдвое ниже цен на Opus 5.5. Sonnet 5.5 использует почти на треть меньше токенов на задачу, чем Sonnet 5, что снижает стоимость ее запуска. В Terminal-Bench 4.0 Sonnet 5.5 набрала 70,6 %. Результат Opus 5.5 в тесте составил 66,4 %, а Sonnet 5 — 10,3 %. Terminal-Bench 4.0 оценивает способность ИИ-агента самостоятельно выполнять сложные профессиональные задачи с помощью команд. Независимая тестирующая компания Artificial Analysis оценила Sonnet 5.5 в своей версии теста на 63,6 %. Результат Opus 5.5 составил 59,6 %, а GPT-6 Astra от OpenAI — 59,1 %. По словам Anthropic, Sonnet 5.5 с высоким уровнем усилий показывает в FrontierCode результат на уровне GPT-6 Sol, при этом стоимость одной задачи составляет примерно пятую часть от его стоимости. В GDPval-AA Sonnet 5.5 набрала 1844 балла. Тест оценивает профессиональную работу в 44 профессиях с помощью рейтингов Elo. Результат Opus 5.5 составил 1846 баллов — в статье это описывается как фактически ничья с Sonnet 5.5. GPT-6 Sol набрала 1487 баллов. Artificial Analysis ставит Sonnet 5.5 на второе место после Opus 5.5. По данным Artificial Analysis, Sonnet 5.5 использовала на задачу больше токенов, чем любая другая протестированная компанией модель. При максимальном уровне усилий Sonnet 5.5 сгенерировала около 193 000 токенов на тестовую задачу — это наибольший показатель, когда-либо зафиксированный Artificial Analysis. При такой настройке каждая задача стоила 7,60 доллара. Это примерно на 50 % больше, чем стоимость задачи для Sonnet 5, и идет вразрез с заявлением Anthropic об экономии до 30 %. По словам Anthropic, Sonnet 5.5 со средним уровнем усилий, установленным по умолчанию в ее приложениях, превосходит лучший результат Sonnet 5 в программировании менее чем за десятую часть стоимости. Artificial Analysis считает, что высокий уровень усилий обеспечивает наилучшее соотношение цены и качества. На прошлой неделе OpenAI снизила цену GPT-6 Sol до 2 долларов за 1 млн входных токенов и 10 долларов за 1 млн выходных токенов. Цена GPT-5.6 Terra составляет 2 доллара за 1 млн входных токенов и 12 долларов за 1 млн выходных токенов. Anthropic не публиковала результатов тестирования Terra. Таблица Anthropic основана на данных самой компании. Artificial Analysis тестировала предрелизную сборку с ошибкой. Anthropic считает, что ошибка мало повлияла на результаты или несколько занизила их. По словам Anthropic, Opus 5.5 остается явно сильнее в сложной работе, требующей длительного применения суждений. Claude Haiku 5.5 предназначена для приложений с большими объемами использования и жесткими требованиями к стоимости; ее выход ожидается в ближайшие недели.