Sonnet 5.5 от Anthropic почти сравнялась с Opus 5.5 по результатам, но использует больше токенов

Artificial Analysis сообщила, что Sonnet 5.5 приблизилась по результатам к Opus 5.5 при максимальном уровне усилий. По данным компании, при максимальном уровне усилий Sonnet 5.5 использовала около 193 000 выходных токенов на задание в рамках Индекса интеллекта (Intelligence Index). Artificial Analysis оценила Sonnet 5.5 в 56 баллов по этому индексу. Это обеспечило модели второе место в общем зачете — на 2 балла ниже Opus 5.5 при максимальном уровне усилий. При максимальном уровне усилий Sonnet 5.5 использовала примерно на 60 % больше токенов, чем Opus 5.5 и Sonnet 5. Ее количество токенов было примерно в 7 раз выше, чем у GPT-6 Astra при максимальном уровне усилий. Artificial Analysis зафиксировала результат Sonnet 5.5 в 64 % на тесте Terminal-Bench 4.0. На этом тесте компания зафиксировала по 60 % у Opus 5.5 и GPT-6 Astra. По оценке Artificial Analysis, на тестах, связанных с профессиональными задачами, таких как GDPval-AA, Sonnet 5.5 примерно не уступала Opus 5.5. Компания тестировала предварительную версию с ошибкой структурированного вывода, которую Anthropic с тех пор исправила. Artificial Analysis планирует вскоре повторно провести соответствующие оценки. Anthropic выпустила Claude Sonnet 5.5 28 сентября. Компания установила цену в 2 доллара за 1 млн входных токенов и 10 долларов за 1 млн выходных токенов. По словам Anthropic, Sonnet 5.5 работает более чем на 30 % быстрее Sonnet 5 и стоит до 30 % дешевле за задачу. Anthropic сообщила, что Sonnet 5.5 набрала 70,6 % на Terminal-Bench 4.0, тогда как Sonnet 5 получила 10,3 %, а Opus 5.5 — 66,4 % на том же тесте. Anthropic заявила, что Sonnet 5.5 лучше всего справляется с четко поставленными повседневными задачами, исправлением ошибок и созданием готовых к использованию документов, презентаций и электронных таблиц. Sonnet 5.5 — вторая модель семейства Claude 5.5. Anthropic выпустила Opus 5.5 22 сентября. В тот же день OpenAI выпустила GPT-6 Sol и Luna. Anthropic заявила, что Sonnet 5.5 не расширяет границы возможностей модели. Проверка согласованности модели, проведенная Anthropic, была сосредоточена на таких рисках, как введение пользователей в заблуждение и содействие злоупотреблениям с серьезными последствиями. В Sonnet 5.5 предусмотрены меры киберзащиты и классификаторы против дистилляции. Эти классификаторы блокируют попытки извлечь рассуждения модели для обучения конкурирующих систем. Anthropic заявила, что Claude Haiku 5.5 выйдет в ближайшие недели. OpenAI отложила готовившуюся модель GPT-6.1 Astra по соображениям безопасности. В понедельник CNBC подтвердила, что GPT-6.1 Astra не соответствовала стандартам OpenAI. Balyasny Asset Management сообщила, что в ее финансовых задачах Sonnet 5.5 использовала меньше токенов, чем Sonnet 5. Старший инженер по ИИ в Balyasny Asset Management Джо Пуарье (Joe Poirier) сообщил, что Sonnet 5.5 получила более высокую оценку, чем Sonnet 5, на закрытом наборе компании из 2 441 финансовой задачи. По словам Пуарье, на этих задачах Sonnet 5.5 использовала около 121 000 токенов на ответ. Он сообщил, что Sonnet 5 использовала 497 000 токенов на ответ.