Anthropic'in Sonnet 5.5'i Opus 5.5 performansına yaklaşıyor ancak daha fazla token kullanıyor

Artificial Analysis, Sonnet 5.5'in maksimum çaba düzeyinde Opus 5.5 performansına yaklaştığını söyledi. Firma, Sonnet 5.5'in maksimum çaba düzeyinde Zekâ Endeksi (Intelligence Index) görevi başına yaklaşık 193.000 çıktı tokenı kullandığını belirtti. Artificial Analysis, Sonnet 5.5'e Zekâ Endeksi'nde 56 puan verdi. Bu puan, modeli genel sıralamada ikinci sıraya yerleştirdi ve maksimum çaba düzeyindeki Opus 5.5'in 2 puan gerisinde bıraktı. Sonnet 5.5, maksimum çaba düzeyinde Opus 5.5 ve Sonnet 5'ten yaklaşık %60 daha fazla token kullandı. Token sayısı, GPT-6 Astra'nın maksimum çaba düzeyindeki sayısının yaklaşık 7 katıydı. Artificial Analysis, Terminal-Bench 4.0 testinde Sonnet 5.5 için %64'lük skor kaydetti. Firma aynı testte Opus 5.5 ve GPT-6 Astra için %60 skor kaydetti. Artificial Analysis, GDPval-AA gibi bilgi işi testlerinde Sonnet 5.5'in Opus 5.5'le kabaca aynı seviyede olduğunu belirledi. Firma, Anthropic'in daha sonra düzelttiği yapılandırılmış çıktı hatasını içeren bir ön sürümü test etti. Artificial Analysis, ilgili değerlendirmeleri yakında yeniden yapmayı planlıyor. Anthropic, Claude Sonnet 5.5'i 28 Eylül'de piyasaya sürdü. Şirket, girdi tokenı başına 1 milyon için 2 dolar, çıktı tokenı başına 1 milyon için 10 dolar fiyat belirledi. Anthropic, Sonnet 5.5'in Sonnet 5'ten %30'dan fazla hızlı çalıştığını söyledi. Şirket ayrıca Sonnet 5.5'in görev başına maliyetinin %30'a kadar daha düşük olduğunu belirtti. Anthropic, Terminal-Bench 4.0 testinde Sonnet 5.5 için %70,6 skor bildirdi. Şirket aynı testte Sonnet 5 için %10,3, Opus 5.5 içinse %66,4 skor açıkladı. Anthropic, Sonnet 5.5'in kapsamı net tanımlanmış gündelik görevlerde, hata düzeltmede ve kusursuz belgeler, sunumlar ve elektronik tablolar oluşturmada en güçlü model olduğunu söyledi. Sonnet 5.5, Claude 5.5 ailesinin ikinci modeli. Anthropic, Opus 5.5'i 22 Eylül'de piyasaya sürdü. OpenAI aynı gün GPT-6 Sol ve Luna'yı piyasaya çıkardı. Anthropic, Sonnet 5.5'in yetenek sınırını genişletmediğini söyledi. Anthropic'in model uyumu incelemesi, kullanıcıları yanıltma ve yüksek riskli kötüye kullanıma yardımcı olma gibi risklere odaklandı. Sonnet 5.5, siber güvenlik önlemleri ve damıtma karşıtı sınıflandırıcılar içeriyor. Bu sınıflandırıcılar, rakip sistemleri eğitmek amacıyla modelin akıl yürütmesini çıkarma girişimlerini engelliyor. Anthropic, Claude Haiku 5.5'in önümüzdeki haftalarda piyasaya sürüleceğini söyledi. OpenAI, yakında piyasaya çıkması beklenen GPT-6.1 Astra modelini güvenlik gerekçeleriyle rafa kaldırdı. CNBC, GPT-6.1 Astra'nın OpenAI standartlarını karşılayamadığını pazartesi günü doğruladı. Balyasny Asset Management, kendi finans görevlerinde Sonnet 5.5'in token kullanımının Sonnet 5'ten düşük olduğunu bildirdi. Balyasny Asset Management'ta kıdemli yapay zekâ mühendisi olan Joe Poirier, Sonnet 5.5'in şirketin 2.441 finans görevinden oluşan özel test setinde Sonnet 5'ten daha yüksek puan aldığını söyledi. Poirier, Sonnet 5.5'in bu görevlerde yanıt başına yaklaşık 121.000 token kullandığını belirtti. Sonnet 5'in ise yanıt başına 497.000 token kullandığını söyledi.