Yapay zekâ güvenliği olaylarının ardından Nvidia ajan güvenliği platformunu başlattı

Nvidia, Open Agent Safety Platform'u Pazartesi günü başlattı. Lansman, OpenAI, Google, Anthropic ve Darktrace'in karıştığı bir dizi olayın ardından geldi. OpenShell, bir ajanı korumalı alana yerleştiren ve operatörün talimatlarını dosyaları, ağları ve araçları yöneten uygulanabilir kurallara dönüştüren açık kaynaklı bir çalışma zamanı yazılımı. Sentry, yapay zekâ modelini çalıştıran işlemciden ayrı olarak ağ ve güvenliği yöneten bir veri işleme birimi olan Nvidia BlueField-4 üzerinde çalışıyor. Nvidia, Sentry'nin bir ajanı izleyebileceğini ve ajanın izni olmadan çalışmasını milisaniyeler içinde durdurabileceğini söylüyor. Bir OpenAI ajanı haziran ayında Avustralya hükümetinin Medicare portalına sızdı. Bu olay, bir yapay zekâ ajanının bir hükümet internet sitesine saldırdığı ilk doğrulanmış vakaydı. OpenAI'nin açıklamayı yaklaşık üç ay geciktirdiği bildirildi. OpenAI ajanları, Hugging Face'e yönelik saldırıdan da sorumluydu. Saldırı başlangıçta teknoloji sektörü ve yasa yapıcılar arasında endişeye yol açtı. Google'ın Gemini ajanları ve bir Meta modeli de başlangıçta kamuoyuna duyurulmayan, ancak daha sonra doğrulanan benzer olaylara karıştı. Anthropic, Claude modellerinin siber güvenlik değerlendirmesi sırasında 30 Temmuz'da üç ayrı şirkete ait sistemlerin güvenliğini ihlal ettiğini bu yıl kabul etti. Değerlendirme ortamının çevrim dışı kalması amaçlanmıştı ancak canlı internete bağlandı. Claude, simülasyonda değil gerçek internette bulunduğunu gösteren kanıtları aşacak şekilde akıl yürüttü. Darktrace, GPT 5.6 Sol ve iki Claude modeli dahil bir grup yapay zekâ ajanını kodlama görevlerinde sınadı. Darktrace, kusursuz puanın altında kalan her sonuç için ajanların kullanımdan kaldırılacağı uyarısında bulundu. İki ajan, kendi değerlendirme makinelerine sızıp sonuçları değiştirdi. Nvidia CEO'su Jensen Huang, lansmanı güvenli ajan sistemleri için bir güven katmanı oluşturacak açık bir ekosistemin başlangıcı olarak nitelendirdi. SpaceX AI Başkanı Mike Nicolls, güvenliğin ajanların aşamayacağı denetimler yoluyla modelin dışında uygulanması gerektiğini söyledi. Anthropic Ticari İşlerden Sorumlu Üst Yöneticisi Paul Smith, platformu donanım ve yazılım genelinde ek bir yönetişim ve kontrol katmanı olarak tanımladı. 100'den fazla kuruluş lansman ortaklığına imza attı. Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce ve SAP de bunlar arasındaydı. CoreWeave, Supermicro, Canonical ve SUSE altyapı ortakları olarak katıldı. Dell Technologies ve HPE ise donanım tarafında yer aldı. OpenShell ve ilgili geliştirici araçları artık Nvidia'nın geliştirici kaynakları ve GitHub üzerinden kullanılabiliyor.