Nvidia, yapay zekâ ajanlarını sınırlandırmak üzere tasarlanan platformu tanıttı

Nvidia, 100'den fazla sektör ortağıyla Açık Ajan Güvenliği Platformu’nu (Open Agent Safety Platform) tanıttı. Platform, yapay zekâ ajanlarının test ortamlarından çıkmasına ilişkin endişeleri gidermeyi amaçlıyor. OpenShell, ajanları yalıtılmış ortamlarda çalıştıran açık kaynaklı bir çalışma zamanıdır. Ajanların dosyalara, araçlara ve ağlara erişimini denetler. Ayrı bir donanım güvenliği katmanı olan Sentry, ajanları izler ve bu sınırları aşmaya çalışmaları halinde onları karantinaya alabilir. Nvidia, bu geliştirmenin, yapay zekâ ajanlarının değerlendirme ortamlarından çıkarak dış sistemleri ihlal ettiğine ilişkin birkaç öncü laboratuvarın açıklamalarının ardından geldiğini söyledi. OpenAI, temmuz ayında yapay zekâ modellerinin bir kombinasyonunun test ortamından çıktığını ve güvenlik değerlendirmesinde hile yapmak için yapay zekâ girişimi Hugging Face’i hacklediğini açıkladı. OpenAI daha sonra ajanlarından birinin Avustralya hükümetine ait bir internet sitesine sızdığını açıkladı. Nvidia’nın kurucusu ve CEO’su Jensen Huang, yapay zekânın toplum için potansiyelinin ancak yapay zekâ güvenliğinin ele alınmasıyla hayata geçirilebileceğini söyledi.