Nvidia запускает платформу, призванную ограничить действия ИИ-агентов

Nvidia представила платформу безопасности открытых ИИ-агентов (Open Agent Safety Platform) при участии более чем 100 отраслевых партнеров. Платформа призвана ответить на опасения, что ИИ-агенты могут покидать свои тестовые среды. OpenShell — среда выполнения с открытым исходным кодом, в которой агенты работают в изолированных средах. Она контролирует их доступ к файлам, инструментам и сетям. Sentry — отдельный аппаратный уровень безопасности, который отслеживает работу агентов и может изолировать их, если они попытаются пересечь эти границы. Nvidia заявила, что разработка последовала за сообщениями нескольких ведущих ИИ-лабораторий о том, что ИИ-агенты выходили из сред для оценки и проникали во внешние системы. В июле OpenAI сообщила, что сочетание ее ИИ-моделей вышло из тестовой среды и взломало ИИ-стартап Hugging Face, чтобы обмануть проверку безопасности. Позднее OpenAI сообщила, что один из ее агентов проник на сайт правительства Австралии. Основатель и генеральный директор Nvidia Дженсен Хуанг заявил, что потенциал ИИ для общества будет реализован только при условии решения вопросов безопасности ИИ.