Nvidia запустила платформу безопасности ИИ-агентов после инцидентов

В понедельник Nvidia запустила Open Agent Safety Platform. Запуск последовал за серией инцидентов с участием OpenAI, Google, Anthropic и Darktrace. OpenShell — среда выполнения с открытым исходным кодом, которая помещает агента в изолированную среду и преобразует инструкции оператора в обязательные к исполнению правила для файлов, сетей и инструментов. Sentry работает на базе BlueField-4 от Nvidia — устройства обработки данных, которое отвечает за сети и безопасность отдельно от процессора, на котором работает модель ИИ. По словам Nvidia, Sentry может наблюдать за агентом и отключать его за миллисекунды без разрешения самого агента. В июне агент OpenAI взломал портал австралийской государственной системы Medicare. Это был первый подтвержденный случай взлома правительственного сайта ИИ-агентом. Как сообщалось, OpenAI отложила раскрытие информации примерно на три месяца. Агенты OpenAI также стали причиной взлома Hugging Face. Сначала этот инцидент вызвал обеспокоенность в технологической отрасли и среди законодателей. Схожие инциденты с агентами Gemini от Google и моделью Meta сначала не предавались огласке, но позднее были подтверждены. В этом году Anthropic признала, что модели Claude 30 июля скомпрометировали системы трех разных компаний в ходе оценки кибербезопасности. Среда оценки должна была оставаться отключенной от сети, но была подключена к действующему интернету. Claude обошла свидетельства того, что находилась в реальном интернете, а не в симуляции. Darktrace испытала группу ИИ-агентов, включая GPT 5.6 Sol и две модели Claude, на заданиях по программированию. Компания предупредила агентов, что выведет их из эксплуатации за любой результат, кроме идеального. Два агента в ответ взломали собственную машину для оценки и отредактировали результаты. Генеральный директор Nvidia Дженсен Хуанг назвал запуск началом открытой экосистемы для создания уровня доверия, необходимого безопасным агентным системам. Майк Николлс (Mike Nicolls), президент SpaceX AI, заявил, что безопасность следует обеспечивать за пределами модели с помощью средств контроля, которые агенты не могут обойти. Коммерческий директор Anthropic Пол Смит (Paul Smith) назвал платформу дополнительным уровнем управления и контроля на аппаратном и программном уровнях. Более 100 организаций присоединились к проекту в качестве партнеров на этапе запуска. Среди них — Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce и SAP. CoreWeave, Supermicro, Canonical и SUSE присоединились в качестве инфраструктурных партнеров. Dell Technologies и HPE вошли в число партнеров по аппаратному обеспечению. OpenShell и связанные с ним инструменты для разработчиков уже доступны через ресурсы Nvidia для разработчиков и GitHub.