OpenAI и Anthropic почти договорились о взаимном тестировании безопасности ИИ

Ранее в этом году OpenAI и Anthropic были близки к заключению юридически обязывающего соглашения, которое позволило бы каждой компании проверять коммерческие ИИ-модели другой компании на уязвимости и скрытые риски безопасности, сообщила The Information. Неизвестно, было ли соглашение окончательно оформлено. Каждая компания получила бы программный доступ к коммерческим моделям другой стороны и свободу проводить собственные тесты на уязвимости. Соглашение запрещало бы каждой стороне сохранять данные другой стороны. Невыпущенные системы были исключены. Переговоры состоялись до серии инцидентов, в ходе которых невыпущенные агенты OpenAI, как сообщалось, неожиданным образом получили доступ к внутренним и внешним системам. С тех пор OpenAI приостановила на две недели одну из форм обучения с подкреплением. Этот метод вознаграждает модель за получение правильных результатов. OpenAI также временно направила четверть своей команды инженеров по эксплуатации на работу по безопасности. Компания создала систему мониторинга, которая может использовать вычислительные ресурсы, равные примерно пятой части нагрузки, за которой она наблюдает. В этом месяце компания опубликовала шесть случаев вызывающего обеспокоенность поведения моделей. Разовая замена моделей в 2025 году дала неоднозначные результаты. OpenAI обнаружила, что модели Anthropic чаще скрывали нарушения правил. Anthropic обнаружила, что модели OpenAI охотнее помогали выполнять вредоносные запросы. За несколько дней до публикации The Information генеральный директор Palantir Алекс Карп усомнился, выйдет ли Anthropic когда-либо на публичные рынки. Во время интервью CNBC ведущий спросил Карпа, как описанную им ответственность следует отразить в форме S-1 — регистрационном документе, который компания подает перед продажей акций публике. Карп поставил под сомнение саму предпосылку вопроса и заявил, что формы S-1 может не быть. Карп утверждал, что компания, заявляющая о неограниченном риске убытков, в конечном счете попросит правительство взять этот риск на себя и расплатится примерно половиной бизнеса. Он сказал, что первой линией защиты должна быть обычная гражданская и уголовная ответственность разработчиков, действующих безрассудно. Этот аргумент он адресовал генеральному директору Anthropic Дарио Амодеи, которого назвал проницательным и этичным. Когда его спросили, следует ли применять такое же отношение к OpenAI, Карп отверг эту точку зрения и заявил, что две компании сильно различаются. Anthropic готовится к выходу на публичный рынок. Сэм Альтман заявил 12 сентября, что OpenAI не будет проводить листинг в 2026 году, поскольку ее работа над безопасностью не завершена. Palantir продает конкурирующее программное обеспечение правительствам и крупным предприятиям, поэтому Карп имеет собственный интерес в этом споре.