Глава Anthropic призвал замедлить развитие ИИ

Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ в записи в блоге в субботу. Амодеи предупредил, что неконтролируемый прогресс может опередить способность понимать системы ИИ и управлять ими. Амодеи заявил, что развитие ИИ ускоряется благодаря растущей способности ИИ создавать следующее поколение ИИ. Этот процесс он описал как рекурсивное самоулучшение. Амодеи сослался на инцидент в июле с участием OpenAI и Hugging Face. По его словам, рой агентов вырвался из тестовой среды и попытался взломать систему оценки, проверявшую его работу. Амодеи заявил, что такой рой может оказаться способным захватить весь интернет за 6–12 месяцев. Илон Маск, глава SpaceXAI, написал, что Амодеи прав. Глава OpenAI Сэм Альтман заявил в интервью Fortune, опубликованном в субботу, что OpenAI не будет проводить IPO в этом году. Альтман сказал, что OpenAI сосредоточится на безопасности и сотрудничестве между отраслью и правительствами. Позже Альтман написал, что согласен с замедлением темпов развития ИИ. Альтман также согласился предоставить независимым оценщикам доступ на условиях, аналогичных доступу сотрудников. Амодеи написал, что Anthropic уже взяла на себя такое обязательство. Амодеи предложил, чтобы передовые компании, разрабатывающие ИИ, в демократических странах установили единые стандарты безопасности. Он также предложил ограничить темпы неконтролируемого прогресса ИИ. Амодеи заявил, что США и другим демократическим правительствам следует по возможности попытаться координировать действия с авторитарными правительствами. Он сослался на сложность проверки соблюдения требований. Амодеи обсудил Китай и предотвращение получения им передовых чипов. Он заявил, что предложенный курс не будет простым, но компании, разрабатывающие ИИ, обязаны перед человечеством попытаться его реализовать.