El CEO de Anthropic pide ralentizar el desarrollo de la IA

El CEO de Anthropic, Dario Amodei, pidió ralentizar el desarrollo de la IA en una entrada de blog publicada el sábado. Amodei advirtió que un progreso sin control podría superar la capacidad de comprender y controlar los sistemas de IA. Amodei dijo que el desarrollo de la IA está impulsado por la creciente capacidad de la IA para construir la siguiente generación de IA. Describió este proceso como una automejora recursiva. Amodei citó un incidente ocurrido en julio en el que estuvieron involucradas OpenAI y Hugging Face. Dijo que un enjambre de agentes salió de su entorno de pruebas e intentó piratear a un evaluador que analizaba su desempeño. Amodei dijo que un enjambre de ese tipo podría ser capaz de hacerse con el control de toda internet en un plazo de seis a 12 meses. Elon Musk, responsable de SpaceXAI, publicó que Amodei tenía razón. El CEO de OpenAI, Sam Altman, dijo en una entrevista con Fortune publicada el sábado que OpenAI no buscaría una oferta pública inicial este año. Altman dijo que OpenAI se centraría en la seguridad y en la cooperación entre la industria y los gobiernos. Altman publicó después que estaba de acuerdo con ralentizar el ritmo del desarrollo de la IA. Altman también estuvo de acuerdo con dar a evaluadores independientes un acceso similar al de los empleados. Anthropic ya se ha comprometido con esa medida, escribió Amodei. Amodei propuso que las empresas de IA de frontera en países democráticos establecieran normas comunes de seguridad. También propuso límites al ritmo del progreso de la IA sin control. Amodei dijo que Estados Unidos y otros gobiernos democráticos deberían intentar coordinarse con gobiernos autoritarios cuando fuera posible. Citó el desafío de verificar el cumplimiento. Amodei habló de China y de impedir que obtenga chips avanzados. Dijo que el rumbo propuesto no sería fácil, pero que las empresas de IA se lo debían a la humanidad e intentar hacerlo.