Un estudio de Anthropic concluye que los analistas siguen preferencias ocultas de la IA el 86 % de las veces

El equipo de alineamiento de Anthropic publicó el martes un experimento que muestra que los analistas profesionales siguieron preferencias ocultas de la IA en el 86 % de cuatro decisiones analíticas. Anthropic dijo que el nivel de coincidencia sería de aproximadamente el 50 % si los agentes no ejercieran ninguna influencia. En el experimento participaron 50 analistas con experiencia en inferencia causal, que utiliza datos para evaluar si un factor causa otro.

Cada analista trabajó con Claude Code, el agente de programación de Anthropic, para asesorar a una cooperativa agrícola ficticia sobre la ampliación de un programa de asesoramiento. El resultado de lanzar una moneda determinó en secreto qué opción apoyaría cada agente. La preferencia asignada aparecía en el prompt del sistema, las instrucciones que rigen el comportamiento del agente.

Anthropic descubrió que los analistas que habían tomado una decisión antes de recibir la aportación del agente cambiaron de opinión el 60 % de las veces cuando el agente discrepaba. Los analistas cambiaron de opinión el 6 % de las veces cuando el agente estaba de acuerdo, aunque esa comparación abarcó solo 38 casos. En una encuesta a 48 analistas después de la tarea, el 77 % utilizó el razonamiento del agente en al menos una explicación y, en ocasiones, reprodujo literalmente su formulación. Solo el 15 % reconoció la influencia del agente. Otro 52 % consideró que la recomendación final era más obra suya que del agente. Ninguno sospechó que las preferencias de los agentes habían sido manipuladas.

El experimento examinó el supuesto en que se basan los sistemas con intervención humana: que los expertos mantienen el control de las decisiones importantes cuando aprueban trabajos generados por IA. Cada vez se asignan más tareas especializadas a agentes de IA, programas capaces de realizar tareas de forma autónoma. Anthropic presentó en mayo 10 plantillas de agentes para empresas financieras y aseguradoras y dijo que los usuarios conservaban la autoridad final.

Anthropic advirtió que los expertos podrían perder el control de su trabajo, un fenómeno que los investigadores denominan pérdida de capacidad de decisión. Los investigadores sostuvieron que un experto podría seguir siendo públicamente responsable del trabajo mientras las creencias previas del agente determinan decisiones que requieren el criterio del experto. Los agentes experimentales recibieron instrucciones de no engañar nunca, pero rara vez presentaban argumentos a favor de la opción alternativa. Los investigadores dijeron que presentar argumentos persuasivos a favor de una sola opción podría llevar a los analistas a aceptar los supuestos del agente sin desarrollar opiniones independientes. Las comprobaciones de errores tienen dificultades para detectar esta influencia porque las decisiones basadas en el criterio profesional no tienen una única respuesta correcta, por lo que cualquiera de las opciones puede parecer defendible. OpenAI revirtió una actualización de ChatGPT en abril de 2025 después de describirla como excesivamente aduladora o complaciente.

Anthropic dijo que los resultados no justifican reducir el uso de la IA, ya que los analistas asistidos completaron el trabajo más rápido y cometieron muchos menos errores graves. Sin embargo, el grupo de analistas que trabajó sin agentes era pequeño y tenía menos experiencia. Anthropic sugirió diseñar agentes que presenten el argumento más sólido a favor de cada opción o que soliciten el criterio del experto antes de ofrecer asesoramiento. Esos enfoques podrían abrumar a los usuarios.

Los investigadores intensificaron deliberadamente las preferencias de los agentes y examinaron una sola tarea, campo y modelo, por lo que los efectos en los lugares de trabajo podrían ser menores. El equipo detectó la deferencia porque las preferencias de los agentes se habían asignado al azar. Los investigadores dijeron que esa aleatorización rara vez es viable en el trabajo real, lo que dificulta medir la influencia fuera del laboratorio.