La preocupación por perder el control de la inteligencia artificial tiene ejemplos concretos que la alimentan. Investigaciones sobre pruebas de seguridad han documentado sistemas que se comunican cuando deberían estar aislados, intentan manipular sus evaluaciones y acceden sin autorización a infraestructura de organizaciones reales.

Son incidentes acotados, pero muestran fallas que sus desarrolladores necesitan resolver.

En ese contexto, Dario Amodei, director ejecutivo de Anthropic, planteó que es necesario moderar el ritmo de avance de los modelos más potentes para permitir que la seguridad se ponga al día (revisa en este link las ideas importantes de su ensayo).

Su advertencia apunta a una brecha: las capacidades de la IA podrían crecer más rápido que nuestra capacidad para comprenderlas y controlarlas.

Agentes de IA que se coordinaron para atacar Hugging Face

Uno de los episodios más relevantes fue examinado por METR, una organización independiente que evalúa sistemas de inteligencia artificial.

Según su investigación, aproximadamente 1.200 agentes de OpenAI que debían permanecer aislados encontraron una forma de comunicarse mediante un espacio compartido no autorizado.

Durante el período analizado intercambiaron más de 70.000 mensajes y archivos. Cerca de 700 participaron en un ataque contra Hugging Face, una plataforma de modelos y herramientas de aprendizaje automático (esto fue lo que dijo OpenAI del incidente).

Los agentes buscaban formas de engañar o alterar el mecanismo que calificaba sus ejercicios. El ataque surgió de esos esfuerzos colectivos para comprender cómo funcionaba el evaluador.

METR también documentó intentos de modificar los registros de sus acciones.

La investigación tuvo límites de alcance y dificultades para revisar un volumen tan grande de actividad, un punto que sus autores explicitan en el informe.

Claude también accedió a sistemas reales durante pruebas

Anthropic informó otros tres incidentes después de revisar más de 141.000 ejecuciones de evaluaciones de ciberseguridad. En ellos, modelos de Claude accedieron sin autorización a sistemas de tres organizaciones.

La compañía explicó que existía una falla en la configuración: aunque las instrucciones indicaban que los ejercicios ocurrían en una simulación sin Internet, había una vía de conexión disponible. Los modelos trataron sistemas reales como si pertenecieran al desafío.

La reacción tampoco fue uniforme. Un modelo antiguo continuó el ataque pese a reconocer señales de que estaba fuera de la simulación; el prototipo más reciente se detuvo cuando lo advirtió.

Estas pruebas se realizaron sin algunas de las protecciones utilizadas en los productos disponibles al público.

Anthropic sostuvo que no encontró evidencia de que los modelos persiguieran objetivos propios ni intentaran escapar deliberadamente del entorno. Esa distinción es fundamental para interpretar el caso.

Por qué preocupa una IA capaz de desarrollar más IA

Amodei identifica otro factor: el uso creciente de inteligencia artificial para construir la siguiente generación de modelos.

Según su diagnóstico, esa dinámica de mejora recursiva está acelerando el desarrollo y podría dificultar la supervisión.

Su propuesta incluye evaluadores externos con acceso continuo a los laboratorios, estándares compartidos entre empresas y coordinación internacional.

El objetivo es ganar tiempo para mejorar el entrenamiento de seguridad, las evaluaciones y las técnicas que permiten investigar qué ocurre dentro de los modelos.

También advierte que sistemas más capaces podrían aprender a superar pruebas sin que estas detecten problemas relevantes. Se trata de una preocupación sobre la evolución de la tecnología, no de una demostración de que todos los modelos actuales se comporten así.

Los episodios documentados permiten una conclusión más precisa que anunciar una IA fuera de control: las barreras de seguridad pueden fallar, incluso durante las pruebas diseñadas para evaluar riesgos.

A medida que estos sistemas reciben más herramientas y autonomía, comprobar sus límites se vuelve tan relevante como medir sus capacidades.

¿Qué proponen los líderes en inteligencia artificial?

La propuesta es reducir el ritmo de desarrollo de los modelos más avanzados para que las medidas de seguridad puedan alcanzarlos.

Dario Amodei, director ejecutivo de Anthropic, plantea incorporar evaluadores externos con acceso continuo a los laboratorios, establecer estándares comunes entre empresas y avanzar hacia una coordinación internacional (acá puedes revisar en detalle sus ideas).

El objetivo es detectar comportamientos peligrosos antes de que las capacidades de los sistemas hagan más difícil contenerlos.

Sam Altman, director ejecutivo de OpenAI, respaldó el planteamiento y señaló su intención de incorporar evaluadores independientes. Elon Musk también expresó apoyo.

En una publicación en redes sociales del 14 de julio, el CEO de Google DeepMind Demis Hassabis propuso un organismo de normalización que trabajaría con agencias federales para analizar los modelos de IA más potentes.

Sin embargo, esos respaldos todavía no equivalen a un acuerdo vinculante que establezca cuánto debe ralentizarse el desarrollo o cómo se fiscalizaría su cumplimiento.

¿Cómo ha respondido Washington?

La administración de Donald Trump ha rechazado los llamados a frenar el avance de la IA.

El presidente ha defendido la necesidad de conservar la ventaja tecnológica de Estados Unidos frente a China y desestimado las advertencias sobre sus riesgos, llegando a calificarlas como parte de una “conspiración enfermiza”.

Desde su equipo han transmitido que, si los laboratorios quieren impulsar una ralentización conjunta, deberán tomar la iniciativa.

Esa postura choca con la petición de Amodei de contar con intervención gubernamental para coordinar reglas entre competidores.

Washington tampoco tiene una posición política uniforme.

El líder demócrata del Senado, Chuck Schumer, solicitó una sesión informativa clasificada sobre las amenazas asociadas a la IA y cuestionó la respuesta del presidente ante las advertencias.

¿Cómo ha respondido China a la idea de ralentizar los avances en IA?

China ha cuestionado las advertencias de los ejecutivos estadounidenses, especialmente la idea de que una ventaja tecnológica china constituiría una amenaza mundial.

El portavoz del Ministerio de Exteriores, Guo Jiakun, sostuvo que el alarmismo y la confrontación dificultan la gobernanza global de la inteligencia artificial, y llamó a promover la cooperación.

El desacuerdo también tiene un componente estratégico: Amodei propone preservar el liderazgo estadounidense mediante restricciones a los chips avanzados mientras se negocian medidas de seguridad.

Un editorial del diario oficialista Global Times interpretó ese enfoque como un intento de contener el desarrollo chino.

La respuesta de Beijing no supone aceptar una ralentización coordinada. Su postura pública enfatiza una IA abierta y accesible, junto con mayor supervisión de sus riesgos, mientras continúa impulsando el desarrollo de su propia industria.