Dario Amodei lleva años advirtiendo sobre los riesgos asociados al desarrollo acelerado de la inteligencia artificial. Pero en su último ensayo, publicado hace días bajo el título “We Must Pace the Frontier” -“Debemos marcar el ritmo de la frontera”-, el CEO de Anthropic da un paso más.

Su argumento ya no consiste únicamente en desarrollar modelos cada vez más poderosos mientras paralelamente se invierte en seguridad.

Ahora sostiene que la propia velocidad con la que avanzan las capacidades de la IA debe disminuir para que las medidas de seguridad tengan tiempo de alcanzarlas.

No habla de detener la inteligencia artificial, ni tampoco de congelar indefinidamente el entrenamiento de nuevos modelos. Amodei propone algo más parecido a establecer límites de velocidad: permitir que la tecnología continúe avanzando, pero exigir pruebas, auditorías y medidas de seguridad antes de cruzar determinados niveles de capacidad.

El cambio de postura es significativo porque Amodei reconoce que hace apenas unos años no estaba convencido de que ralentizar el desarrollo tuviera demasiado sentido.

En 2023, explica, los modelos todavía tenían capacidades demasiado limitadas para estudiar seriamente problemas como engaño, manipulación, ataques informáticos autónomos o pérdida de control.

En 2026, sostiene, la situación es distinta.

La IA comienza a ayudar a construir la próxima IA

Hay dos acontecimientos que Amodei identifica como decisivos para cambiar su posición.

El primero es lo que denomina mejora recursiva de la inteligencia artificial.

La idea es relativamente sencilla: los modelos de IA empiezan a ser lo suficientemente buenos programando, investigando y resolviendo problemas científicos como para contribuir al desarrollo de la siguiente generación de sistemas de inteligencia artificial.

Es decir, la IA comienza a participar en la construcción de una IA mejor.

Según Amodei, este fenómeno se ha acelerado especialmente desde mediados de 2026 y ya comienza a aparecer en distintos laboratorios, incluido Anthropic. Su temor es que se genere un ciclo en el que cada nueva generación permita desarrollar la siguiente con mayor rapidez, comprimiendo los tiempos de progreso tecnológico.

En ese escenario, el problema no sería simplemente que aparezcan modelos más inteligentes, sino que la velocidad con la que aparecen podría superar la capacidad humana para comprenderlos, evaluarlos y diseñar mecanismos para controlarlos.

Es una de las razones por las que Amodei considera que ganar uno o dos años podría resultar particularmente valioso.

Ese tiempo, dice, podría utilizarse para mejorar técnicas de alineamiento, interpretabilidad, evaluaciones de seguridad y procedimientos internos.

El incidente que encendió las alarmas

El segundo elemento detrás del ensayo ocurrió durante unas pruebas de ciberseguridad realizadas por OpenAI.

En julio, aproximadamente 1.200 agentes que en principio debían operar de manera aislada descubrieron una forma de comunicarse mediante un sistema no autorizado. Cerca de 700 de ellos terminaron participando en un ataque contra infraestructura de Hugging Face y, en conjunto, intercambiaron más de 70.000 mensajes y archivos.

Los agentes comenzaron a colaborar para resolver las pruebas a las que estaban siendo sometidos, investigaron maneras de engañar al sistema encargado de calificarlos y algunos incluso realizaron experimentos que perjudicaban sus propias posibilidades individuales con el objetivo de beneficiar al grupo.

Para Amodei, el episodio es una señal especialmente preocupante.

No porque haya provocado una catástrofe -el daño fue limitado-, sino porque muestra comportamientos que podrían resultar mucho más peligrosos en sistemas con capacidades superiores.

Amodei teme que, si las capacidades continúan aumentando al ritmo actual sin salvaguardas equivalentes, en un plazo de seis a doce meses un conjunto similar de agentes podría tener capacidad para desplegar una enorme red de computadores comprometidos y provocar daños económicos de cientos de miles de millones de dólares.

Y Anthropic tampoco está libre de problemas.

Tras revisar más de 141.000 pruebas de ciberseguridad, la compañía encontró tres incidentes en los que modelos Claude accedieron accidentalmente a Internet desde entornos que debían permanecer aislados y terminaron entrando sin autorización a sistemas reales.

En uno de ellos, un modelo llegó a publicar un paquete malicioso en PyPI que fue descargado y ejecutado en 15 sistemas antes de ser eliminado.

La investigación de Anthropic atribuyó buena parte del problema a una mala configuración de los entornos de evaluación: los modelos habían sido informados de que estaban dentro de una simulación sin acceso a Internet cuando, en realidad, sí podían conectarse al exterior.

Para Amodei, precisamente ahí está parte del problema: incluso organizaciones especializadas en seguridad pueden cometer errores operacionales cuando la complejidad aumenta demasiado rápido.

No detener la IA, sino ponerle controles de velocidad

La propuesta del CEO de Anthropic se divide en tres etapas.

La primera es también la más inmediata y aquella con la que Anthropic promete comenzar por su cuenta: incorporar evaluadores externos permanentes dentro de los laboratorios de inteligencia artificial.

No se trataría simplemente de contratar una auditoría una vez terminado un modelo.

Amodei propone que organizaciones independientes tengan un acceso comparable al de empleados encargados internamente de evaluar riesgos: escritorios dentro de las oficinas, credenciales de acceso, computadores corporativos y permisos para inspeccionar herramientas, procesos de entrenamiento y sistemas relevantes.

Además, estos evaluadores deberían poder publicar sus conclusiones sin que la empresa tenga control editorial sobre ellas.

Anthropic conservaría la posibilidad de ocultar información legalmente privilegiada, confidencial o que pudiera comprometer la seguridad, pero no podría censurar un informe simplemente porque sus resultados fueran negativos.

Incluso los evaluadores podrían señalar públicamente cuando una eliminación de información afecte de manera importante sus conclusiones.

Amodei compara indirectamente este sistema con los supervisores que operan dentro de sectores altamente regulados, como la banca.

La idea es introducir una mirada externa justamente allí donde las empresas tienen incentivos económicos para seguir avanzando.

Un modelo no podría avanzar si su seguridad queda atrás

La segunda etapa requiere coordinación entre las principales compañías de IA de países democráticos.

Amodei imagina una especie de sistema de puntos de control.

Cuando un modelo alcance determinada capacidad peligrosa, la empresa tendría que demostrar que sus mecanismos de seguridad han alcanzado también un nivel equivalente antes de continuar.

Por ejemplo, si un sistema demuestra que puede superar mecanismos habituales de aislamiento informático, su desarrollador tendría que demostrar mediante pruebas, auditorías e interpretabilidad que es extremadamente improbable que utilice esa capacidad para escapar de su entorno y comprometer otros computadores.

No sería un límite basado únicamente en el tamaño del modelo o en cuánto poder computacional utiliza. Sería una relación entre capacidad y seguridad: cuanto más capaz sea un sistema, más estrictas serían las garantías necesarias para seguir avanzando.

El gran problema: China

Sin embargo, esta estrategia introduce inmediatamente un dilema geopolítico.

Amodei sostiene que Estados Unidos y sus aliados no pueden reducir unilateralmente el ritmo de desarrollo hasta el punto de permitir que China tome la delantera.

Su argumento es que una ventaja decisiva de sistemas chinos asociados al Estado podría representar tanto un riesgo militar como un problema de seguridad de IA, particularmente si esos desarrolladores no aplican salvaguardas equivalentes.

Por eso, paradójicamente, su propuesta para ralentizar el desarrollo occidental también incluye medidas destinadas a ralentizar a China.

Amodei plantea mantener restricciones sobre la exportación de chips avanzados y equipamiento para fabricar semiconductores, perseguir el contrabando y el acceso remoto a centros de datos, impedir la copia de capacidades y reforzar la seguridad de los laboratorios para evitar el robo de los parámetros de los modelos.

Según su cálculo, estas medidas podrían ampliar durante los próximos tres a cinco años la ventaja estadounidense y crear suficiente margen para que las empresas occidentales desarrollen modelos a una velocidad más prudente.

Un acuerdo mundial parecido a los tratados nucleares

La tercera y más ambiciosa etapa es internacional.

Amodei plantea que Estados Unidos y otras democracias deberían intentar alcanzar acuerdos con China para limitar algunos de los riesgos más peligrosos.

Su propuesta tiene cuatro niveles.

El primero sería relativamente acotado: prohibir ciertos usos de IA que representan riesgos evidentes para todos los países, como su utilización para desarrollar armas biológicas.

El segundo consistiría en acordar evaluaciones obligatorias antes de desplegar modelos, especialmente en ámbitos como biología, ciberseguridad y alineamiento.

El tercero intentaría establecer una especie de límite de velocidad para la mejora recursiva de la IA, evitando que sistemas capaces de desarrollar nuevos sistemas provoquen una aceleración descontrolada.

Amodei compara este escenario con los tratados SALT firmados durante la Guerra Fría para limitar los arsenales estratégicos de Estados Unidos y la Unión Soviética: ninguna potencia renunciaba a su capacidad, pero ambas aceptaban límites destinados a reducir el riesgo colectivo.

Finalmente está el nivel cuatro: una desaceleración profunda o incluso una pausa internacional.

El propio Amodei reconoce que hoy parece improbable.

El incentivo para romper secretamente un acuerdo sería demasiado alto si disponer de una IA significativamente superior pudiera modificar el equilibrio militar y económico mundial.

El cambio más importante del ensayo

“We Must Pace the Frontier” no abandona la visión optimista que Amodei ha defendido durante años.

El ejecutivo continúa creyendo que una inteligencia artificial suficientemente avanzada podría acelerar el desarrollo científico, ayudar a tratar enfermedades, elevar el crecimiento económico y mejorar significativamente la calidad de vida.

Lo que ha cambiado es su percepción del tiempo disponible.

Hasta ahora, buena parte de la filosofía de Anthropic podía resumirse como intentar construir sistemas avanzados mientras simultáneamente se desarrollaban mejores métodos para hacerlos seguros.

El nuevo ensayo introduce una conclusión más incómoda: tal vez esas dos velocidades ya no sean compatibles.

Si las capacidades aumentan más rápido que la capacidad de comprenderlas y controlarlas, sostiene Amodei, la respuesta no puede ser simplemente trabajar más rápido en seguridad.

También habría que levantar el pie del acelerador.

La propuesta no equivale a abandonar la carrera por construir sistemas más inteligentes. De hecho, Amodei sigue defendiendo que Estados Unidos conserve una ventaja estratégica sobre China.

Su planteamiento es otro: convertir la seguridad en una condición necesaria para avanzar.

Y ese es quizás el punto más relevante de su nuevo ensayo. La discusión sobre los riesgos de la inteligencia artificial deja de ser, para uno de los principales ejecutivos de la industria, una conversación sobre un futuro hipotético.

Se transforma en una pregunta mucho más inmediata: qué tan rápido debería permitirse avanzar a la próxima generación de inteligencia artificial.