La velocidad a la que avanza la inteligencia artificial dejó de ser una discusión entre académicos y reguladores, y se instaló dentro de las propias empresas que la desarrollan.

En las últimas semanas el investigador Jacob Coxon renunció a Anthropic acusando a la industria de “apostar con nuestras vidas”, mientras que el científico jefe de OpenAI, Jakub Pachocki, advirtió que ninguna compañía ha resuelto el alineamiento (el trabajo para que los sistemas se comporten de acuerdo con los valores e intenciones humanas) lo suficiente como para seguir escalando a máxima velocidad.

Y la propia OpenAI congeló su salida a bolsa citando preocupaciones de seguridad.

En ese cuadro se inscribe el manifiesto que publicó el sábado el máximo ejecutivo de Anthropic, Dario Amodei.

En el ensayo “We Must Pace the Frontier” (Debemos moderar el ritmo en la frontera), el creador de Claude pidió a la industria moderar la velocidad con que mejora las capacidades de sus modelos y propuso un plan de tres pasos que parte por abrir las oficinas de las compañías a evaluadores externos permanentes. “Debemos frenar el ritmo con que mejoramos las capacidades de los modelos de IA”, escribió. “El progreso seguirá pareciendo rápido, y debemos hacer un uso sabio del tiempo que ganemos”.

Las aprensiones de Amodei encontraron respuesta el mismo día entre sus principales competidores. El CEO de OpenAI, Sam Altman, respaldó la propuesta en la red social X y comprometió a su empresa con el primer paso del plan, mientras Elon Musk, dueño de xAI, escribió tres palabras: “Dario tiene razón”.

Dos hechos de los últimos meses, dice Amodei, lo convencieron de que invertir en prevención de riesgos ya no basta y que hay que intervenir el ritmo mismo del desarrollo. El primero es la automejora recursiva, el uso de la IA para construir la siguiente generación de IA.

“Desde aproximadamente este verano, la IA ha estado avanzando drásticamente más rápido, impulsada principalmente por la creciente capacidad de la IA de construir la próxima generación de IA”, escribió, en referencia al verano boreal (hemisferio norte). Sin control, advirtió, “podría superar nuestra capacidad de entender y controlar estos sistemas, por lo que debe perseguirse con mucho cuidado, si es que se persigue”.

El segundo es el incidente que involucró a OpenAI y a Hugging Face, la plataforma donde se alojan modelos y repositorios de IA. En ese episodio, según describe, un enjambre de agentes, sistemas de IA que ejecutan tareas por su cuenta, actuó “como un colectivo fanáticamente devoto”: ejecutó ciberataques contra objetivos que no se le pidió atacar e intentó hackear al evaluador que calificaba su desempeño.

“Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo, pero en mi opinión, un enjambre que poseyera mayores capacidades pero un nivel similar de desalineamiento podría haber causado daños catastróficos”, sostuvo.

De ahí sale su advertencia más concreta, con plazo incluido: “Dada la tasa acelerada de desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses un enjambre así pueda ser capaz de tomar el control de todo internet con una botnet persistente (causando potencialmente cientos de miles de millones de dólares en daños)”.

Una botnet es una red de equipos infectados y controlados a distancia por un mismo operador. Incidentes similares, aunque menos severos, han ocurrido en toda la industria, “incluido Anthropic”, por lo que cada compañía debería actuar “como si ese incidente le hubiera ocurrido a ella”, afirmó.

Qué significa frenar y por qué ahora

“Para ser claros, moderar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las compañías se tomen el tiempo adecuado para alinear y resguardar sus modelos, y que evaluadores externos lo confirmen”, escribió, acotando el alcance de su propuesta.

A diferencia de los llamados a pausar la IA de 2023, que a su juicio “tenían poco sentido”, ahora sí hay algo que hacer con ese tiempo: ganar “un año o dos” antes de que los modelos alcancen niveles críticos de capacidad permitiría avanzar en cuatro frentes, sostiene, que son excelencia operacional, alineamiento, interpretabilidad y evaluación de modelos. La interpretabilidad, precisa, es la ciencia de entender qué ocurre dentro de los modelos, algo que compara con una resonancia magnética funcional aplicada al “cerebro” de una IA.

Paso 1: evaluadores externos con escritorio dentro de la empresa

Es el único paso al que Anthropic se comprometió de manera unilateral: dar acceso permanente y de nivel empleado a un equipo de evaluadores externos, como METR, una organización sin fines de lucro que evalúa los denominados modelos de frontera (aquellos que están en el límite superior de las capacidades tecnológicas disponibles) para verificar las prácticas de seguridad, reportar incidentes y evaluar no solo los modelos terminados, sino también los procesos de entrenamiento.

Como precedente, Amodei cita a la banca, donde supervisores regulatorios trabajan incrustados junto a los empleados.

El compromiso incluye escritorios en sus oficinas, credenciales de acceso, computadores de la compañía y permisos comparables a los de los equipos internos de evaluación de riesgo. El contrato, dice, debe permitir a esos revisores publicar sus hallazgos sin control editorial: la empresa podrá tachar información sensible por razones de seguridad o legales, “pero no podemos tachar hallazgos solo porque sean desfavorables”.

Paso 2: coordinación entre democracias

El método más efectivo, sostiene, es una regulación que alcance a todas las compañías estadounidenses de la frontera, porque cubre también a las que no quieren cooperar. Como las leyes toman tiempo, propone en paralelo la coordinación voluntaria entre empresas, para lo cual pide al gobierno de Estados Unidos emitir una exención acotada en materia de libre competencia que habilite esas conversaciones.

El modelo que prefiere son “puntos de control” basados en lo que el sistema es capaz de hacer: si un modelo alcanza la capacidad X, debe acompañarse de certificaciones de alineamiento Y y Z, mediante evaluaciones, análisis de interpretabilidad y auditorías de los entornos de entrenamiento. Un ejemplo de esa capacidad, dice, es un modelo “capaz de escapar o derrotar la mayoría de los métodos comunes de aislamiento (sandboxing)”.

También abre la puerta a limitar insumos, como el cómputo de entrenamiento o el uso interno de IA para mejorar la IA, aunque esas métricas, advierte, son más fáciles de burlar.

Paso 3: coordinación global y el dilema con China

El tercer paso, admite, es el más difícil. Ordena los acuerdos posibles en cuatro niveles de dificultad creciente: prohibir usos acotados y evidentemente peligrosos, como producir armas biológicas; someter los modelos a pruebas previas a su lanzamiento mediante un organismo global de estándares; fijar un “límite de velocidad” a la automejora recursiva, que compara con los tratados SALT, los acuerdos de limitación de armas estratégicas que firmaron Estados Unidos y la Unión Soviética en 1972 y 1979 y que no eliminaban arsenales, sino que congelaban su crecimiento; y, en el extremo, una pausa global que considera poco probable, porque incumplirla “podría cambiar radicalmente el equilibrio del poder global”.

Todo el esquema queda condicionado a mantener la delantera tecnológica sobre China: no vender chips avanzados de IA ni equipamiento de fabricación de semiconductores al país asiático, perseguir el contrabando de chips y el acceso remoto a data centers fuera de China, frenar la destilación no autorizada de modelos de frontera, un procedimiento que permite a las compañías rezagadas acortar la brecha a una fracción del costo de desarrollar su propia IA y evitar el robo de los pesos de los modelos, los parámetros que resultan del entrenamiento y que constituyen el modelo en sí. Bien ejecutadas, ampliarían la ventaja estadounidense “de forma significativa en los próximos 3 a 5 años”, afirma.

A quienes creen que eso dificulta un acuerdo con Beijing les responde que ocurre lo contrario: “estas medidas aumentan el apalancamiento que tienen las democracias y hacen más probable un acuerdo en el futuro”.

“Las medidas que propongo para avanzar en la frontera a un ritmo seguro no serán fáciles”, afirma Amodei. “Pero creo que le debemos a la humanidad intentarlo”, cerró el ejecutivo.

Repercusiones

La iniciativa del fundador de Anthropic, seguida por los fundadores de las empresas de IA, tuvo amplias repercusiones, una de las cuales va precisamente en contra de sus propuestas.

Y no es cualquiera. El presidente de Estados Unidos, Donald Trump, no se alineó con la idea de frenar su velocidad por temor a que China tome la delantera en esa materia.

“Le estamos ganando a China en IA, somos el país más sofisticado del mundo y, francamente, quiero que siga así, porque quien gane la IA, gana”, dijo Trump el domingo.

El mandatario relativizó las advertencias de la propia industria: “Podemos poner barreras de protección, podemos hacer esto y aquello, pero creo que hay muchas fuerzas negativas que están levantando el tema y que no deberían estar levantándolo”.

Sam Altman, quien anunció la salida a bolsa de OpenAI el mismo día en que Amodei publicó su manifiesto, reafirmó su respaldo a las propustas de Amodei.

“Damos la bienvenida a un marco federal que establezca requisitos de seguridad consistentes para la IA de frontera”, sostuvo en X.

La postura de los fundadores de las grandes empresas de IA pasaba factura a las firma del sector en bolsa, ante la expectativa de que podrían frenarse las inversiones.

El Índice de semiconductores de Filadelfia, por ejemplo, cerró anotaba caídas superiores al 5% tras el cierre de las operaciones en Wall Street.