El investigador de Anthropic especializado en preentrenamiento de modelos de inteligencia artificial, Jacob Coxon, anunció su renuncia a la compañía y acusó tanto a la empresa creadora de Claude como a OpenAI (ChatGPT) de no estar actuando de forma responsable.

“Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de forma responsable. Están corriendo directo hacia una superinteligencia auto-mejorante y apostando con nuestras vidas”, escribió el martes por la noche en su cuenta de X (@hilbertspaess), en el primero de un hilo de siete mensajes que acumula más de 59 millones de visualizaciones.

El anuncio se produce mientras Anthropic prepara una apertura a bolsa que apunta a una valoración de US$2 billones (millones de millones) y se perfila como una de las mayores de la historia, inlcuso superando a SpaceX.

Lo que dijo Coxon en X

En el segundo mensaje del hilo, Coxon planteó que la capacidad de estos sistemas está subestimada.

“No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no se está desacelerando”, escribió.

El investigador sostuvo luego que el temor es compartido dentro de la industria. “Las personas que están construyendo IA creen sinceramente que podría matarnos a todos antes del fin de la década. Esto no es una maniobra de marketing. Si acaso, muchos ejecutivos e investigadores senior matizan sus frases en la prensa para sonar sensatos, pero escucho a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro”, afirmó.

Coxon también abordó la pregunta que, dijo, suele hacérsele al sector: por qué siguen construyendo la tecnología si creen eso. “En OpenAI, muchos no han internalizado profundamente lo que está en juego a nivel civilizatorio. En Anthropic, lo que está en juego se entiende bien, pero están atrapados en una carrera por llegar primero. Creen que nadie más va a actuar de manera responsable, así que deben hacerlo ellos mismos, pese al riesgo”, escribió.

Sobre esa decisión, el investigador fue explícito: “Aceptar esta carrera y entrar al endgame es una apuesta arrogante que no debería lanzarse desde el Slack de una empresa privada. Intentar acelerar el alineamiento debería exigir una confianza extraordinaria en que no hay mejores trayectorias disponibles”.

En el sexto mensaje matizó su diagnóstico con una nota de optimismo sobre la posibilidad de coordinación entre laboratorios, aunque advirtió sobre la dimensión global del problema.

“Soy optimista sobre el potencial de coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho más viables los acuerdos de ritmo entre los laboratorios estadounidenses. No siento que estemos encaminados a evitar una carrera global, lo que podría requerir acciones costosas, como una prohibición temporal de mejorar las capacidades de los modelos”, señaló.

Cerró con un llamado directo a sus pares. “Si eres un investigador de laboratorio, te insto a considerar cómo se van a sentir realmente los próximos años. ¿Quieres iniciar una corrida de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque ‘va a pasar igual’, o tomar este momento para exigir condiciones distintas?”, planteó.

La respuesta de un ejecutivo de Anthropic

Horas después del hilo, Evan Hubinger, líder de ciencia del alineamiento en Anthropic, respondió públicamente en X respaldando el diagnóstico de Coxon.

“Jacob tiene razón acá: realmente creemos sinceramente que la IA podría matar a todos los humanos. Personalmente creo que es más de 10% dentro de la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero todavía no tenemos un plan para resolver el alineamiento de la superinteligencia y no estamos claramente encaminados a lograrlo”, escribió Hubinger, citado por la cadena estadounidense.

Hubinger agregó, según CNBC, que el riesgo de los modelos actuales es “bajo” y que su preocupación apunta a otro escenario: “Lo que me preocupa es la superinteligencia que surja de la automejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos”.

Quién es Coxon

Coxon tiene 27 años, es británico y estudió matemáticas, de acuerdo con el perfil publicado por The Wall Street Journal. Su especialidad es el entrenamiento de nuevos modelos mediante el consumo de grandes volúmenes de datos.

Según ese diario, dejó OpenAI a comienzos de este año para incorporarse a Anthropic justamente por su reputación en materia de seguridad, y aunque considera que ese esfuerzo es sincero, ahora cree que ninguna compañía puede desarrollar de forma responsable una inteligencia artificial general sin intervención estatal o una desaceleración coordinada de la industria.

Al diario estadounidense, Coxon le dijo que varios de sus colegas usan expresiones como “crunchtime” y “endgame” para describir la trayectoria hacia modelos capaces de mejorarse a sí mismos.

“Vamos camino a muchos de los más agresivos de esos escenarios, en los que para fines del próximo año las cosas podrían estar ya fuera de control”, sostuvo, y agregó que las concesiones en seguridad son inevitables cuando las compañías compiten entre ellas y con firmas emergentes chinas.

La automejora recursiva, es decir, la idea de que un sistema de IA pueda mejorarse a sí mismo sin mayor intervención humana, todavía no es posible, según explicó CNBC, pero los laboratorios trabajan hacia ese objetivo. En junio, la propia Anthropic advirtió en una entrada de blog que “la automejora recursiva completa también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA”.