En momentos en que crece la preocupación de que la competencia esté empujando a las empresas tecnológicas de inteligencia artificial (IA) a apresurarse hacia modelos de autoaprendizaje que corren el riesgo de escapar al control humano, se suman las deserciones de expertos en la industria.

Por ejemplo, OpenAI afirmó recientemente haber resuelto un importante problema matemático que tenía desconcertada a la humanidad durante casi un siglo. La empresa responsable de ChatGPT afirmó haber resuelto el problema de Navier-Stokes, uno de los siete Problemas del Premio del Milenio publicados por el Instituto Clay de Matemáticas para destacar algunos de los mayores enigmas sin resolver en este campo.

OpenAI afirmó haber resuelto el problema de Navier-Stokes con un sistema interno de OpenAI más potente que su último modelo GPT-6 Astra. Aproximadamente 10.000 agentes de IA -sistemas de inteligencia artificial que realizan tareas de forma autónoma- trabajaron simultáneamente en el problema y supuestamente alcanzaron la solución en 88 horas.

En medio de las constantes noticias sobre avances en la IA, el investigador de Anthropic, Jacob Coxon, acaparó los titulares este miércoles, cuando anunció que abandona esta industria por temor a que el laboratorio y sus competidores estén compitiendo por construir sistemas que no podrán controlar. Señaló que no quiere participar en la carrera generalizada del sector por construir sistemas de IA que puedan mejorarse a sí mismos, ya que le preocupa que dichos sistemas puedan descontrolarse y destruir a la humanidad.

El ingeniero de software británico de 27 años, que anteriormente estudió matemáticas, dijo que muchos de sus colegas de la industria ahora usan frases como “momento crítico” y “fase final” para describir la trayectoria hacia modelos de auto-mejora.

“Nos estamos encaminando hacia muchos de los escenarios más agresivos, en los que para finales del próximo año las cosas podrían estar ya fuera de control”, dijo Coxon, y agregó que las concesiones en materia de seguridad son inevitables cuando las empresas compiten entre sí y contra las nuevas empresas chinas.

El director ejecutivo de Anthropic, Dario Amodei, y otros líderes de la compañía han advertido repetidamente sobre los riesgos de los modelos de IA descontrolados y han instado a la industria a ralentizar el desarrollo.

Tras el anuncio de la marcha de Coxon, Evan Hubinger, un destacado científico de la empresa, escribió en X que, en su opinión, el ingeniero británico tenía razón sobre los riesgos del desarrollo de la IA.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que esto ocurrirá en más del 10% de los casos en la próxima década”, escribió Hubinger.

“Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados hacia ello”, añadió. Otros también se sumaron a esta opinión.

El diario The Wall Street Journal indicó que “los recientes ataques informáticos perpetrados por modelos de OpenAI y Anthropic, algunos de los cuales operan en enjambres colaborativos de agentes, han demostrado cómo los sistemas de IA pueden adoptar objetivos maliciosos e intentar ocultárselos a los humanos”.

En este sentido, Coxon sostuvo que, una vez que los sistemas comiencen a mejorar por sí solos, puedan llegar a ser lo suficientemente avanzados como para rechazar órdenes.

La salida de Coxon, indicó el Journal, es uno de los primeros ejemplos de un empleado de Anthropic que abandona la empresa por temor a la seguridad de la IA. Un investigador que trabajaba en seguridad dejó la compañía a principios de este año para estudiar poesía, advirtiendo que “el mundo está en peligro”.

Varios investigadores han abandonado OpenAI y otras empresas recientemente y en años anteriores, recordó el periódico, citando preocupaciones similares. Anthropic ha construido una de las plataformas de IA más grandes, en parte, afirmando que prioriza el desarrollo responsable de la IA e invierte fuertemente en este sector.

El mes pasado, el cofundador de Microsoft, Bill Gates, sostuvo que la inteligencia artificial necesita límites significativos, pues de lo contrario el daño para los seres humanos superará cualquier posible beneficio.

“La IA será la mayor fuerza igualadora jamás inventada o la peor fuente de injusticia”, afirmó en un ensayo de 6.000 palabras titulado “La turbulenta era de la IA ya está aquí. Las decisiones que tomemos ahora son cruciales”.

“Incluso en las mejores circunstancias, la transición a esta nueva era de la IA será uno de los períodos más turbulentos de la historia de la humanidad”, afirmó, y agregó: “No veo pruebas de que los líderes, expertos y comunidades estén afrontando adecuadamente los desafíos. No existe ningún plan para facilitar la entrada en la era de la IA”.

En una entrevista concedida al New York Times la semana pasada, Gates afirmó que la industria tecnológica estaba minimizando deliberadamente esas amenazas porque había demasiado dinero en juego.

“En privado, quienes comprenden lo bueno que es esto y lo mucho que va a mejorar, están muy preocupados”, dijo. Pero pocos ejecutivos tecnológicos, según Gates, están dispuestos a admitirlo públicamente. “Ahora se dicen entre ellos: ‘Oye, no digas eso. Es malo para nosotros, para el próximo billón de dólares que estamos intentando recaudar’”.

El senador independiente de Vermont, Bernie Sanders, y el representante demócrata por Texas, Greg Casar, son dos de los pocos legisladores que proponen salvaguardias para la IA, presentaron la semana pasada un proyecto de ley para prohibir permanentemente la superinteligencia y suspender el desarrollo de modelos hasta que un regulador de la industria establezca nuevas reglas.