Sam Altman lleva semanas advirtiendo que los próximos sistemas de inteligencia artificial serán considerablemente más poderosos y difíciles de controlar.

Ahora, el director ejecutivo de OpenAI, la empresa tras ChatGPT, sumó una idea que parece, a primera vista, contradictoria: el público tiene razones para sentir miedo, pero debería confiar en que las empresas responsables de desarrollar esta tecnología sabrán cuándo detenerse.

“El mundo debería confiar en que vamos a hacer lo correcto porque es lo correcto y porque comprendemos la magnitud de esto”, señaló Altman durante Dreamforce, la conferencia anual organizada por Salesforce en San Francisco.

Al mismo tiempo, el ejecutivo reconoció que el temor provocado por el rápido progreso de la inteligencia artificial no es irracional.

“Ya no hace falta tanta imaginación como antes para ver cómo esto podría salir mal”, sostuvo. “Creo que el mundo hace bien en tener miedo”.

Las declaraciones llegan en uno de los momentos de mayor tensión dentro de la industria de la IA. Investigadores, empresarios y políticos discuten no solo sobre los peligros que pueden surgir de modelos cada vez más autónomos, sino sobre una pregunta mucho más concreta: ¿quién debe decidir cuándo una inteligencia artificial es suficientemente segura para ser lanzada?

Para Altman, parte importante de esa responsabilidad seguirá recayendo en las propias compañías.

La apuesta de Altman: seguridad antes que capacidades

La posición del CEO de OpenAI parte de una idea sencilla: las compañías que construyen los modelos son también las organizaciones que mejor conocen sus capacidades, sus fallas y los riesgos que aparecen durante su desarrollo.

Según Altman, si en algún momento OpenAI o cualquier otro laboratorio no logra mantener la “alineación y la seguridad” por delante de las capacidades de sus sistemas, la respuesta debería ser reducir la velocidad o directamente detener el avance.

“No tengo dudas de que nuestra empresa y nuestra industria tienen la capacidad de hacer esto de forma segura”, dijo durante Dreamforce.

La alineación es uno de los campos centrales de investigación en inteligencia artificial y busca conseguir que los sistemas actúen de acuerdo con los objetivos, instrucciones y valores establecidos por los seres humanos, incluso a medida que adquieren mayores capacidades.

El problema es que cada nueva generación de modelos amplía también aquello que estos sistemas pueden hacer sin intervención humana.

Altman viene advirtiéndolo desde comienzos de septiembre. En una entrevista con Axios afirmó que algunos modelos ya alcanzan capacidades “superhumanas” en determinadas áreas y aseguró que la industria está entrando en “aguas desconocidas”.

También anticipó que, a partir de ahora, la velocidad de lanzamiento de nuevos sistemas podría estar determinada precisamente por la rapidez con que progresan las técnicas de seguridad y alineación.

El ejecutivo cree que se aproxima además una nueva fase de la IA: sistemas que no solo responden preguntas o realizan una tarea puntual, sino que pueden permanecer activos permanentemente, conocer el contexto del trabajo de una persona y ejecutar acciones de manera proactiva.

Ese salto aumenta tanto el potencial económico de la tecnología como las consecuencias de un eventual error.

¿Puede Silicon Valley regularse a sí mismo?

La parte más controvertida del argumento de Altman está precisamente allí.

Los críticos cuestionan que las empresas que tienen miles de millones de dólares en juego y compiten por construir los modelos más avanzados puedan ser, al mismo tiempo, los principales árbitros de su propia seguridad.

El debate ha producido coincidencias poco frecuentes en la política estadounidense.

El senador progresista Bernie Sanders y Steve Bannon, exasesor de Donald Trump y figura de la derecha estadounidense, participaron esta semana en un encuentro en Washington reclamando una mayor supervisión sobre el desarrollo de la inteligencia artificial.

Sanders ha advertido sobre la concentración del poder tecnológico en un reducido grupo de multimillonarios y compañías, mientras Bannon ha cuestionado que los grandes empresarios de Silicon Valley puedan regularse adecuadamente a sí mismos.

Donald Trump, en cambio, ha defendido una aproximación mucho menos restrictiva y ha cuestionado los llamados a frenar el desarrollo de la IA.

Su administración ha favorecido hasta ahora mecanismos voluntarios y una regulación limitada, en parte bajo el argumento de que Estados Unidos debe mantener su ventaja tecnológica frente a China.

La falta de consenso político también dificulta una respuesta desde el Congreso.

Altman ya había reconocido a comienzos de septiembre su frustración porque, tres años después de comparecer ante el Senado y pedir un marco regulatorio para los sistemas avanzados, Estados Unidos todavía no cuenta con una estructura federal integral para supervisarlos.

Y aquí aparece un matiz importante: OpenAI no plantea que la industria deba operar completamente sin regulación.

La compañía ha respaldado recientemente reglas nacionales obligatorias para los sistemas más avanzados, incluyendo evaluaciones independientes, requisitos de ciberseguridad y mecanismos para reportar incidentes.

La posición de Altman combina, por tanto, dos elementos: regulación externa para establecer ciertos límites y una importante cuota de responsabilidad interna para que cada laboratorio decida cuándo un modelo todavía no está preparado para ser desplegado.

Jensen Huang: “No necesitamos nuevas leyes”

Otros líderes tecnológicos han ido más lejos.

Jensen Huang, CEO de Nvidia, aprovechó la misma conferencia de Salesforce para rechazar la necesidad de nuevas regulaciones específicas para la inteligencia artificial.

“No necesitamos nuevas leyes ni regulaciones”, afirmó (acá puedes revisar sus declaraciones).

Según Huang, existe una “falsa disyuntiva” entre desarrollar rápidamente la tecnología y hacerlo de manera segura.

Su argumento es que la seguridad debe tratarse como un problema de ingeniería: una compañía puede avanzar tan rápido como sea capaz, pero debe detenerse si pierde la confianza en que su producto puede utilizarse de forma segura.

Es una postura especialmente relevante viniendo del máximo ejecutivo de Nvidia, cuyos procesadores se han convertido en una de las principales infraestructuras detrás del auge mundial de la inteligencia artificial.

Mark Zuckerberg expresó una posición similar.

El CEO de Meta sostuvo que cada laboratorio posee tanto la responsabilidad como los incentivos para adoptar sus propias medidas de seguridad.

Como ejemplo mencionó la decisión de Meta de retrasar durante varios meses el lanzamiento de uno de sus sistemas para realizar nuevas pruebas (lee en este link su manifiesto sobre el futuro de la IA).

Desde esta perspectiva, una empresa que ignore la seguridad también estaría poniendo en peligro su propio negocio: accidentes graves, filtraciones o comportamientos inesperados pueden provocar responsabilidades legales, dañar la reputación de la compañía y reducir la confianza de los usuarios.

La posición opuesta: no basta con confiar en las empresas

No todos dentro de la propia industria están convencidos.

Dario Amodei, CEO de Anthropic, ha adoptado durante las últimas semanas una postura más cautelosa y pidió reducir el ritmo de desarrollo de los sistemas más avanzados mientras se fortalecen los mecanismos de seguridad (revisa acá su ensayo).

Su propuesta combina controles internos de los laboratorios, estándares comunes para toda la industria, evaluaciones realizadas por terceros y eventualmente acuerdos entre gobiernos.

Yoshua Bengio, uno de los pioneros de la inteligencia artificial moderna, también ha defendido la necesidad de crear mecanismos ambiciosos fuera de las compañías con fines de lucro para reducir los riesgos más graves.

La desconfianza hacia la autorregulación tiene además un componente económico.

Patrick Hillmann, ejecutivo de Logical Intelligence, argumentó esta semana que las compañías de IA enfrentan un problema básico de credibilidad: están pidiendo al público que confíe en ellas mientras tienen enormes incentivos financieros para continuar avanzando.

Hillmann sostiene que reconocer públicamente que existen riesgos no equivale necesariamente a asumir responsabilidad por ellos. En su opinión, los desarrolladores deberían demostrar qué avances o decisiones comerciales están realmente dispuestos a abandonar si consideran que sus sistemas pueden resultar peligrosos.

Un intento por establecer reglas comunes

Pese a sus diferencias, los grandes laboratorios parecen comenzar a buscar algunos puntos de encuentro.

OpenAI mantiene conversaciones con Anthropic y Google DeepMind para establecer estándares comunes frente a riesgos asociados a los sistemas de IA más avanzados.

Chris Lehane, responsable de asuntos globales de OpenAI, confirmó que las empresas han discutido durante varias semanas mecanismos de cooperación sobre seguridad y que la compañía también respalda iniciativas legislativas bipartidistas dirigidas a reducir riesgos catastróficos.

Anthropic también ha señalado que mantiene conversaciones con otras compañías para mejorar los controles y estándares utilizados durante el desarrollo de nuevos modelos.

Esto podría terminar creando una especie de sistema híbrido: regulaciones gubernamentales para establecer requisitos mínimos, evaluadores externos para comprobar el comportamiento de los modelos y compromisos voluntarios entre compañías para enfrentar problemas que evolucionan más rápido que las leyes.

Una cuestión de confianza

Detrás de toda esta discusión existe finalmente un problema que no es exclusivamente tecnológico.

Es un problema de confianza.

Las mismas compañías que aseguran que la inteligencia artificial puede transformar la economía, automatizar buena parte del trabajo intelectual y desarrollar capacidades superiores a las humanas en determinadas tareas son las que ahora piden que la sociedad confíe en su capacidad para controlar esa transformación.

Altman reconoce que la inquietud es legítima.

Pero sostiene que la respuesta no necesariamente pasa por frenar completamente la carrera tecnológica, sino por conseguir que la seguridad avance incluso más rápido que las capacidades de los modelos.

La gran pregunta es si esa promesa será suficiente.

Porque mientras Silicon Valley debate sobre alineación, autorregulación y estándares voluntarios, los sistemas continúan avanzando. Y la discusión que probablemente marcará los próximos años ya no será únicamente qué puede hacer la inteligencia artificial, sino quién tiene el poder de decidir hasta dónde dejarla llegar.