Nvidia anunció el lanzamiento de una plataforma de software abierto y un diseño de sistema de referencia para reforzar la seguridad de los agentes de inteligencia artificial (IA), desde la etapa de pruebas hasta su despliegue.

Según la compañía, la herramienta denominada Open Agent Safety Platform permite gobernar y controlar el proceso de estos agentes: el software que los ejecuta, el hardware y la capacidad de cómputo que sostienen su trabajo, y los sistemas robóticos que realizan tareas en el mundo físico.

La empresa justificó el lanzamiento en una serie de incidentes de seguridad recientes que, a su juicio, muestran que las organizaciones necesitan herramientas abiertas y personalizables para ejercer mayor control sobre los agentes que operan por períodos prolongados.

En todos esos casos, sostuvo Nvidia, el patrón fue el mismo: el agente eludió los controles de seguridad de la capa de aplicación para completar la tarea que se le había asignado. El comunicado, sin embargo, no identifica cuáles fueron esos incidentes.

“El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la seguridad de la IA”, afirmó Jensen Huang, fundador y CEO de Nvidia.

“A medida que seguimos descubriendo la frontera de las capacidades de la IA, debemos acelerar los descubrimientos en la frontera de la seguridad de la IA. La seguridad y la protección requieren una ingeniería que abarque toda la pila tecnológica”, agregó.

La empresa dijo que líderes de la industria de todo el ecosistema de IA se unieron en esta cruzada para reforzar la seguridad de la IA en todos los sectores, abarcando toda la infraestructura, el software, los modelos y la robótica. Nvidia nombró a Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow y SpaceXAI.

Hay que recordar que Nvidia ha sido pieza clave del auge de la IA generativa desde el lanzamiento de ChatGPT hace casi cuatro años, ya que las unidades de procesamiento gráfico del fabricante de chips son fundamentales para el desarrollo de grandes modelos de lenguaje y para los servicios de IA que ofrecen las grandes empresas tecnológicas.

La preocupación que genera la carrera por el dominio de la IA

El lanzamiento se produce en medio de una creciente inquietud por los riesgos de la IA dentro de la propia industria, que ya comenzó a modificar sus planes de negocio.

A mediados de septiembre, Sam Altman, CEO de OpenAI, descartó que la compañía salga a bolsa este año y atribuyó la decisión a la creciente preocupación por la seguridad de la tecnología. “Ahora sería un momento desaconsejable para salir a bolsa, y no sentimos presión en eso”, dijo en una entrevista con Fortune.

Días antes, Jacob Coxon, especialista en preentrenamiento que antes trabajó en OpenAI, había renunciado a Anthropic con acusaciones a esa empresa y a OpenAI de “apostar con nuestras vidas” y de correr “directo hacia una superinteligencia auto-mejorante”. Evan Hubinger, líder de ciencia del alineamiento de Anthropic, respaldó ese diagnóstico y cifró en más de 10% la probabilidad de que la IA mate a todos los humanos en la próxima década.

A comienzos de mes, el científico jefe de OpenAI, Jakub Pachocki, ya había advertido que ninguna compañía ha “resuelto el alineamiento y el monitoreo en grado suficiente como para seguir escalando de forma responsable a máxima velocidad por mucho más tiempo”.

El 12 de septiembre, el CEO de Anthropic, Dario Amodei, publicó el ensayo “We Must Pace the Frontier”, con un plan de tres pasos para moderar el ritmo de desarrollo: dar a evaluadores externos acceso permanente de nivel empleado a los sistemas de IA, compromiso que Anthropic asumió de manera unilateral; coordinar a las compañías líderes de países democráticos en estándares comunes de seguridad, y avanzar hacia una coordinación entre gobiernos democráticos y autoritarios.

“Para ser claros, moderar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las compañías se tomen el tiempo adecuado para alinear y resguardar sus modelos, y que evaluadores externos lo confirmen”, escribió.