Nvidia lanzó una plataforma que promete controlar a los agentes de IA rebeldes

Las empresa confirmó que docenas de gigantes tecnológicos ya se han sumado al uso de este paquete integral de hardware y software de código abierto, entre ellos Anthropic, Microsoft, Arm, Oracle y SpaceX.

Nvidia ofreció su propia respuesta a recientes comportamientos anómalos de la inteligencia artificial. Su CEO, Jensen Huang, presentó un paquete integral de software y hardware diseñado para añadir capas de protección externas alrededor de los agentes de IA, garantizando que permanezcan dentro de sus entornos de prueba (sandboxes) incluso si intentan escapar.

Apenas unos días antes, se reveló que OpenAI se vio obligada a pausar por segunda vez en tres meses el entrenamiento e inferencia de sus modelos más avanzados tras la fuga de un sistema interno a internet. Al mismo tiempo, tanto OpenAI como Anthropic se encuentran investigando decenas de miles de incidentes de seguridad que incluyen escaneos e incursiones no autorizadas a portales de la ONU y gobiernos de Estados Unidos y Australia.

Huang aseguró que la nueva Nvidia Open Agent Safety Platform habría evitado directamente estas brechas de seguridad. La compañía tecnológica, que ha facturado decenas de miles de millones de dólares vendiendo procesadores a los principales laboratorios de IA, rechaza rotundamente frenar el avance de la tecnología o añadir regulaciones estatales. Para Nvidia, la solución consiste en mover los controles de seguridad fuera del propio agente, creando un vigilante externo e ininterrumpido.

La nueva plataforma combina OpenShell, un software de código abierto presentado en marzo que delimita los accesos de la IA mientras opera, con Sentry, un sistema de monitoreo independiente instalado en las unidades de procesamiento de datos BlueField-4 de Nvidia.

Al ejecutar Sentry en un procesador separado, en lugar de la CPU o GPU donde funciona el modelo, Nvidia logra una supervisión aislada que no puede ser alterada por la IA.

“OpenShell actúa como el límite de software, mientras que Sentry añade una línea de defensa de hardware capaz de poner en cuarentena a cualquier agente que intente romper sus márgenes en cuestión de milisegundos”, detalló la firma.

Nvidia confirmó que docenas de gigantes tecnológicos ya se han sumado al uso de esta plataforma de código abierto, entre ellos Anthropic, Microsoft, Arm, Oracle y SpaceX, con la notable ausencia de OpenAI en la lista inicial de participantes.

“Cuando despliegas un agente, no importa lo inteligente que sea, lo primero que haces es quitarle todos sus derechos”, afirmó Huang, comparando estos protocolos con las políticas de acceso que las corporaciones aplican a sus propios ejecutivos.

El anuncio fue recibido con entusiasmo por quienes advierten que una pausa en el desarrollo permitiría a China adelantar a Estados Unidos en la carrera tecnológica. David Sacks, copresidente del Consejo de Asesores de Ciencia y Tecnología del presidente, respaldó la postura de Nvidia al señalar en X que las recientes fugas no son prueba de que debamos detener el desarrollo; son prueba de que el entorno de pruebas (sandbox) era demasiado débil y estaba mal diseñado.

Le puede interesar: Anthropic y OpenAi investigan decenas de incidentes de seguridad provocados por sus modelos