Las capas de Open Agent Safety Platform: OpenShell y Sentry
Open Agent Safety Platform integra dos componentes principales. OpenShell es la capa de software encargada de monitorizar la actividad de agentes de IA para detectar comportamientos sospechosos.
Sentry es un componente de hardware que se ejecuta en un chip independiente, diseñado para actuar como una barrera física que puede cortar el acceso de un agente si intenta salirse del perímetro autorizado.
Ambas capas trabajan en conjunto para contener agentes de IA rebeldes en milisegundos, combinando detección matemática y acción rápida de contención.
Este enfoque mixto busca ofrecer una seguridad en tiempo real imposible de lograr solo con software, al sumar monitoreo y encapsulado físico del agente.
Detección matemática para evitar sub-agentes y rodeos
Según Ali Golshan, director senior de software de IA en Nvidia, la plataforma emplea fórmulas matemáticas para identificar cuando un agente intenta realizar maniobras para escapar, como generar sub-agentes (‘spawn’).
Este método matemático permite anticipar patrones complejos de comportamiento no autorizados, no solo acciones explícitas.
La detección se orienta a frenar agentes maliciosos antes de que puedan vulnerar el entorno o afectar sistemas externos.
Este nivel de vigilancia reforzada es necesario en escenarios donde agentes pueden ser autónomos y altamente dinámicos.
Actuación inmediata contra agentes rebeldes
Sentry, operando en un chip separado, tiene el poder de cortar el acceso a recursos o datos si detecta que un agente intenta sobrepasar límites impuestos.
La rapidez en la actuación reduce el riesgo de que el agente cause daños antes de ser contenido.
El aislamiento en milisegundos es clave para contener incidentes y garantizar que la IA opera dentro de su perímetro autorizado.
Esto supone un avance en seguridad frente a modelos anteriores que solo podían reaccionar tras detectar un problema, no prevenirlo al instante.
Implicaciones para la seguridad de agentes autónomos
El anuncio de Nvidia apunta a un futuro donde la seguridad en IA no solo depende de protocolos de software, sino también de mecanismos físicos para control directo.
Esta solución puede marcar la pauta para la industria, que necesita sistemas robustos contra agentes con capacidad autónoma y potencialmente evasiva.
El desafío consiste en que estos mecanismos sean seguros, confiables y no limiten funcionalidades legítimas de los agentes.
Se abre el debate sobre cómo se integrarán estas plataformas en ecosistemas laborales y productivos con altos niveles de autonomía IA.