Bloomberg — Nvidia Corp. (NVDA) presentó un nuevo sistema de seguridad de inteligencia artificial de doble capa que, según afirma, habría evitado la reciente filtración de gran repercusión mediática sufrida por Hugging Face a causa de los modelos de IA de OpenAI.
El gigante de los semiconductores, que ha venido ampliando rápidamente su gama de productos más allá de los chips, está lanzando dos herramientas de seguridad de código abierto que pueden ejecutarse en su hardware. Están diseñadas para controlar en tiempo real a qué pueden acceder los agentes de IA y desactivarlos cuando incumplan las normas.
Si los laboratorios de vanguardia hubieran utilizado esta tecnología para evaluar sus modelos de IA desde el principio, se habría podido evitar el ataque a Hugging Face, afirmó Justin Boitano, vicepresidente de IA empresarial de Nvidia, durante una rueda de prensa celebrada antes del anuncio del lunes. “Por lo que sabemos, esta nueva plataforma de seguridad podría haber impedido la brecha de seguridad”, afirmó.
Las conductas indebidas de los agentes autónomos, incluido el incidente de Hugging Face en julio, han sacudido al sector de la IA y han dado lugar a peticiones para ralentizar el desarrollo de esta tecnología. Con el nuevo producto —denominado Open Agent Safety Platform— Nvidia ofrece una forma de prevenir las brechas de seguridad sin frenar el desarrollo de la IA. El CEO del fabricante de chips, Jensen Huang, ha restado importancia en repetidas ocasiones al riesgo de que la IA se escape del control humano.
Boitano no se pronunció sobre si OpenAI o su rival Anthropic PBC tienen previsto utilizar su nuevo sistema para supervisar sus procesos de entrenamiento, remitiéndose a las propias empresas.
Ver más: Jensen Huang prevé que Nvidia duplique sus ventas de chips en 2027 por el auge de la IA
¿Cómo funciona el nuevo sistema de seguridad de Nvidia?
En los últimos días, Huang ha calificado las preocupaciones en materia de seguridad como un reto de ingeniería, más que como algo que requiera una mayor regulación o coordinación global. Se unió al presidente de EE.UU., Donald Trump, para rebatir las afirmaciones de algunos desarrolladores de IA de que la tecnología podría conducir a la extinción de la humanidad, aunque también insistió en que la IA debe someterse a rigurosas pruebas de seguridad.
La solución de ingeniería de Huang al problema de la seguridad de la IA consta de dos partes. OpenShell, un producto de software que Nvidia ya presentó en marzo en su emblemática conferencia centrada en la tecnología, puede ejecutarse en las unidades centrales de procesamiento Vera de Nvidia. Permite a los usuarios establecer reglas sobre a qué pueden acceder los agentes de IA y hacerlas cumplir en tiempo real. El software es de código abierto, lo que significa que puede utilizarse y adaptarse libremente.
Por su parte, Nvidia Sentry es un nuevo producto que puede ejecutarse en las unidades de procesamiento de datos BlueField del fabricante de chips. Está diseñado para proporcionar una capa adicional de supervisión de la IA que controla a los agentes e interviene para aislar a aquellos que actúen de forma sospechosa, según ha indicado la empresa.
“Creemos que esta capa de seguridad adicional permitirá al sector probar con total seguridad incluso los sistemas de IA más avanzados”, afirmó Boitano en referencia al producto Sentry. “Es capaz de poner en cuarentena a un agente sospechoso en milisegundos”.
Ver más: CEO de Nvidia dice que la IA no necesita nuevas leyes: “Las fuerzas del mercado ya están ahí”
Nvidia acordó a principios de este mes adquirir Hugging Face, una plataforma de modelos de IA de código abierto y software relacionado, por unos US$13.000 millones.
¿Qué otros incidentes han puesto a prueba la seguridad de los agentes de IA?
Los recientes incidentes de OpenAI —entre los que se incluyen una brecha de seguridad en un sistema del gobierno australiano, así como intentos de acceder a docenas de sitios web del gobierno y de universidades estadounidenses— se produjeron cuando sus modelos se escaparon de entornos de prueba que se suponía que eran seguros.
A medida que los problemas se multiplicaban, OpenAI anunció el viernes por la noche que suspendería el entrenamiento de sus modelos de IA más avanzados. Ya en julio, Anthropic también reveló que sus agentes se habían escapado de lo que se suponía que era un espacio de pruebas aislado.
Lea más en Bloomberg.com
