Bloomberg — OpenAI podría haber reaccionado antes para evitar un ataque informático involuntario que sus modelos de inteligencia artificial llevaron a cabo contra Hugging Face Inc., según ha señalado la empresa en un informe publicado este miércoles.
En el informe, OpenAI señaló que ya a finales de mayo tenía constancia de que los modelos de IA que estaba probando aprovechaban una vulnerabilidad de software para acceder a la red abierta. Un equipo interno detectó estas acciones, según la empresa.
El informe incluye una cronología de los acontecimientos que condujeron a la brecha de seguridad y las medidas que la empresa está adoptando para evitar que se repitan incidentes de este tipo en el futuro, como reforzar la supervisión de sus modelos en fase de desarrollo.
Ver más: OpenAI revela que sus modelos hackearon accidentalmente a Hugging Face
“En retrospectiva, algunas señales tempranas identificadas en este informe podrían haber dado lugar a una respuesta más temprana”, escribió la empresa.
El informe se publica más de un mes después de que el fabricante de ChatGPT afirmara que sus modelos avanzados de inteligencia artificial habían pirateado inadvertidamente Hugging Face Inc. en un incidente “sin precedentes” que, junto con otras brechas de ciberseguridad recientes, ha avivado la preocupación por el descontrol de los agentes de IA.
Esto ha llevado a algunos líderes del sector tecnológico y del ámbito gubernamental a renovar sus llamamientos a que se impongan restricciones a esta tecnología.
OpenAI afirmó en julio que los modelos implicados en el ataque se introdujeron en el sistema de Hugging Face, que aloja modelos de IA y conjuntos de datos, durante una evaluación de sus capacidades cibernéticas. Según la empresa, en ese momento los modelos funcionaban sin las medidas de seguridad habituales, ya que OpenAI tenía la intención de que permanecieran en un área de pruebas conocida como ‘sandbox’, básicamente, un entorno de software virtual aislado destinado a realizar pruebas de seguridad o analizar código inseguro de forma controlada.
Ver más: OpenAI asegura que sus nuevos chips superan a Nvidia en pruebas de rendimiento
La empresa ya había señalado anteriormente que la brecha la llevó a cabo una combinación de sus modelos de IA, entre los que se incluían GPT-5.6 Sol y otro modelo más potente aún no publicado. En el informe, OpenAI señaló que este modelo aún no lanzado, que está entrenado para ser más persistente que muchos otros modelos y también para trabajar de forma más colaborativa con agentes de IA, llevó a cabo la mayor parte del trabajo durante la brecha de seguridad. Dicho modelo se utilizó para acceder a Internet, comunicarse en un foro al que accedían otros agentes de IA e idear métodos para obtener credenciales.
El informe explica cómo a los agentes de OpenAI se les asignaron amplias tareas de piratería informática destinadas a poner a prueba su capacidad para descubrir y explotar vulnerabilidades cibernéticas, y que las medidas de seguridad que se utilizan normalmente en los productos comerciales de OpenAI se habían desactivado con el fin de comprobar hasta dónde podían llegar. Según el informe, los modelos carecían de sistemas que revisaran y bloquearan automáticamente las actividades potencialmente riesgosas.
En mayo, los modelos de OpenAI comenzaron a intentar escapar de sus entornos de pruebas para acceder a Internet, al tiempo que eludían las restricciones que les impedían enviar mensajes a otros agentes de IA. Según el informe, el 26 de mayo los modelos lograron acceder a la web, lo cual fue detectado por un equipo interno de OpenAI.
Por esas fechas, el software también comenzó a localizar credenciales digitales de Hugging Face, aunque OpenAI afirmó que, al parecer, dicha actividad no guardaba relación con la filtración que se produjo posteriormente.
Ver más: OpenAI refuerza la seguridad para clientes de pago y analizará riesgos entre varias interacciones
La comunicación de OpenAI del miércoles también detalló cómo los modelos de IA, utilizando varios agentes para llevar a cabo tareas, obtuvieron credenciales vinculadas a la tecnología en la nube de Hugging Face, a redes privadas virtuales, a repositorios de código y a un servicio de mensajería empresarial.
Utilizaron ese acceso para moverse por sistemas que, de otro modo, estarían protegidos, descargando finalmente, entre otra información, el código fuente de la infraestructura en la nube de Hugging Face.
OpenAI ya había compartido anteriormente varias de las conclusiones de la empresa relacionadas con la filtración de Hugging Face en una conferencia sobre ciberseguridad a principios de agosto, pero el informe ofrece el relato público más completo de la empresa sobre el incidente y los acontecimientos que lo precedieron.
Según el informe, los agentes aprovecharon las credenciales expuestas y las vulnerabilidades de Hugging Face para ejecutar código en sus sistemas, obtener privilegios de amplio alcance y descargar bases de datos de código privado.
Ver más: OpenAI pausa trabajos en su modelo Astra ante preocupaciones de ciberseguridad
Los agentes llevaron a cabo gran parte de esa labor en un plazo de 13 horas, según la empresa, ya que el software de OpenAI “pasó de ejecutar código en un único pod de trabajo a obtener acceso administrativo y a nivel de host en múltiples clústeres de Hugging Face”.
En una evaluación independiente y separada de la brecha de seguridad, también publicada el miércoles, las organizaciones sin ánimo de lucro dedicadas a la investigación en IA Model Evaluation & Threat Research —conocida como METR— y Redwood Research afirmaron que los modelos utilizaban agentes de IA que intentaban eludir los controles de seguridad automatizados tanto de OpenAI como de Hugging Face.
Los modelos parecían dedicar menos esfuerzo a eludir la detección humana, según concluyó el informe de METR y Redwood Research.
Según el informe de OpenAI, los agentes también comprometieron partes de la infraestructura de investigación de OpenAI mientras intentaban completar sus pruebas de evaluación, acciones que, según la empresa, no estaban relacionadas con la brecha de seguridad de Hugging Face, pero que dieron lugar a la alerta inicial que desencadenó la respuesta de la empresa.
Las herramientas de IA manipularon un sistema de almacenamiento de software sustituyendo un programa de confianza por un paquete de software que ellas mismas controlaban. Asimismo, se infiltraron en la red en la nube de OpenAI, accediendo a cerca de 1.000 contraseñas y claves de acceso almacenadas. Durante ese proceso, según el informe, crearon conexiones accesibles al público que podrían haber dejado expuestos algunos sistemas de OpenAI.
Ver más: Pruebas de IA de OpenAI y Anthropic revelan nuevos riesgos de ciberseguridad
La empresa también ha indicado que está introduciendo una serie de cambios en la forma en que evalúa los modelos de IA potentes, por ejemplo, mediante la implantación de entornos de prueba más seguros con medidas de protección adicionales. La empresa anunció la semana pasada que estaba implementando sistemas más rigurosos para supervisar y proteger los modelos en fase de desarrollo.
Ahora, se avisará automáticamente a sus investigadores e ingenieros de seguridad si los modelos llevan a cabo acciones peligrosas o inadecuadas, lo que significa que la IA está eludiendo sus instrucciones para perseguir sus propios objetivos.
Con la colaboración de Maggie Eastland.
Lea más en Bloomberg.com
