Bloomberg — Meta Platforms Inc. (META) ha informado que uno de sus modelos de inteligencia artificial accedió a Internet y se infiltró en los sistemas de un servicio externo durante unas pruebas de ciberseguridad, tras otros incidentes recientes en el sector de la IA que han agravado la preocupación sobre el control que ejercen las empresas sobre su tecnología.
El modelo de Meta, el recientemente lanzado Muse Spark 1.1, violó la seguridad de los sistemas de un servicio de terceros cuyo nombre no se ha revelado, según informó la empresa el miércoles. El modelo de IA tuvo acceso a Internet debido a un error en la configuración del entorno de pruebas, en el que Meta estaba trabajando junto con el proveedor de ciberseguridad Irregular.
Ver más: Meta lanza Muse Code, su primer agente de programación con IA para competir con OpenAI y Anthropic
“Una configuración errónea por parte de Irregular, una empresa de pruebas independiente con la que colabora Meta, permitió inadvertidamente que uno de nuestros modelos accediera a Internet durante la evaluación”, declaró el portavoz de Meta, Andy Stone, en un comunicado. “Posteriormente, el modelo aprovechó una vulnerabilidad de seguridad en un servicio de terceros, de forma similar a los casos denunciados anteriormente en otras empresas”.
Meta tuvo conocimiento del incidente cuando Irregular se lo notificó, añadió Stone. Meta está investigando lo ocurrido y tiene previsto publicar un informe retrospectivo completo una vez que la empresa disponga de todos los datos.
Solo en las últimas dos semanas, las principales empresas de IA, OpenAI y Anthropic PBC, han informado de incidentes similares en los que sus modelos piratearon inadvertidamente los sistemas de instituciones externas, entre ellas Hugging Face Inc., durante las pruebas. El avance de las capacidades de los agentes de IA para detectar vulnerabilidades en los sistemas y, posteriormente, aprovecharlas, ha alarmado tanto a los investigadores de seguridad como a los responsables gubernamentales, quienes han reclamado controles de seguridad más rigurosos y entornos de pruebas más seguros.
Ver más: OpenAI revela que sus modelos hackearon accidentalmente a Hugging Face
Los incidentes de las tres empresas también involucraron a Irregular.
En el caso de Anthropic, el desarrollador de IA utilizaba entornos de evaluación creados por Irregular para probar las capacidades cibernéticas de sus modelos. Anthropic especificó a su modelo, Claude, que su entorno era una simulación y que no disponía de acceso a Internet. Sin embargo, “debido a un malentendido entre nosotros y nuestro socio de evaluación, esto no fue así”, afirmó Anthropic la semana pasada en una entrada de blog. Los modelos acabaron violando la seguridad de tres organizaciones durante las pruebas.
A principios de esta semana, OpenAI declaró de forma similar que sus modelos se aprovecharon de una “configuración errónea” en un entorno de pruebas para conectarse a Internet y piratear el sitio web de una institución no identificada. La intrusión se produjo mientras los modelos de OpenAI se sometían a la misma evaluación de Irregular que dio lugar al ataque de Anthropic, según afirmó una persona familiarizada con el asunto, que pidió no ser identificada porque la información no es pública.
Un portavoz de Irregular confirmó que el incidente con el modelo de Meta AI, del que informó este miércoles The Information, está relacionado con el mismo problema del entorno de evaluación que había revelado anteriormente Anthropic.
Ver más: Pruebas de IA de OpenAI y Anthropic revelan nuevos riesgos de ciberseguridad
“No se trató de una fuga del entorno de pruebas ni de una acción cibernética sofisticada. Actualmente no hay incidencias pendientes”, afirmó el portavoz. “Irregular está elaborando un informe técnico para compartir las mejores prácticas en materia de contención y realización segura de evaluaciones cibernéticas”.
Irregular forma parte de una generación relativamente nueva de startups centradas en la ciberseguridad de la IA, que responden a la creciente demanda de defensas contra las brechas provocadas por la IA. La empresa lleva a cabo simulaciones con modelos de IA de vanguardia para poner a prueba su posible uso indebido en ciberataques y su resiliencia cuando son objeto de ataques.
La empresa, con sede en Tel Aviv y fundada en 2023 por el CEO Dan Lahav y el director de tecnología Omer Nevo, recaudó US$80 millones en una ronda de financiación el año pasado liderada por Sequoia Capital y Redpoint Ventures. Anteriormente conocida como Pattern Labs, Irregular ha afirmado que genera millones en ingresos anuales.
El analista de Bloomberg Intelligence, Mandeep Singh, señaló que las recientes brechas de seguridad podrían aumentar el interés de las empresas por los “sistemas de seguridad personalizados” y los modelos de código abierto que permiten a los usuarios descargar y adaptar la tecnología para que funcione dentro de su propia infraestructura.
Ver más: Modelos de OpenAI usaron una cuenta en la plataforma Modal para lanzar ciberataques
“Los responsables de compras de tecnología en las empresas están examinando más de cerca a los proveedores de IA en lo que respecta a la soberanía de los datos, la seguridad y los riesgos de cumplimiento normativo”, señaló Singh. “Meta podría seguir los pasos de los proveedores de nube a hiperescala, cuyos controles consolidados y relaciones con las empresas pueden ofrecer una ventaja frente a los desarrolladores de modelos pioneros”.
Lea más en Bloomberg.com
