Bloomberg — El chatbot de inteligencia artificial de Elon Musk, Grok, creó imágenes sexualizadas de menores en respuesta a indicaciones de los usuarios en los últimos días, lo que supone un revés para una herramienta que se posiciona como menos contenida que su competencia.
Grok creó y publicó imágenes de menores con ropa mínima, en aparente violación de su propia política de uso aceptable, que prohíbe la sexualización infantil. Las imágenes ofensivas fueron posteriormente retiradas.
Ver más: Grok, de Elon Musk, recibe luz verde para su uso en agencias federales de EE.UU.
“Hemos identificado fallas en las medidas de seguridad y las estamos solucionando urgentemente”, respondió Grok a un mensaje de un usuario el viernes, y agregó que el material de abuso sexual infantil es “ilegal y está prohibido”.
Los representantes de xAI, la empresa que desarrolla Grok y ejecuta X, no respondieron de inmediato a una solicitud de comentarios.
El auge de las herramientas de IA capaces de generar imágenes realistas de menores desnudos pone de relieve los desafíos de la moderación de contenido y los sistemas de seguridad integrados en modelos de lenguaje extensos que generan imágenes.
Las herramientas que afirman tener barreras de seguridad pueden ser manipuladas, lo que permite la proliferación de material que ha alarmado a los defensores de la seguridad infantil. La Internet Watch Foundation, una organización sin fines de lucro que identifica material de abuso sexual infantil en línea, informó un aumento del 400% en este tipo de imágenes generadas por IA en el primer semestre de 2025.
Ver más: Grok 4, de Musk, sale a la luz tras acusaciones de antisemitismo contra su versión anterior
XAI ha posicionado a Grok como más permisivo que otros modelos de IA convencionales, y el verano pasado introdujo una función llamada “Modo Picante” que permite desnudos parciales de adultos y contenido sexualmente sugerente. El servicio prohíbe la pornografía con imágenes de personas reales y el contenido sexual con menores, cuya creación y distribución son ilegales.
Aun así, los usuarios han instado a Grok a eliminar digitalmente la ropa de las fotos —principalmente de mujeres—, de modo que las personas aparentan llevar solo ropa interior o bikini. Esto llevó al Ministerio de Tecnologías de la Información de la India a exigir una revisión exhaustiva de las medidas de seguridad de Grok, según una copia de la denuncia publicada el viernes por la parlamentaria india Priyanka Chaturvedi.
A medida que la generación de imágenes con IA se ha vuelto más popular, las empresas líderes que las desarrollan han publicado políticas sobre la representación de menores. OpenAI prohíbe cualquier material que sexualice a menores de 18 años y veta a cualquier usuario que intente generar o subir dicho material.
Google tiene políticas similares que prohíben “cualquier imagen modificada de un menor identificable que participe en una conducta sexualmente explícita”. Black Forest Labs, una startup de IA que ya ha trabajado con X, se encuentra entre las muchas empresas de IA generativa que afirman filtrar imágenes de abuso y explotación infantil de los conjuntos de datos utilizados para entrenar modelos de IA.
En 2023, los investigadores descubrieron que un conjunto masivo de datos públicos utilizado para construir generadores de imágenes de IA populares contenía al menos 1.008 casos de material de abuso sexual infantil.
Muchas empresas han recibido críticas por no proteger a los menores del contenido sexual. Meta Platforms Inc. (META) anunció durante el verano que actualizaría sus políticas después de que un informe de Reuters revelara que las normas internas de la compañía permitían a su chatbot mantener conversaciones románticas y sensuales con niños.
La Fundación Internet Watch ha afirmado que las imágenes de abuso sexual infantil generadas por IA han avanzado a un ritmo alarmante, con materiales cada vez más realistas y extremos. En muchos casos, se utilizan herramientas de IA para retirar digitalmente la ropa de un niño o joven y crear una imagen sexualizada, según el organismo de control .
“Los productos de IA deben probarse rigurosamente antes de salir al mercado para garantizar que no tengan la capacidad de generar este material”, dijo el director ejecutivo de la fundación, Kerry Smith, en un comunicado el viernes.
Lea más en Bloomberg.com
