Bloomberg — Una nueva organización sin ánimo de lucro fundada por antiguos investigadores de Google pretende mantener a las personas en el centro del desarrollo de la inteligencia artificial para garantizar que esta potente tecnología sea segura y que haya menos probabilidades de que se escape al control de sus creadores.
Se trata de una especie de réplica a lo que las empresas tecnológicas están haciendo actualmente en muchos casos: utilizar la inteligencia artificial para supervisar a la propia inteligencia artificial. Dicha automatización ofrece la ventaja de la rapidez. Además, los estudios sugieren que la IA puede superar a los seres humanos a la hora de detectar vulnerabilidades en los modelos, una brecha que podría no hacer más que ampliarse a medida que la IA se vuelve más potente.
Ver más: Hackers chinos utilizan DeepSeek y otras IA para potenciar sus ataques, según investigadores
Sin embargo, Rishub Jain, quien contribuyó a la creación de la organización sin ánimo de lucro Sampura Research, considera que las personas siguen teniendo un papel importante que desempeñar.
Él y su cofundador han recaudado US$6,5 millones, con otros US$4,2 millones comprometidos, y planean crear un sistema híbrido entre humanos e IA, lo que denominan un ‘juez’, que pueda ayudar a las empresas a evitar que su tecnología detecte vulnerabilidades y, potencialmente, se rebele. Se trata de una tarea que ha cobrado mayor urgencia desde que OpenAI y Anthropic revelaron que sus modelos habían pirateado los sistemas de otras empresas sin permiso.
“Creo que aún tenemos mucho que aprender de los seres humanos”, afirmó Jain. “Si se involucra a un ser humano en el proceso desde el principio, será menos probable que el modelo aprenda a eludir estas brechas”.
Ver más: La IA obliga a los CEO a volver al aula para entender nuevas herramientas y replantear su liderazgo
Aportación humana
Jain y Joshua Jacob, otro antiguo empleado de Google que tiene previsto incorporarse a la organización sin ánimo de lucro, afirman que crearán una tabla de clasificación para mostrar cómo se comporta su sistema frente a otros tipos de ‘jueces’, incluidos los sistemas basados exclusivamente en IA y construidos a partir de modelos como el GPT de OpenAI o el Gemini de Google, así como los revisores humanos. El objetivo es determinar en qué casos la aportación humana resulta más valiosa: el evaluador podría, por ejemplo, recurrir a un ser humano para que dé su opinión cuando su homólogo de IA tenga dudas sobre algo.
Mientras Google, perteneciente a Alphabet Inc. (GOOGL), Anthropic y OpenAI compiten ferozmente por dominar la incipiente era de la IA, algunos investigadores de sus laboratorios afirman que las presiones comerciales están prevaleciendo sobre las preocupaciones en materia de seguridad. Varios de ellos han abandonado sus puestos en señal de protesta, advirtiendo que la tecnología avanza con demasiada rapidez o se está utilizando de formas que consideran inaceptables.
Google DeepMind, el laboratorio de IA insignia de la empresa, estuvo dirigido durante mucho tiempo por su cofundador, Demis Hassabis, quien se ha pronunciado ampliamente sobre los riesgos potenciales que plantea la IA avanzada. Sin embargo, a principios de este mes, asumió el cargo de presidente y cedió el liderazgo a Koray Kavukcuoglu, el nuevo vicepresidente sénior de DeepMind, lo que ha suscitado dudas sobre si el enfoque del laboratorio hacia la comercialización se intensificará.
Esas tensiones reflejan profundas divisiones dentro del ámbito de la seguridad de la IA, que no constituye tanto un movimiento unificado como una coalición de bandos con prioridades que, en ocasiones, entran en conflicto. Algunos investigadores en seguridad de la IA se centran exclusivamente en comprobar si los modelos de IA están haciendo lo que se supone que deben hacer.
Otros se preocupan por los riesgos existenciales de la IA, por ejemplo, un sistema que engañe a quienes lo supervisan o se resista a ser apagado. Consideran que las revelaciones sobre los ataques informáticos a OpenAI y Anthropic son señales de alerta tempranas de capacidades poderosas que no pueden controlarse.
Ver más: Jóvenes de EE.UU. se vuelven más escépticos ante la IA por temor a perder empleos
Algunos investigadores afirman que los sistemas de IA ya están explotando a los trabajadores que entrenan los modelos, afianzando los sesgos y concentrando el poder en manos de unas pocas empresas. Estos críticos sostienen que hablar de riesgos existenciales es una distracción de los daños actuales.
Sin embargo, los investigadores de estos bandos están empezando a unirse en torno a una causa común: una frustración compartida ante la vertiginosa velocidad de desarrollo de la IA.
Más de 1.100 investigadores de los principales laboratorios han firmado una petición en la que instan al gobierno de EE.UU. a que contribuya a ralentizar el desarrollo de la IA. Los empleados de Google DeepMind en Londres están intentando sindicalizarse, en parte para garantizar que la tecnología se desarrolle de acuerdo con sus valores.
El mes pasado, el investigador en seguridad de la IA Alex Turner dimitió de Google DeepMind tras expresar su preocupación por los acuerdos de defensa de la empresa. En una publicación en la que explicaba su marcha, Turner afirmó que Google había incumplido sus compromisos éticos en materia de IA al conceder licencias de tecnología al Pentágono sin restricciones vinculantes contra las armas autónomas o la vigilancia masiva. “La máxima prioridad de Google es garantizar la seguridad de los usuarios y eso no ha cambiado en absoluto”, declaró un portavoz de Google en un comunicado. “A medida que avancen las capacidades de los modelos, seguiremos innovando en materia de seguridad y protección de forma paralela”.
Los modelos del mañana
Durante su etapa en DeepMind, el Jain formó parte de la campaña de sindicalización y se unió a los empleados que, en aquel momento, advertían sobre las aplicaciones militares de la IA. Sin embargo, Jacob afirma que su nueva organización sin ánimo de lucro se centra menos en formas específicas de daño y trabaja, de manera más general, para prepararse para un futuro en el que las capacidades de la IA seguirán mejorando exponencialmente, independientemente de los debates que se mantengan en el sector. “Nuestra labor sigue consistiendo en supervisar los modelos del mañana, ya sean cien veces mejores o mil veces mejores”, afirmó.
Tras trabajar en AlphaFold, un proyecto de plegamiento de proteínas que ganó un Premio Nobel, Jain se incorporó al equipo de seguridad de la IA de DeepMind en 2023. Poco después, comenzó a investigar lo que se convertiría en el eje central de su carrera: encontrar formas de que los seres humanos y la IA colaboren en materia de seguridad.
En un artículo publicado en 2024, Jain y un equipo de investigadores de DeepMind descubrieron que los sistemas que combinaban la IA con la supervisión humana lograban identificar mejor las vulnerabilidades. Sin embargo, la ventaja en cuanto al rendimiento respecto a los sistemas basados únicamente en IA era relativamente modesta, un hallazgo que desanimó a algunos miembros del equipo. Jain consideraba que apenas había arañado la superficie, pero sus colegas no estaban de acuerdo, por lo que abandonó el equipo.
Ver más: China acelera en la carrera de la IA y sus modelos más baratos desafían el dominio de EE.UU.
Apoyo filantrópico
Jain siguió dedicándose a su trabajo sobre la colaboración entre humanos e IA en su tiempo libre, invirtiendo parte de su propio dinero en potencia de cálculo. Antes de abandonar DeepMind en mayo, había barajado inicialmente la posibilidad de convertirse en investigador independiente y de orientar a científicos prometedores centrados en la seguridad. Entonces, Jain se dio cuenta del gran apoyo que podía obtener de la comunidad filantrópica.
La organización sin ánimo de lucro obtuvo financiación para su labor durante los siguientes 18 meses de la mano de Coefficient Giving, una entidad filantrópica con sede en San Francisco que desempeña un papel clave en el movimiento del altruismo eficaz, muy popular entre los investigadores de IA. El apoyo financiero palidece en comparación con los miles de millones de dólares que Google está invirtiendo para respaldar sus ambiciones en materia de IA, pero el señor Jain afirma que dispondrá de más recursos para llevar a cabo su labor en el ámbito de las organizaciones sin ánimo de lucro.
Ahora que han emprendido su propio camino, Jain y su cofundador pretenden desarrollar métodos mediante los cuales los seres humanos y la IA puedan colaborar para identificar comportamientos peligrosos, así como una serie de criterios de referencia para medir el rendimiento. También tienen previsto crear un producto que la gente común pueda utilizar para indicar si los agentes de IA se están desviando de su rumbo.
Coefficient Giving destacó la importancia de financiar la investigación independiente en materia de seguridad llevada a cabo por científicos con experiencia, señalando el número relativamente reducido de investigadores que trabajan en este tipo de problemas. “Rishub acudió inicialmente a nosotros en busca de una pequeña subvención para cubrir los gastos de investigación, pero le animamos a que volviera con una propuesta más ambiciosa”, afirmó Jake Mendel, responsable de programas del equipo de Seguridad Técnica de la IA de Coefficient Giving.
Ver más: Los modelos de IA de Alibaba ya superan 3.000 millones de descargas y dejan atrás a Meta y Google
Hay quien se pregunta si un juez híbrido, compuesto por un ser humano y una IA, es la solución adecuada. Sarah Myers West, co-CEO del AI Now Institute, un centro de investigación sobre políticas, afirmó que el sector ha dependido en exceso de criterios de referencia generales. Ella desea que los investigadores en materia de seguridad desarrollen evaluaciones adaptadas a todas las diferentes formas en que las personas reales utilizan la tecnología en su vida cotidiana. Señaló que, en medicina, por ejemplo, un medicamento no se considera seguro de manera generalizada, sino que se prueba como tratamiento para una enfermedad específica, una dosis concreta y un tipo concreto de paciente.
“¿Qué es lo que se está evaluando si no se habla de casos de uso concretos?“, preguntó.
Jain y Jacob afirmaron que están abiertos a la posibilidad de que, al final, sea la propia IA la que mejor evalúe a la IA. No obstante, consideran importante intentar mantener a los seres humanos involucrados en el proceso, en lugar de concluir desde el principio que no tienen nada que aportar. Jain afirma que cree que este enfoque logrará los mejores resultados, y que para él también es importante a nivel personal.
Lo que le hace volver una y otra vez a este trabajo, según explicó Jain, es “esa sensación fundamental de que los seres humanos deberían ejercer cierta supervisión sobre el desarrollo de la IA”.
Lea más en Bloomberg.com
