Bloomberg — Los responsables de las mayores plataformas de inteligencia artificial del mundo afirmaron que es hora de ralentizar el ritmo de desarrollo de sus modelos más avanzados —y más lucrativos—, al alegar que los riesgos son cada vez mayores en esta tecnología.
El director ejecutivo de Anthropic PBC, Dario Amodei, publicó el sábado una extensa entrada en su blog en la que afirmaba que su empresa aplicaría nuevas medidas de seguridad, como la participación de evaluadores externos, al tiempo que instaba al sector a respaldar una desaceleración más generalizada.
El director de OpenAI, Sam Altman, se comprometió rápidamente a adoptar la sugerencia de Amodei de contar con “evaluadores independientes con acceso similar al de los empleados”, mientras que Elon Musk, que dirige xAI Corp., escribió: “Dario tiene razón”.
Aunque estos tres líderes llevan años advirtiendo de los riesgos de la IA, una desaceleración coordinada real tiene pocos precedentes en un sector tan competitivo que, históricamente, ha lanzado un producto tras otro con el objetivo de impulsar la participación de los usuarios, hacerse con cuota de mercado y aumentar las ventas.
Ver más: Capital privado: la fiebre por la IA pone a prueba el apetito por el riesgo de los inversores
Sin embargo, la inquietud ante los graves riesgos de la IA ha comenzado a calar en la opinión pública, impulsada en parte por la sonada dimisión esta semana de un investigador de Anthropic, motivada por el temor existencial a que su empresa estuviera actuando de forma irresponsable. Se trata de la última de una serie de advertencias cada vez más alarmantes procedentes del propio sector, según las cuales la IA está evolucionando tan rápidamente que supone una amenaza creciente para la seguridad nacional y la economía mundial.
El aumento de las preocupaciones en materia de seguridad en torno a la IA coincide con una creciente reacción en contra de esta tecnología en EE. UU., alimentada en parte por las objeciones a la presión que ejercen sobre los recursos locales los nuevos centros de datos necesarios para dar soporte a la tecnología. La preocupación por que la IA esté aumentando las facturas de electricidad y pueda provocar la pérdida de puestos de trabajo la ha convertido en un tema central de las elecciones de mitad de legislatura de noviembre.
No está claro hasta qué punto las principales empresas de IA —que son rivales acérrimas entre sí y que además se enfrentan a una dura competencia por parte de las empresas chinas— llegarán a la hora de imponer nuevos límites o controles de seguridad.
Demis Hassabis, científico jefe de Alphabet Inc. y cofundador de Google DeepMind, afirmó el sábado en una publicación en X que “la dirección es la correcta” en el ensayo de Amodei, pero que “hay que pulir los detalles”.
Tampoco está claro si las autoridades antimonopolio permitirían a las empresas moderar el ritmo de desarrollo de manera coordinada. Además, se plantea la cuestión de los mercados, que han llevado el frenesí por la IA a nuevas cotas: ¿cómo reaccionarían los inversores, ávidos de márgenes y beneficios, ante la idea de una desaceleración?
Amodei citó dos factores principales que motivan su nueva cautela: la capacidad de la IA para mejorarse a sí misma y el reciente incidente en el que se vieron implicadas OpenAI y Hugging Face, en el que un enjambre de agentes de IA colaboró para violar la seguridad de un sitio web de terceros.
Ver más: CEO de Nvidia dice que la ciberseguridad será el próximo gran mercado para la IA
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió el sábado en una entrada de blog. “El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganemos”.
No obstante, también señaló que cualquier ralentización debe equilibrarse con la realidad de la competencia.
“Para que quede claro, moderar el ritmo no significa detener el entrenamiento de los modelos ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores externos lo confirmen”, escribió Amodei.
A lo largo del auge de la IA, los directivos de los principales laboratorios de IA han advertido sobre posibles riesgos existenciales —afirmaciones que en ocasiones se han desestimado como intentos de promocionar las capacidades de sus productos y posicionarse como los mejores guardianes de la tecnología—. El propio Amodei ha afirmado anteriormente que hay un 25 % de probabilidades de que las cosas salgan «realmente, realmente mal».
Anthropic se ha posicionado desde hace tiempo como una empresa centrada en desarrollar la IA de forma más responsable y segura para mitigar los peligros potenciales de la tecnología y maximizar los beneficios sociales. La empresa se esforzó a principios de este año por limitar el lanzamiento de su modelo Mythos tras determinar que planteaba amenazas únicas para la ciberseguridad. Anthropic también ha señalado anteriormente que el mundo necesita un sistema para decidir de forma colectiva cuándo ralentizar el trabajo en esta tecnología.
Al mismo tiempo, Anthropic se ha mantenido inmersa en una feroz competencia con su rival de siempre, OpenAI, para crear modelos cada vez más sofisticados capaces de automatizar tareas más complejas y valiosas para los clientes empresariales. Ambas empresas han presentado la documentación confidencial para salir a bolsa, y se espera que Anthropic haga su debut en Wall Street ya este mismo año.
Altman, de OpenAI, afirmó que este año sería un «momento poco aconsejable» para salir a bolsa, y declaró a la revista Fortune en una entrevista publicada el sábado que la cotización no tendrá lugar hasta 2027. «Creo que es inaceptable asumir un riesgo del 10 % de acabar con la vida de todo el mundo para finales de la década», añadió.
Poco después de que se revelara el incidente de seguridad de Hugging Face, Anthropic reveló que sus modelos habían vulnerado la seguridad de tres organizaciones durante unas pruebas de ciberseguridad, lo que aumentó la preocupación sobre la capacidad de los laboratorios de IA para evitar que su tecnología se descontrole. A principios de esta semana, Anthropic afirmó que también había descubierto un cuarto caso de piratería.
Aunque ninguna de las brechas de seguridad de la IA agentiva, incluida la de Hugging Face, ha causado hasta ahora daños significativos, Amodei señaló que su preocupación es que “en un plazo de entre 6 y 12 meses, un enjambre de este tipo podría ser capaz de hacerse con el control de todo Internet mediante una red de bots persistente (lo que podría causar daños por valor de cientos de miles de millones de dólares), y que la magnitud de los daños seguiría aumentando a partir de ah”.
Amodei escribió que Anthropic se comprometerá a conceder acceso total a evaluadores externos para que verifiquen las prácticas de seguridad y notifiquen los incidentes. Afirmó que Anthropic incorporará en breve a estos «evaluadores integrados» a sus oficinas y les proporcionará puestos de trabajo, tarjetas de identificación, ordenadores portátiles de la empresa y «permisos en gran medida comparables a los que tienen los equipos internos de evaluación de riesgos».
Señaló que las medidas adicionales requerirán una coordinación a nivel del sector, así como una cooperación global.
“Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de lograr estos beneficios sigue intacto”, escribió. “Pero los beneficios solo se lograrán si desarrollamos la tecnología de la forma adecuada y —siempre que aprovechemos bien el tiempo que ganamos— merece la pena prestar una atención excepcionalmente minuciosa para hacerlo bien”.
Alarma creciente
A principios de esta semana, Altman afirmó que su empresa estaba considerando ralentizar el desarrollo de la IA de vanguardia, preferiblemente en colaboración con el conjunto del sector.
El científico jefe de la empresa, Jakub Pachocki, había publicado una advertencia sobre los peligros de la IA, afirmando que, en su opinión, las empresas deberían “coordinarse para ralentizar el desarrollo futuro según sea necesario”.
El martes, Jacob Coxon, investigador en IA, dimitió de su puesto y acusó a sus dos antiguos empleadores —Anthropic y OpenAI— de “jugar con nuestras vidas”, al lanzarse a la carrera hacia una IA superinteligente. Coxon afirmó en una publicación en las redes sociales que las personas que desarrollan la IA creen que esta podría «matarnos a todos antes de que termine la década”.
En respuesta, Evan Hubinger, actual empleado de Anthropic, señaló que tanto él como otros miembros de la empresa sí están preocupados por este escenario. “Personalmente, creo que la probabilidad es superior al 10 % en la próxima década”, escribió en X.
Ya en julio, más de 1.000 empleados de las principales empresas de IA firmaron una petición en la que instaban al Gobierno de EE. UU. a respaldar un mecanismo que ayudara a “regular deliberadamente” el desarrollo de la IA para evitar que la tecnología avanzara demasiado rápido.
Los modelos de IA están demostrando ser cada vez más hábiles a la hora de llevar a cabo sus propios ataques, y tanto Anthropic como OpenAI y Meta Platforms Inc. han revelado en los últimos meses que sus modelos se habían escapado de los entornos de prueba, habían accedido a Internet y habían atacado a víctimas reales durante las pruebas.
Amodei, en su publicación, escribió que una estrategia coordinada permitiría a los líderes del sector de la IA en EE. UU. llevar a cabo las medidas de seguridad necesarias sin sacrificar ninguna ventaja competitiva. Afirmó que esto requeriría algunas exenciones antimonopolio en EE. UU. para permitir que las empresas se coordinaran en áreas específicas, así como la cooperación con China.
“Si limitamos en gran medida nuestras capacidades en materia de IA con la convicción de que China hará lo mismo, y luego China incumple su compromiso, la IA podría llegar a ser tan poderosa que tal incumplimiento podría conducir a su dominio geopolítico”, escribió.
Sin embargo, hasta la fecha, la Administración Trump ha mostrado escaso interés en ejercer su poder regulador para establecer medidas de control en torno al desarrollo de la IA.
--Con la colaboración de Lynn Doan, Angela Cullen y Rebecca Smith.
Lea más en Bloomberg.com
