Algunos ingenieros de Anthropic creen que la IA podría acabar con nosotros, ¿por qué seguir acelerando?

Por

Bloomberg — A Anthropic PBC le resulta cada vez más difícil justificar una de las lógicas circulares más imposibles de refutar que jamás haya surgido de Silicon Valley: la búsqueda de la superinteligencia artificial, que, según admite la propia empresa, podría acabar con la vida de muchos seres humanos.

Jacob Coxon, investigador de Anthropic, dimitió recientemente alegando que su antigua empresa y su rival, OpenAI, estaban jugando con nuestras vidas al desarrollar sistemas capaces de mejorarse a sí mismos. A continuación, uno de los directores de seguridad de la empresa desató un gran revuelo en Internet al mostrarse de acuerdo con esta afirmación.

“Sí, verdaderamente creemos con toda sinceridad que la IA podría acabar con toda la humanidad”, escribió Evan Hubinger, líder de Alignment Science, en una publicación, y agregando que, en su opinión personal, había más de un 10% de probabilidades de que esto ocurriera en el plazo de una década. El tuit original de Coxon ha sido visto aproximadamente 150 millones de veces.

Hace años que se sabe que los directivos de Anthropic consideran que la inteligencia artificial podría aniquilar la civilización humana, aunque las publicaciones de Coxon y Hubinger llegan en un momento decisivo para esta tecnología.

Las compañías tecnológicas aseguran que sus modelos han logrado acceder a otros sistemas y han engañado a sus supervisores humanos, y han reconocido que, para que sean más inteligentes, deben volverse más difíciles de supervisar.

Por su parte, los ciudadanos de EE.UU. se muestran cada vez más escépticos respecto a los beneficios de la IA y los centros de datos.

Los líderes de OpenAI y del fabricante de chips Nvidia Corp. (NVDA) afirman que el software finalmente se ha vuelto más inteligente que los humanos.

En el centro de estos avances se encuentra una contradicción que se plasma a la perfección en Anthropic.

La empresa se fundó con el objetivo de dar más importancia a la seguridad que OpenAI; sin embargo, se aferra a esa declaración de intenciones al tiempo que crea agentes cada vez más potentes, aun cuando esa misma tecnología también podría, potencialmente, conducir a la destrucción masiva.

Los intereses comerciales también alimentan su deseo de seguir avanzando: Anthropic se está preparando para una oferta pública inicial (OPI) que podría valorarla en US$2 billones.

La principal preocupación de Coxon era la auto-mejora recursiva (RSI, por sus siglas en inglés), es decir, los sistemas de IA capaces de desarrollar por sí mismos sucesores más capaces.

Durante una entrevista televisiva, lamentó lo extraño que le resultaba tener que programar tan poco él mismo al crear modelos de vanguardia. Gran parte de su trabajo se estaba subcontratando a otros sistemas de IA.

Anthropic ya abordó las preocupaciones sobre el RSI en una publicación de blog de junio, revelando la inquietud de sus ingenieros.

“En los días en que todo funciona bien”, dijo uno de ellos, “no puedo evitar pensar que nada de lo que hago importa; todo está automatizado, es mejor y más rápido de lo que yo jamás seré”.

Ralentizar el RSI sería positivo, añadió la compañía, no obstante, si eso “permite que los más imprudentes se pongan al día tecnológicamente, podría dejar a todos en una situación de mayor inseguridad”.

Según Amjad Masad, CEO de Replit Inc., con sede en California, se cree que quien alcance primero la tecnología RSI experimentará una “explosión de inteligencia”. Se trataría de un salto tan significativo en cuanto a capacidades que el primer modelo en lograrlo “podría ser el último”.

Es por esto que plantea una pregunta crucial: ¿Por qué una explosión de información de inteligencia que provenga inicialmente de los supuestos buenos de Anthropic haría que todos estuvieran más seguros?

“No creo que la “explosión de inteligencia” sea tan real como piensan", afirma Masad, cuya compañía usa los modelos de Anthropic para ayudar a sus clientes corporativos a desarrollar código. Además, predice que los agentes de IA no serán mucho mejores que los humanos. “Habrá muchos obstáculos en el ámbito de la inteligencia que tardarán años en resolverse”.

En este momento, tiene más sentido preocuparse por los retos inmediatos de ciberseguridad que podría plantear la inteligencia artificial, por no hablar del riesgo para la privacidad, la autonomía y la cognición humanas, que por un evento de extinción sin precedentes cuya probabilidad y trayectoria siguen siendo profundamente inciertas.

Esto último, como dijo en una ocasión el veterano informático Andrew Ng, es como preocuparse por la superpoblación en Marte.

Si los líderes de Anthropic están verdaderamente preocupados por el riesgo existencial, deberían esforzarse más por conciliar la extraña lógica que los impulsa.

Su CEO, Dario Amodei, ha hablado de que su compañías se convierta en “la empresa preeminente” para poder “arrastrar consigo al ecosistema”. Sin embargo, no explica cómo acelerar el desarrollo nos permitirá a todos dormir mejor por las noches.

Los esfuerzos de Anthropic en materia de seguridad son menos notables de lo que sugiere su declarado compromiso.

No parece contar con mucho más personal dedicado a esto que sus competidores. Se apresura a desarrollar sistemas arriesgados que se auto-mejoran y agentes que pueden actuar con mayor autonomía, y en las últimas semanas se negó a permitir que una prestigiosa agencia británica de seguridad de IA accediera a su último modelo para realizar pruebas.

Lo más importante es que, sencillamente, no está reduciendo el ritmo.

Ha resultado irónico que Amodei y su equipo estén cada vez más desvinculados del control de su tecnología, mientras se ven inmersos en poderosos compromisos ideológicos y comerciales.

Anthropic tiene profundas raíces en las herméticas comunidades de seguridad de la IA, que durante años han tratado la superinteligencia como uno de los mayores riesgos para la humanidad. Por eso, en ciertos sectores de la industria se discuten con tanta naturalidad escenarios de extinción que para quienes no pertenecen a este ámbito suenan a ciencia ficción.

Entre tanto, el atractivo de esa gigantesca oferta bursátil y las incalculables riquezas comerciales siguen siendo igual de poderosos.

Anthropic ha tratado explicar por qué cree que avanzar con más cautela es, de hecho, más peligroso. La cruda realidad es que, según esa lógica, nada podría detenerlo.

Esta nota no refleja necesariamente la opinión del consejo editorial de Bloomberg LP y sus propietarios.

Lea más en Bloomberg.com