Bloomberg — Los grupos que se dedican a la labor especializada de evaluar modelos de inteligencia artificial se han visto de repente en el centro de un debate mundial sobre la seguridad que podría determinar el ritmo de la innovación en IA y la dirección de los mercados financieros.
Ver más: La mayor amenaza de la inteligencia artificial es biológica, no robótica
Evaluadores como METR están despertando un interés cada vez mayor por parte de Anthropic PBC, Meta Platforms Inc. (META) y otros gigantes de la IA como la vía preferida para protegerse frente a modelos perjudiciales, y Microsoft Corp. (MSFT) se ha sumado recientemente a los que respaldan esta idea.
“Deberíamos contar con evaluadores independientes”, afirmó el miércoles el presidente de Microsoft, Brad Smith, en una entrevista concedida a Bloomberg Television. “En última instancia, el mundo tiene que confiar en estos evaluadores. Es fundamental que se elijan adecuadamente y que cuenten con una independencia genuina”.
Sin embargo, a medida que crece el impulso para el establecimiento de normas, también lo hacen las preocupaciones de que los principales grupos capacitados para examinar los nuevos modelos se vean afectados por conflictos de intereses potencialmente preocupantes.
Varios de ellos mantienen estrechos vínculos con el movimiento del altruismo eficaz, de carácter catastrofista, que considera los avances en IA como una amenaza, lo que lleva a algunos funcionarios gubernamentales y directivos de empresas a cuestionar la independencia y la objetividad de estos evaluadores.
En Washington, los funcionarios estadounidenses están tratando de averiguar si estos grupos podrían contribuir a crear normas de seguridad que den a las empresas de todos los sectores de la economía la confianza necesaria para implementar herramientas de IA.
El Centro para las Normas e Innovación en IA (CAISI) del Departamento de Comercio se ha reunido con evaluadores, entre ellos METR, que investigó una brecha de seguridad relacionada con los modelos de OpenAI, y el Foro de Evaluadores de IA, un consorcio formado el año pasado para ayudar a establecer las mejores prácticas en materia de evaluaciones, según personas familiarizadas con el asunto.
Dichas conversaciones se encuentran aún en una fase inicial, y el objetivo es explorar cómo estos grupos podrían contribuir a establecer normas y evaluar los sistemas de IA, según indicaron dichas fuentes, que hablaron bajo condición de anonimato para describir conversaciones privadas.
Sin embargo, los vínculos entre muchos evaluadores de seguridad y el movimiento del altruismo eficaz amenazan con convertir a los evaluadores externos en una propuesta inviable para el presidente Donald Trump.
Su antiguo responsable de IA, David Sacks, ha tachado las evaluaciones externas de “pseudociencia”, y el presidente ha menospreciado los temores existenciales sobre la IA calificándolos de “un bulo” y ha advertido contra la restricción de esta tecnología.
Aunque Sacks, un inversor de capital riesgo que ahora dirige el Consejo Presidencial de Asesores Científicos y Tecnológicos, ha señalado que una mayor transparencia y la realización de auditorías a las empresas de IA podrían ser una buena idea, también ha expresado su escepticismo respecto a los evaluadores independientes.
En una publicación en X la semana pasada, lo calificó de “plan para incorporar supervisores de altruismo eficaz inamovibles en el seno de cada empresa de IA como la nueva capa de confianza y seguridad”.
Sacks se refería a su aversión por el altruismo eficaz, un movimiento filosófico popular en Silicon Valley cuyos seguidores se esfuerzan por basar cada decisión en probabilidades matemáticas que, en su opinión, maximizarían el beneficio para otras personas.
Sus partidarios suelen estar a favor de ralentizar el desarrollo de la IA, ya que algunas personas que trabajan en esta tecnología creen que podría conducir a la extinción de la humanidad.
Los portavoces del Departamento de Comercio y de CAISI no respondieron a las solicitudes de comentarios.
Un portavoz de METR confirmó que el grupo se ha reunido con CAISI para compartir los resultados de su evaluación y que, en ocasiones, han debatido sobre los estándares de ensayo de la IA. Un portavoz del AI Evaluator Forum se negó a hacer comentarios.
Las tensiones sobre el papel que deben desempeñar los grupos independientes en la evaluación de la seguridad de la IA reflejan la batalla más amplia que se libra actualmente entre los responsables políticos y la industria tecnológica sobre cómo abordar la preocupación de que la IA pueda escapar al control humano.
Para Trump, frenar el desarrollo de la IA socavaría su agenda económica y obstaculizaría una tecnología a la que se atribuyen ganancias bursátiles históricas, uno de sus indicadores de rendimiento presidencial.
En respuesta a una serie de incidentes de seguridad de gran repercusión, el director ejecutivo de Anthropic, Dario Amodei, ha prometido ralentizar el ritmo de desarrollo de los sistemas de vanguardia e incorporar a evaluadores externos con acceso a nivel de empleado para examinar la seguridad de los nuevos modelos.
Algunos de los principales usuarios de la IA, entre ellos Target Corp. (TGT) y el Mount Sinai Health System de la ciudad de Nueva York, han expresado su apoyo a las evaluaciones realizadas por terceros para reforzar la confianza del público en esta tecnología.
Las peticiones de evaluadores externos cobraron fuerza tras el fracaso, durante el verano, de los esfuerzos por reunir al Gobierno y a diversos sectores en torno a unas normas de seguridad para la IA, entre los que se incluía la propuesta del secretario del Tesoro, Scott Bessent, de un modelo similar al de la FINRA.
Desde entonces, las empresas tecnológicas se han movilizado para establecer normas sin la ayuda de la Administración, según una persona familiarizada con el asunto.
OpenAI, Anthropic y Google DeepMind, de Alphabet Inc. (GOOGL), ya han iniciado conversaciones sobre dichas normas. La semana pasada, Anthropic anunció que incorporaría evaluadores de Accenture (ACN) para comprobar la seguridad de sus modelos, y OpenAI declaró el martes que también tiene previsto permitir que grupos externos examinen sus modelos en busca de riesgos de seguridad en las primeras fases del ciclo de desarrollo.
“Hemos dado el pistoletazo de salida”, afirmó Andrew Freedman, cofundador y director ejecutivo de Fathom, una organización sin ánimo de lucro centrada en la política de IA que ha estado abogando por un marco regulador de evaluaciones realizadas por terceros. “Hay docenas de grupos que aspiran a convertirse en organismos de verificación independientes, pero debe existir una competencia que evalúe su calidad”.
Más allá de estas medidas por parte del sector, Freedman señaló que considera que el Gobierno debe desempeñar un papel en la “verificación de los verificadores”.
Se trata de una tarea que ya lleva a cabo el Instituto Nacional de Estándares y Tecnología del Departamento de Comercio para otros sectores.
Sin embargo, la idea de someter a examen a los evaluadores externos ha suscitado dudas sobre la objetividad de estos.
Muchos de los grupos aptos para llevar a cabo esas pruebas, como los miembros del AI Evaluator Forum, entre los que se encuentra METR, están estrechamente vinculados al altruismo eficaz. Se trata de la misma comunidad que aboga por frenar el desarrollo de la IA por motivos de seguridad.
Una persona familiarizada con el sector de la IA señaló que, si bien el concepto de auditores externos tiene sentido, el ecosistema actual es reducido y carece de diversidad en el liderazgo intelectual, ya que la mayoría de los revisores están vinculados al altruismo eficaz. Las autoridades estadounidenses se han mostrado sensibles ante esas relaciones, añadió dicha persona.
Al contratar a Accenture para llevar a cabo las auditorías, Anthropic indicó que Faculty, una empresa adquirida por Accenture a principios de este año, lideraría la colaboración.
Ver más: ¿En qué invertir en Wall Street? Ciberseguridad gana atractivo ante los riesgos de la IA
Antes de su adquisición por parte de Accenture, Faculty había recaudado US$54,1 millones, incluida la financiación de Jaan Tallinn, uno de los principales defensores de la seguridad de la IA y cofundador del Future of Life Institute, una organización de altruismo eficaz.
En respuesta a una solicitud de comentarios, los portavoces de Anthropic remitieron a su página de políticas, donde la empresa expone su apoyo a las evaluaciones de terceros y a las revisiones de modelos por parte de los gobiernos.
Anthropic también afirma allí que somete sus modelos al CAISI y al Instituto de Seguridad de la IA del Reino Unido para que se sometan a pruebas previas a su implementación. Los portavoces de Accenture se negaron a hacer comentarios.
METR, siglas de “Model Evaluation and Threat Research” (Evaluación de Modelos e Investigación de Amenazas), ha colaborado con empresas de IA, entre ellas OpenAI y Anthropic, para evaluar riesgos.
Dirigida por Beth Barnes, antigua empleada de OpenAI, METR se creó en el seno de otra organización sin ánimo de lucro denominada Alignment Research Center antes de constituirse como proyecto independiente, y ha recibido financiación de dicha organización, conocida como ARC.
Según una declaración fiscal de 2024 presentada ante el Servicio de Impuestos Internos, METR informó de que recibió una subvención de US$4,5 millones de ARC ese año.
Ver más: Xi y Trump buscan una IA segura sin frenar la carrera por el liderazgo tecnológico
En respuesta a los comentarios públicos de Sacks, METR afirmó que no cree que ningún grupo reducido deba tener autoridad sobre lo que ocurre con la IA y que su objetivo es sacar a la luz información procedente del interior de las empresas.
METR también se esfuerza por contratar a personas con puntos de vista contrapuestos y sus resultados publicados no se ajustan “de forma clara” a una visión del mundo centrada en el catastrofismo ni en la aceleración de la IA, añadió el portavoz.
ARC está dirigida por Paul Christiano, un antiguo empleado de OpenAI que se ha incorporado recientemente al consejo de administración de la organización sin ánimo de lucro de OpenAI. Christiano es, además, asesor técnico sénior de CAISI, la organización dependiente del NIST que colabora en la prueba y el desarrollo de directrices para modelos de IA.
La organización sin ánimo de lucro de Christiano, ARC, ha recibido más de US$1,5 millones de Coefficient Giving, anteriormente conocida como Open Philanthropy, uno de los proveedores de subvenciones más conocidos del movimiento del altruismo eficaz.
En 2022, ARC recibió una subvención de US$265.000 y otra de US$1,25 millones, según la página web de Coefficient Giving.
Jacob Hilton, vicepresidente de investigación de ARC, afirmó que, cuando METR se escindió posteriormente de ARC, esta última llevó a cabo un proceso para repartir sus activos y determinar qué cantidad conceder a METR.
Ver más: ONU pide regular la IA ante modelos cada vez más autónomos y advierte sobre “robots asesinos”
Las subvenciones de Coefficient Giving se destinaron al trabajo en curso de ARC, en lugar de a METR, señaló.
Más allá de METR, otros miembros que figuran en la lista del AI Evaluator Forum, que ayuda a las empresas a acceder a lo que necesitan para realizar evaluaciones y busca establecer buenas prácticas comunes para los evaluadores de modelos participantes, también tienen vínculos con el altruismo eficaz, especialmente a través de la financiación.
En una publicación en respuesta a Sacks en X, el grupo escribió que “la confianza es esencial y se gana a través de la transparencia, la independencia y la libertad de decir la verdad al poder”.
“El AEF pide a los desarrolladores de IA que ofrezcan estas garantías básicas para asegurar que las evaluaciones de IA puedan realizarse de forma creíble y con arreglo a los más altos estándares científicos”, escribió el grupo. “Esto no debería ser motivo de controversia”.
--Con la colaboración de Shirin Ghaffary, Tom Giles y Ed Ludlow.
Lea en Bloomberg.com
