Bloomberg — OpenAI prevé permitir que grupos externos evalúen sus modelos de inteligencia artificial para detectar riesgos de seguridad en etapas más tempranas del ciclo de desarrollo, en el marco de sus esfuerzos continuos por responder a la creciente preocupación sobre los posibles perjuicios de esta tecnología.
¿Cómo evaluarán la seguridad de los modelos de IA de OpenAI?
El creador de ChatGPT tiene previsto permitir que organizaciones externas realicen evaluaciones técnicas de seguridad de sus modelos durante el proceso de entrenamiento, evaluación e implementación de nuevos modelos de IA, según dijo la compañía en una publicación de blog el martes.
OpenAI también expuso las prioridades que considera clave para el buen funcionamiento de estas revisiones, entre las que se incluyen garantizar “mecanismos de independencia sólidos, rigor científico, prácticas de seguridad robustas y responsabilidades claras”.
Ver más: OpenAI insta a EE.UU. a impulsar normas globales para desarrollar la IA de forma segura
Anteriormente, OpenAI se centraba en incorporar a estos grupos para realizar evaluaciones de seguridad antes del lanzamiento de los modelos y para evaluar sus capacidades, explicó Lama Ahmad, quien lidera gran parte de los esfuerzos de la empresa para trabajar con expertos externos en revisiones de seguridad.
En las últimas semanas, los empleados de las principales empresas de IA han expresado su preocupación por el potencial de la IA para causar daños catastróficos. Estos temores se han visto avivados en gran medida por varios incidentes ocurridos en los últimos meses, en los que modelos avanzados de IA de OpenAI y otros desarrolladores han vulnerado inadvertidamente la seguridad de otras empresas durante las pruebas.
“A medida que aumenta la importancia de los riesgos, queremos asegurarnos de que también estamos considerando aspectos como la capacitación y la evaluación, que tienen consecuencias importantes, además de nuestros despliegues”, dijo Ahmad en una entrevista.
Esa iniciativa podría incluir la incorporación de evaluadores externos a las oficinas de OpenAI para algunos de los trabajos más delicados, señaló Ahmad, y añadió que se trata de algo que OpenAI ya ha probado en el pasado.
Por qué OpenAI cambia ahora sus controles de seguridad
Dario Amodei, CEO de Anthropic PBC —empresa rival de OpenAI—, instó recientemente al sector a apoyar la ralentización del ritmo de desarrollo de la IA y afirmó que implementaría nuevas medidas de seguridad, entre ellas la incorporación de evaluadores externos, una iniciativa con la que el CEO de OpenAI, Sam Altman, se mostró posteriormente de acuerdo. A finales de la semana pasada, Anthropic anunció que incorporaría a evaluadores de Accenture Plc para comprobar la seguridad de sus modelos de IA de vanguardia.
Ver más: OpenAI y Anthropic se vuelven costosos para las startups: buscan modelos de IA más baratos
OpenAI está en conversaciones con grupos que podrían encargarse de dichas evaluaciones, según indicó la empresa en una entrada de su blog. Ahmad señaló que la empresa está en contacto con diversas organizaciones con las que ha colaborado anteriormente y con otras con las que no, incluidos los grupos de investigación en IA METR y Redwood Research, a los que OpenAI encargó una investigación sobre la violación de Hugging Face por parte de sus modelos.
“Los laboratorios tienen la responsabilidad de permitir un escrutinio significativo al tiempo que protegen la información confidencial”, afirmó OpenAI en la publicación del blog.
El lunes, OpenAI instó a Estados Unidos a liderar un esfuerzo conjunto con otros países para establecer estándares para la tecnología de inteligencia artificial de vanguardia.
Lea más en Bloomberg.com
