Bloomberg Opinión — En 2018, Pete Fussey, profesor de sociología de la Universidad de Essex, estudiaba cómo la policía de Londres utilizaba sistemas de reconocimiento facial para buscar sospechosos en las calles. Durante los dos años siguientes, acompañó a los agentes de la Policía Metropolitana en sus camionetas mientras vigilaban diferentes zonas de la ciudad, para lo cual utilizaban cámaras montadas y software de reconocimiento facial.
Fussey hizo dos descubrimientos importantes, que expuso en un estudio publicado en 2019. En primer lugar, el sistema de reconocimiento facial era lamentablemente inexacto. De las 42 coincidencias generadas por computadora obtenidas en los seis recorridos de los que participó, solo ocho, o el 19%, resultaron ser correctas.
En segundo lugar, y algo más preocupante, es que la mayoría de las veces los agentes de policía asumían que el sistema de reconocimiento facial probablemente estaba en lo correcto. “Recuerdo que las personas decían: ‘Si no estamos seguros, deberíamos suponer que es una coincidencia’” correcta, dice. Fussey llamó a este fenómeno “deferencia hacia el algoritmo”.
Esta deferencia es un problema, y no se circunscribe a la policía.
En el ámbito de la educación, ProctorU vende un software que supervisa a los estudiantes que realizan exámenes en sus computadoras desde casa, y utiliza algoritmos de aprendizaje automático para buscar señales de engaño, como gestos sospechosos, la lectura de apuntes o la detección de otra cara en la sala. La empresa con sede en Alabama realizó recientemente una investigación sobre el uso que las universidades hacían de su software. Descubrió que sólo el 11% de las sesiones de examen etiquetadas por su IA como sospechosas eran objeto de una comprobación por parte de la institución o la autoridad encargada de las pruebas.
Y ello a pesar de que, según la empresa, este software puede equivocarse a veces. Por ejemplo, podía señalar inadvertidamente a un estudiante como sospechoso si se frotaba los ojos o si había un sonido de fondo que era inusual, como el ladrido de un perro. En febrero, una adolescente que realizaba un examen a distancia fue acusada erróneamente de hacer trampas por un proveedor de la competencia porque miró hacia abajo para pensar durante su examen, según un informe del New York Times.
Mientras tanto, en el campo de la contratación, casi todas las empresas de la lista Fortune 500 utilizan programas de filtrado de CVs para analizar la avalancha de solicitantes de empleo que reciben cada día. Pero un estudio reciente de la Harvard Business School descubrió que millones candidatos cualificados eran rechazados en la primera fase del proceso porque no cumplían los criterios establecidos por el software.
Lo que une a estos ejemplos es la falibilidad de la inteligencia artificial. Estos sistemas tienen mecanismos ingeniosos (por lo general, una red neuronal que se inspira libremente en el funcionamiento del cerebro humano), pero también cometen errores, a menudo sólo revelados al ser evaluados por los clientes.
Las empresas que venden sistemas de IA son famosas por anunciar tasas de precisión de hasta 90 puntos, sin mencionar que estas cifras proceden de entornos de laboratorio y no de la naturaleza. El año pasado, por ejemplo, un estudio publicado en Nature en el que se analizaban docenas de modelos de IA que afirmaban detectar el Covid-19 no pudo utilizarse en los hospitales debido a fallos en su metodología y modelos.
La respuesta no es dejar de utilizar sistemas de IA, sino contratar a más humanos con conocimientos especiales para que los supervisen. En otras palabras, devolver a los humanos parte del exceso de confianza que hemos depositado en la IA y reorientar nuestro enfoque hacia un híbrido de humanos y automatización. (En el lenguaje de la consultoría, esto se llama a veces “inteligencia aumentada”).
Algunas empresas ya están contratando a más expertos en la materia, es decir, personas que se sienten cómodas trabajando con el software y que también tienen experiencia en el sector sobre el que el software toma decisiones. En el caso de la policía, que utiliza sistemas de reconocimiento facial, esos expertos deberían ser, idealmente, personas con habilidad para reconocer rostros, también conocidos como superreconocedores, y probablemente deberían estar presentes junto a la policía en sus furgonetas.
A su favor, ProctorU, con sede en Alabama, dio un giro drástico hacia los supervisores humanos. Después de llevar a cabo su análisis interno, la compañía dijo que dejaría de vender productos sólo de IA y sólo ofrecería servicios monitoreados, que dependen de aproximadamente 1.300 contratistas para verificar las decisiones del software.
“Seguimos creyendo en la tecnología”, me dijo el fundador de ProctorU, Jarrod Morgan, “pero hacer que el ser humano quede completamente fuera del proceso nunca fue nuestra intención. Cuando nos dimos cuenta de que eso estaba ocurriendo, tomamos medidas bastante drásticas”.
Las empresas que utilizan la IA deben recordar sus probables errores. La gente tiene que escuchar: “‘Mira, no es una probabilidad que esta máquina se equivoque en algunas cosas. Es algo que sucederá”, dijo Dudley Nevill-Spencer, un empresario británico cuya agencia de marketing Live & Breathe vende el acceso a un sistema de IA para estudiar a los consumidores.
Nevill-Spencer dijo en una reciente discusión en Twitter Spaces conmigo que tenía 10 personas en plantilla como expertos en el dominio, la mayoría de los cuales están capacitados para llevar a cabo un papel híbrido entre el entrenamiento de un sistema de IA y la comprensión de la industria en la que se está utilizando. “Es la única manera de entender si la máquina está siendo realmente eficaz o no”, dijo.
En general, no podemos criticar la deferencia de la gente hacia los algoritmos. Se han hablado maravillas sobre las cualidades transformadoras de la IA. Pero el riesgo de depositar demasiada fe en ella es que, con el tiempo, resulta más difícil desentrañar nuestra confianza. Eso está bien cuando lo que está en juego es poco y el software suele ser preciso, como cuando subcontrato mi navegación por carretera a Google Maps. No está bien para la IA no probada en circunstancias de alto riesgo como la vigilancia, la detección de trampas y la contratación.
Los humanos cualificados deben estar involucrados, de lo contrario las máquinas seguirán cometiendo errores, y nosotros seremos los que paguemos el precio.
Esta nota no refleja necesariamente la opinión del consejo editorial o de Bloomberg LP y sus propietarios.
Este artículo fue traducido por Estefanía Salinas Concha.
