Ahora que la población se cubre la cara para ayudar a reducir la propagación del COVID-19, ¿qué ocurre con los algoritmos de reconocimiento facial? Según un estudio preliminar del Instituto Nacional de Estándares y Tecnología (NIST) los algoritmos creados antes de la pandemia, usados por ejemplo para desbloquear teléfonos, generalmente funcionan con menos precisión con rostros enmascarados digitalmente.
Resultados de las pruebas de 89 algoritmos de reconocimiento facial
Los resultados se publicaron como un Informe interinstitucional del NIST ( NISTIR 8311 ), el primero de una serie planificada del programa de prueba de proveedores de reconocimiento facial (FRVT) del NIST sobre el rendimiento de los algoritmos de reconocimiento facial en rostros parcialmente cubiertos por máscaras protectoras.
Incluso el mejor de los 89 algoritmos comerciales de reconocimiento facial probados tuvo tasas de error entre el 5% y el 50% al hacer coincidir máscaras faciales aplicadas digitalmente con fotos de la misma persona sin máscara.
«Con la llegada de la pandemia, necesitamos comprender cómo la tecnología de reconocimiento facial se ocupa de los rostros enmascarados», dijo Mei Ngan, científico informático del NIST y autor del informe. “Comenzamos centrándonos en cómo un algoritmo desarrollado antes de la pandemia podría verse afectado por sujetos que usan máscaras faciales. A finales de este verano, planeamos probar la precisión de los algoritmos que se desarrollaron intencionalmente con rostros enmascarados en mente «.
Crédito: B. Hayes / NIST
NIST aplicó digitalmente formas de máscara a las fotos y probó el rendimiento de los algoritmos de reconocimiento facial desarrollados antes de que apareciera COVID. Debido a que las máscaras del mundo real difieren, el equipo ideó variantes que incluían diferencias en la forma, el color y la cobertura de la nariz.
El equipo del NIST exploró hasta qué punto cada uno de los algoritmos era capaz de realizar un emparejamiento «uno a uno», donde una foto se compara con una foto diferente de la misma persona. La función se usa comúnmente para la verificación, como desbloquear un teléfono inteligente o verificar un pasaporte. El equipo probó los algoritmos en un conjunto de aproximadamente 6 millones de fotos utilizadas en estudios anteriores de FRVT. (El equipo no probó la capacidad de los algoritmos para realizar coincidencias de «uno a varios», que se utiliza para determinar si una persona en una foto coincide con alguna en una base de datos de imágenes conocidas).
El equipo de investigación aplicó digitalmente formas de máscara a las fotos originales y probó el rendimiento de los algoritmos.
Debido a que las mascarillas del mundo real difieren, el equipo ideó nueve variantes de máscara, que incluían diferencias en la forma, el color y la cobertura de la nariz. Las máscaras digitales eran negras o de un azul claro que es aproximadamente del mismo color que una máscara quirúrgica azul. Las formas incluían máscaras redondas que cubren la nariz y la boca y un tipo más grande tan ancho como la cara del usuario. Estas máscaras más anchas tenían variantes altas, medias y bajas que cubrían la nariz en diferentes grados. Luego, el equipo comparó los resultados con el rendimiento de los algoritmos en rostros desenmascarados.
«Podemos sacar algunas conclusiones generales de los resultados, pero hay salvedades», dijo Ngan. “Ninguno de estos algoritmos fue diseñado para manejar máscaras faciales, y las máscaras que usamos son creaciones digitales, no reales”.
Si estas limitaciones se mantienen firmemente en mente, dijo Ngan, el estudio proporciona algunas lecciones generales al comparar el rendimiento de los algoritmos probados en rostros enmascarados versus desenmascarados.
- La precisión del algoritmo con caras enmascaradas disminuyó sustancialmente en todos los ámbitos. Al usar imágenes sin máscara, los algoritmos más precisos no logran autenticar a una persona aproximadamente el 0.3% de las veces. Las imágenes enmascaradas aumentaron incluso la tasa de falla de estos algoritmos superiores a aproximadamente un 5%, mientras que muchos algoritmos competentes fallaron entre el 20% y el 50% de las veces.
- Las imágenes enmascaradas causaban con mayor frecuencia que los algoritmos no pudieran procesar un rostro, lo que técnicamente se denomina «falla en la inscripción o la plantilla» (FTE). Los algoritmos de reconocimiento facial generalmente funcionan midiendo las características de una cara, por ejemplo, su tamaño y distancia entre sí, y luego comparando estas medidas con las de otra foto. Un FTE significa que el algoritmo no pudo extraer las características de una cara lo suficientemente bien como para hacer una comparación efectiva en primer lugar.
- Cuanto más de la nariz cubra una máscara, menor será la precisión del algoritmo. El estudio exploró tres niveles de cobertura de la nariz: bajo, medio y alto, y encontró que la precisión se degrada con una mayor cobertura de la nariz.
- Si bien aumentaron los falsos negativos, los falsos positivos se mantuvieron estables o disminuyeron moderadamente. Los errores en el reconocimiento facial pueden tomar la forma de un «falso negativo», donde el algoritmo no coincide con dos fotos de la misma persona, o un «falso positivo», donde indica incorrectamente una coincidencia entre las fotos de dos personas diferentes. La modesta disminución de las tasas de falsos positivos muestra que la oclusión con máscaras no socava este aspecto de la seguridad.
- La forma y el color de una máscara son importantes. Las tasas de error de algoritmo fueron generalmente más bajas con máscaras redondas. Las máscaras negras también degradaron el rendimiento del algoritmo en comparación con las azules quirúrgicas, aunque debido a limitaciones de tiempo y recursos, el equipo no pudo probar el efecto del color por completo.
El informe, Prueba continua del proveedor de reconocimiento facial (FRVT) Parte 6A: Precisión del reconocimiento facial con máscaras faciales que utilizan algoritmos anteriores a COVID-19 , ofrece detalles del rendimiento de cada algoritmo y el equipo ha publicado información adicional en línea .
Ngan dijo que la próxima ronda, prevista para finales de este verano, probará algoritmos creados con las máscaras faciales en mente. Las rondas de estudios futuras probarán búsquedas de una a muchas y agregarán otras variaciones diseñadas para ampliar aún más los resultados.
«Con respecto a la precisión de las máscaras faciales, esperamos que la tecnología continúe mejorando», dijo. “Pero los datos que hemos tomado hasta ahora subrayan una de las ideas comunes a las pruebas FRVT anteriores: los algoritmos individuales funcionan de manera diferente. Los usuarios deben conocer a fondo el algoritmo que están utilizando y probar su rendimiento en su propio entorno de trabajo «.
Este trabajo se llevó a cabo en colaboración con la Dirección de Ciencia y Tecnología del Departamento de Seguridad Nacional, la Oficina de Gestión de Identidad Biométrica y Aduanas y Protección Fronteriza.
Fuente: NIST
