Una nueva publicación propone una lista de nueve factores para evaluar la confianza de un ser humano en sistemas de inteligencia artificial. Según la investigación, una persona puede sopesar los nueve factores de manera diferente dependiendo tanto de la tarea en sí como del riesgo que implica confiar en la decisión de la AI.
Cada vez que habla con un asistente virtual en su teléfono inteligente está hablando con una inteligencia artificial que puede, por ejemplo, aprender su gusto por la música y hacer recomendaciones de canciones que mejoran en función de sus interacciones. Sin embargo, la IA también nos ayuda con actividades más arriesgadas, como ayudar a los médicos a diagnosticar el cáncer.
Estos son dos escenarios muy diferentes, pero el mismo problema impregna a ambos: ¿Cómo decidimos los humanos si confiar o no en las recomendaciones de una máquina?
Cuantificar y medir la confianza, una de las principales bases de las relaciones a lo largo de la historia
Esta es la pregunta que plantea un nuevo borrador de publicación del Instituto Nacional de Estándares y Tecnología (NIST), con el objetivo de estimular una discusión sobre cómo los humanos confían en los sistemas de IA. El documento, Inteligencia artificial y confianza del usuario ( NISTIR 8332 ), está abierto a comentarios públicos hasta el 30 de julio de 2021.
El informe contribuye al esfuerzo más amplio del NIST para ayudar a promover sistemas de inteligencia artificial confiables. El enfoque de esta última publicación es comprender cómo los humanos experimentan la confianza cuando usan o se ven afectados por los sistemas de IA.
Según Brian Stanton del NIST, la cuestión es si la confianza humana en los sistemas de IA es medible y, de ser así, cómo medirla de forma precisa y apropiada.
“Muchos factores se incorporan a nuestras decisiones sobre la confianza”, dijo Stanton, uno de los autores de la publicación. «Es lo que el usuario piensa y siente sobre el sistema y percibe los riesgos que implica su uso».
Stanton, psicólogo, fue coautor de la publicación con el científico informático del NIST Ted Jensen. Basan en gran medida el documento en investigaciones anteriores sobre la confianza, comenzando con el papel integral de la confianza en la historia humana y cómo ha moldeado nuestros procesos cognitivos. Gradualmente recurren a los desafíos de confianza únicos asociados con la IA, que está asumiendo rápidamente tareas que van más allá de la capacidad humana.
“Los sistemas de inteligencia artificial se pueden entrenar para ‘descubrir’ patrones en grandes cantidades de datos que son difíciles de comprender para el cerebro humano. Un sistema puede monitorear continuamente una gran cantidad de transmisiones de video y, por ejemplo, detectar a un niño cayendo a un puerto en uno de ellos ”, dijo Stanton.
“Ya no le pedimos a la automatización que haga nuestro trabajo. Le pedimos que haga un trabajo que los humanos no pueden hacer solos «.
La publicación del NIST propone una lista de nueve factores que contribuyen a la posible confianza de una persona en un sistema de inteligencia artificial. Estos factores son diferentes de los requisitos técnicos de la IA confiable que el NIST está estableciendo en colaboración con la comunidad más amplia de desarrolladores y profesionales de la IA. El documento muestra cómo una persona puede sopesar los factores descritos de manera diferente dependiendo tanto de la tarea en sí como del riesgo involucrado en confiar en la decisión de la IA.
Un factor, por ejemplo, es la precisión. Es posible que un algoritmo de selección de música no necesite ser demasiado preciso, especialmente si una persona siente curiosidad por salirse de sus gustos a veces para experimentar la novedad y, en cualquier caso, pasar a la siguiente canción es fácil. Sería un asunto muy diferente confiar en una IA que tuviera solo un 90% de precisión para hacer un diagnóstico de cáncer, lo cual es una tarea mucho más arriesgada.
La nueva publicación del NIST propone una lista de nueve factores que contribuyen a la confianza potencial de un ser humano en un sistema de inteligencia artificial. Una persona puede sopesar los nueve factores de manera diferente dependiendo tanto de la tarea en sí como del riesgo que implica confiar en la decisión de la IA. Por ejemplo, dos programas de IA diferentes, un algoritmo de selección de música y una IA que ayuda con el diagnóstico de cáncer, pueden obtener la misma puntuación en los nueve criterios. Los usuarios, sin embargo, pueden inclinarse a confiar en el algoritmo de selección de música pero no en el asistente médico, que está realizando una tarea mucho más arriesgada.
Crédito: N. Hanacek / NIST
«Estamos proponiendo un modelo para la confianza de los usuarios de IA»
Stanton enfatizó que las ideas de la publicación se basan en investigaciones de antecedentes y que se beneficiarían del escrutinio público y dijo que “Todo se basa en la investigación de otros y en los principios fundamentales de la cognición. Por esa razón, nos gustaría recibir comentarios sobre el trabajo que la comunidad científica podría realizar para proporcionar una validación experimental de estas ideas «.
Los comentaristas pueden proporcionar comentarios sobre el borrador del documento descargando el formulario de respuesta a comentarios y enviándolo por correo electrónico a aiusertrustcomments@nist.gov . Para obtener más información, visite la página de NIST sobre AI User Trust .
Fuente: NIST
