Los investigadores están desarrollando una nueva tecnología que utiliza gestos con las manos para ejecutar comandos en las computadoras. Este prototipo de teclado con reconocimiento gestual de manos, llamado «Typealike», funciona a través de una cámara web de computadora portátil normal con un espejo adjunto simple. El programa reconoce las manos del usuario al lado o cerca del teclado y solicita operaciones basadas en diferentes posiciones de las manos. Una de las utilidades posibles de esta tecnología podría ser escribir con gestos como en el lenguaje de signos.
Un usuario podría, por ejemplo, colocar su mano derecha con el pulgar hacia arriba al lado del teclado y el programa reconocería esto como una señal para aumentar el volumen. Se pueden programar diferentes gestos y diferentes combinaciones de gestos para realizar una amplia gama de operaciones.
La innovación en el campo de la interacción humano-computadora tiene como objetivo hacer que la experiencia del usuario sea más rápida y fluida, con menos necesidad de atajos de teclado o trabajar con un mouse y un trackpad.
“Comenzó con una idea simple sobre nuevas formas de usar una cámara web”, dijo Nalin Chhibber, recién graduada de maestría de la Escuela de Ciencias de la Computación Cheriton de la Universidad de Waterloo.
“La cámara web apunta a tu cara, pero la mayor parte de la interacción que ocurre en una computadora está alrededor de tus manos. Entonces, pensamos, ¿qué podríamos hacer si la cámara web pudiera captar gestos con las manos?
La idea inicial condujo al desarrollo de un pequeño accesorio mecánico que redirige la cámara web hacia abajo, hacia las manos. Luego, el equipo creó un programa de software capaz de comprender distintos gestos de la mano en condiciones variables y para diferentes usuarios. El equipo utilizó técnicas de aprendizaje automático para entrenar el programa Typealike.
“Es una red neuronal, por lo que debe mostrar ejemplos de algoritmos de lo que está tratando de detectar”, dijo Fabrice Matulic, investigador principal de Preferred Networks Inc. y ex investigador postdoctoral en Waterloo. «Algunas personas harán gestos un poco diferentes y las manos varían en tamaño, por lo que debe recopilar una gran cantidad de datos de diferentes personas con diferentes condiciones de iluminación».
El equipo registró una base de datos de gestos con las manos con docenas de voluntarios de investigación. También hicieron que los voluntarios hicieran pruebas y encuestas para ayudar al equipo a comprender cómo hacer que el programa fuera lo más funcional y versátil posible.
“Siempre nos proponemos hacer cosas que la gente pueda usar fácilmente”, dijo Daniel Vogel, profesor asociado de informática en Waterloo. “La gente mira algo como Typealike u otra nueva tecnología en el campo de la interacción humano-computadora, y dicen que tiene sentido. Eso es lo que queremos. Queremos crear una tecnología que sea intuitiva y sencilla, pero a veces hacer eso requiere mucha investigación compleja y software sofisticado”.
Los investigadores dicen que hay más aplicaciones para el programa Typealike en Realidad Virtual donde podría eliminar la necesidad de controladores portátiles.
El estudio, Typealike: Near-keyboard handPostures for Expanded Laptop Interaction , escrito por Chhibber, Matulic, Vogel y el miembro del equipo Hemant Bhaskar Surale, se publicó recientemente en la revista para las actas de ACM Human Computer Interaction .
El reconocimiento gestual de las manos ve mejoras en precisión y complejidad con un nuevo algoritmo
En la película de ciencia ficción de 2002 Minority Report el personaje de Tom Cruise usa sus manos, enfundadas en guantes especiales, para interactuar con la pantalla de su computadora transparente del tamaño de una pared. La computadora reconoce sus gestos para ampliar, acercar y alejar. Aunque esta visión futurista de la interacción entre humanos y computadoras ya tiene 20 años, los humanos de hoy todavía interactúan con las computadoras mediante el uso de un mouse, un teclado, un control remoto o una pequeña pantalla táctil. Sin embargo, los investigadores han dedicado mucho esfuerzo para desbloquear formas de comunicación más naturales sin necesidad de contacto entre el usuario y el dispositivo.
Imágenes de los nueve gestos interactivos con las manos en el estudio. Crédito: Zhang et al., doi: 10.1117/1.JEI.30.6.063026
Los comandos de voz son un ejemplo destacado que se ha abierto camino en los teléfonos inteligentes y asistentes virtuales modernos, permitiéndonos interactuar y controlar dispositivos a través del habla.
Los gestos con las manos constituyen otro modo importante de comunicación humana que podría adoptarse para las interacciones entre humanos y computadoras.
Los avances recientes en los sistemas de cámaras, el análisis de imágenes y el aprendizaje automático han hecho que el reconocimiento de gestos basado en la óptica sea una opción más atractiva en la mayoría de los contextos que los enfoques que se basan en wearables como sensores portátiles o guantes de datos, como los que vimos en Minority Report. Sin embargo, los métodos actuales se ven obstaculizados por una variedad de limitaciones, que incluyen una alta complejidad computacional, baja velocidad, poca precisión o un bajo número de gestos reconocibles. Para abordar estos problemas, un equipo dirigido por Zhiyi Yu de la Universidad Sun Yat-sen, China, desarrolló recientemente un nuevo algoritmo de reconocimiento de gestos con las manos que logra un buen equilibrio entre complejidad, precisión y aplicabilidad. Como se detalla en su documento, que fue publicado en el Journal of Electronic Imaging , el equipo adoptó estrategias innovadoras para superar desafíos clave y realizar un algoritmo que se puede aplicar fácilmente en dispositivos de nivel de consumidor.
Una de las principales características del algoritmo es la adaptabilidad a diferentes tipos de manos
El algoritmo primero intenta clasificar el tipo de mano del usuario como delgado, normal o ancho en función de tres medidas que tienen en cuenta las relaciones entre el ancho de la palma, el largo de la palma y el largo de los dedos. Si esta clasificación tiene éxito, los pasos posteriores en el proceso de reconocimiento de gestos con las manos solo comparan el gesto de entrada con muestras almacenadas del mismo tipo de mano.
«Los algoritmos simples tradicionales tienden a sufrir bajas tasas de reconocimiento porque no pueden hacer frente a diferentes tipos de manos. Al clasificar primero el gesto de entrada por tipo de mano y luego usar bibliotecas de muestra que coincidan con este tipo, podemos mejorar la tasa de reconocimiento general con un recurso casi insignificante. consumo», explica Yu.
Otro aspecto clave del método del equipo es el uso de una «función de acceso directo» para realizar un paso de reconocimiento previo. Si bien el algoritmo de reconocimiento es capaz de identificar un gesto de entrada entre nueve gestos posibles, comparar todas las características del gesto de entrada con las de las muestras almacenadas para todos los gestos posibles llevaría mucho tiempo. Para resolver este problema, el paso de reconocimiento previo calcula una proporción del área de la mano para seleccionar los tres gestos más probables de los nueve posibles. Esta característica simple es suficiente para reducir la cantidad de gestos candidatos a tres, de los cuales el gesto final se decide mediante una extracción de características mucho más compleja y de alta precisión basada en «momentos invariables de Hu». Yu dice: »
El equipo probó su algoritmo tanto en un procesador de PC comercial como en una plataforma FPGA utilizando una cámara USB. Hicieron que 40 voluntarios hicieran los nueve gestos con las manos varias veces para construir la biblioteca de muestras y otros 40 voluntarios para determinar la precisión del sistema. En general, los resultados mostraron que el enfoque propuesto podía reconocer los gestos de las manos en tiempo real con una precisión superior al 93 %, incluso si las imágenes de los gestos de entrada se giraban, traducían o escalaban. Según los investigadores, el trabajo futuro se centrará en mejorar el rendimiento del algoritmo en condiciones de poca iluminación y aumentar la cantidad de gestos posibles.
El reconocimiento de gestos de las manos tiene muchos campos de aplicación prometedores y podría allanar el camino hacia nuevas formas de controlar dispositivos electrónicos. ¡Una revolución en la interacción humano-computadora podría estar cerca!
Lea el artículo de Qiang Zhang et al., » Algoritmo de reconocimiento de gestos de la mano que combina un algoritmo adaptativo de tipo manual y una relación de área efectiva para la computación perimetral eficiente «, J. Electron. Imag . 30 (6), 036026 (2021) doi: 10.1117/1.JEI.30.6.063026
