Unos auriculares de uso habitual traducen la lengua de signos a través de Doppler. Un equipo de investigación dirigido por la Universidad de Buffalo ha modificado los auriculares con cancelación de ruido y, gracias al eco creado por lo movimientos de la mano, permite que el dispositivo electrónico común «vea» y traduzca el Lenguaje de Signos Americano (ASL) cuando se combina con un teléfono inteligente. La solución tecnológica propuesta podría ayudar a impulsar la comunicación entre las poblaciones sordas y oyentes
El sistema basado en auriculares usa tecnología Doppler para detectar pequeñas fluctuaciones, o ecos, en ondas de sonido acústicas que son creadas por las manos de alguien que hace signos ha sido publicado en la revista» Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
Probado con la lengua de signos americana y funciona
Apodado SonicASL, el sistema demostró una eficacia del 93,8% en pruebas realizadas en interiores y exteriores con 42 palabras. Los ejemplos de palabras incluyen «amor», «espacio» y «cámara». En las mismas condiciones que implican 30 oraciones simples, por ejemplo, «Encantado de conocerte», SonicASL fue efectivo al 90,6% .
“SonicASL es una emocionante prueba de concepto que eventualmente podría ayudar a mejorar en gran medida la comunicación entre las poblaciones sordas y oyentes”, dice el autor correspondiente Zhanpeng Jin, PhD, profesor asociado en el Departamento de Ciencias de la Computación e Ingeniería de la UB.
Antes de que dicha tecnología esté disponible comercialmente, se debe hacer mucho trabajo, enfatizó el Dr. Jin. Por ejemplo, el vocabulario de SonicASL debe ampliarse considerablemente. Además, el sistema debe poder leer las expresiones faciales, un componente importante del Lenguaje para Sordos.
El estudio se presentará en la Conferencia ACM sobre Computación ubicua (UbiComp), que tendrá lugar del 21 al 26 de septiembre.
El sistema basado en auriculares utiliza tecnología Doppler para detectar pequeñas fluctuaciones, o ecos, en ondas de sonido acústicas que son creadas por las manos de alguien que firma. Crédito: Universidad de Buffalo.
Tecnología contra las barreras de comunicación para los sordos
Según la Federación Mundial de Sordos hay alrededor de 72 millones de personas sordas que utilizan más de 300 lenguas de signos diferentes en todo el mundo.
Aunque las Naciones Unidas reconocen que los lenguajes de señas tienen la misma importancia que la palabra hablada, ese punto de vista aún no es una realidad en muchas naciones. Las personas sordas o con problemas de audición aún experimentan múltiples barreras de comunicación.
Tradicionalmente, las comunicaciones entre los usuarios sordos de la lengua de signos americana (ASL) y las personas oyentes que no conocen el idioma se realizan en presencia de un intérprete de ASL o mediante una cámara.
Una preocupación frecuente sobre el uso de cámaras, según Jin, incluye si esas grabaciones de video podrían ser mal utilizadas. Y aunque el uso de intérpretes de ASL es cada vez más común, no hay garantía de que haya uno disponible cuando sea necesario. SonicASL tiene como objetivo abordar estos problemas, especialmente en circunstancias casuales sin una planificación y configuración preestablecidas, explica.
La ilustración de la izquierda muestra las modificaciones realizadas en los auriculares. La derecha muestra lo que ve un usuario en su teléfono inteligente. Crédito: Universidad de Buffalo.
Modificar auriculares con altavoz y agregar una aplicación para lengua de signos
La mayoría de los auriculares con cancelación de ruido se basan en un micrófono orientado hacia afuera que capta el ruido ambiental. Luego, los auriculares producen un anti-sonido, una onda de sonido con la misma amplitud pero con una fase invertida del ruido circundante, para cancelar el ruido externo.
“Agregamos un altavoz adicional al lado del micrófono que mira hacia afuera. Queríamos ver si los auriculares modificados podían detectar objetos en movimiento, de forma similar al radar ”, dice el coautor principal Yincheng Jin (sin relación), candidato a doctorado en el laboratorio de Jin.
De hecho, el altavoz y el micrófono captan los movimientos de las manos. La información se transmite a través de la aplicación de teléfono móvil SonicASL, que contiene un algoritmo que el equipo creó para identificar las palabras y oraciones. Luego, la aplicación traduce los signos y habla con la persona que escucha a través de los auriculares.
«Probamos SonicASL en diferentes entornos, incluidas oficinas, apartamentos, pasillos y aceras», dice el coautor principal Yang Gao, PhD, quien completó la investigación en el laboratorio de Jin antes de convertirse en un becario postdoctoral en la Universidad Northwestern. «Aunque ha visto una ligera disminución en la precisión a medida que aumentan los ruidos ambientales generales, la precisión general sigue siendo bastante buena, porque la mayoría de los ruidos ambientales no se superponen ni interfieren con el rango de frecuencia requerido por SonicASL».
El algoritmo principal de SonicASL se puede implementar en cualquier smartphone, dicen sus desarrolladores.
Estas son las ondas sonoras acústicas que se crean al firmar la frase «Necesito ayuda». Crédito: Universidad de Buffalo.
SonicASL se puede adaptar a otros lenguajes de signos
A diferencia de los sistemas que ponen la responsabilidad de «salvar» la brecha de comunicación en los sordos, SonicASL cambia el guión, animando a la población oyente a hacer el esfuerzo. Un beneficio adicional de la flexibilidad de SonicASL es que se puede adaptar a otros idiomas además de ASL, dice Jin.
“Las diferentes lenguas de signos tienen características diversas, con sus propias reglas de pronunciación, formación y orden de las palabras”, dice. “Por ejemplo, el mismo gesto puede representar diferentes palabras del lenguaje de señas en diferentes países. Sin embargo, la funcionalidad clave de SonicASL es reconocer varios gestos con las manos que representan palabras y oraciones en lenguajes de signos, que son genéricos y universales. Aunque nuestra tecnología actual se centra en ASL, con un entrenamiento adecuado del modelo algorítmico, se puede adaptar fácilmente a otros lenguajes de signos ”.
Los próximos pasos, dice Jin, serán expandir el vocabulario de signos que puede ser reconocido y diferenciado por SonicASL, así como trabajar para incorporar la capacidad de leer expresiones faciales.
“El SonicASL propuesto tiene como objetivo desarrollar un sistema de tipo auricular fácil de usar, conveniente y fácil de usar para promover y facilitar la comunicación entre las poblaciones sordas y oyentes”, dice Jin.
Los autores adicionales del estudio representan a la Universidad de Southampton, Reino Unido, y la Universidad de Washington. Henry Adler, PhD, científico investigador del Centro de Audición y Sordera de la Universidad de Buffalo, también contribuyó.
