La Realidad Virtual o Aumentada podrían dar un salto cualitativo definitivo con la posibilidad de que los hologramas pudieran ser vistos sin necesidad de gafas especiales. Si además estos hologramas pudieran tocarse, como si fueran objetos físicos, ya estaríamos hablando en términos que sólo hemos visto en la ciencia ficción. Y como suele ocurrir, si algo puede imaginarse, puede hacerse. Así lo apunta una investigación publicada recientemente en Advanced Intelligent Systems.
Las tecnologías de visualización volumétrica han demostrado este concepto, lo que permite a los usuarios ver objetos virtuales con dimensiones reales en el espacio 3D, al tiempo que permiten algunas formas de interacción. Se han visto avances en las tecnologías de retroalimentación háptica que se utilizan para brindar una sensación de tacto en el mundo digital. A medida que los entornos virtuales encuentran más aplicaciones en el mundo actual, estos dispositivos de retroalimentación háptica tienen potencial para integrarse con sistemas de Realidad Virtual y contribuir a una experiencia de usuario más inmersiva e interactiva.
Interacción con la Realidad Virtual en el aire
En el citado estudio se presenta un dispositivo de retroalimentación háptica basado en aire, llamado Aerohaptics, que ofrece retroalimentación táctil en el aire mientras el usuario manipula objetos virtuales dentro de una pantalla pseudoholográfica.
El sistema desarrollado constituye un enfoque rentable con una complejidad relativamente baja y varias aplicaciones potenciales, ya que no se requieren periféricos portátiles o portátiles.
La retroalimentación háptica entregada se puede dirigir con precisión a ubicaciones específicas en la mano del usuario y su intensidad se puede controlar para adaptarse a varios escenarios de interacción. A través de experimentos se demuestra la retroalimentación localizada en las yemas de los dedos del usuario, así como la fuerza de retroalimentación variable según el movimiento de la mano del usuario. La retroalimentación háptica entregada se puede dirigir con precisión a ubicaciones específicas en la mano del usuario y su intensidad se puede controlar para adaptarse a varios escenarios de interacción.
Mejorar la experiencia del usuario con la Realidad Virtual
Gracias a la red 5G y su baja latencia, la experiencia de usuario con las gafas de realidad virtual o aumentada ha mejorado notablemente, eliminando prácticamente la sensación de mareo que producía en muchos usuarios. Además, dado que los procesos ocurren en la nube, en este caso en la propia red, ese tipo de dispositivos serán cada vez más pequeños, ligeros y sin necesidad de recarga continua.
Con las tecnologías de realidad virtual en aumento, los sistemas interactivos que brindan retroalimentación real a partir de contactos virtuales pueden mejorar en gran medida la experiencia inmersiva del usuario. Estos sistemas pueden variar desde simples dispositivos de retroalimentación háptica integrados en los controladores de las consolas de juego hasta enfoques más complejos como guantes habilitados para hápticos y entrega de retroalimentación háptica en el aire a través de ondas ultrasónicas. Las tecnologías de retroalimentación háptica son de gran interés en varias áreas como la robótica, los vehículos autónomos y la rehabilitación. Los sistemas que pueden combinar experiencias de retroalimentación visual y táctil encontrarán un gran interés en múltiples sectores, incluidos el entretenimiento, la educación, la medicina, la gestión de desastres, la seguridad, la telerobótica y la comunicación táctil. Sin embargo, la combinación de estas experiencias interactivas en un sistema completo conlleva desafíos importantes en términos de complejidad tecnológica, costo, implementación y seguridad.
Un pseudoholograma con un dispositivo de retroalimentación háptica basado en aire permitirá retroalimentación táctil en el aire sin contacto, lo que conduce a pantallas volumétricas interactivas.
Figura 1: Diagrama de bloques que muestra los principales componentes y operaciones del sistema de retroalimentación aerohaptica integrado con la pantalla pseudoholográfica interactiva. b) Ilustración 3D del sistema desarrollado.
La representación esquemática en la Figura 1 muestra que el sistema desarrollado comprende tres componentes principales, la pantalla pseudoholográfica, el módulo de reconocimiento de gestos y el dispositivo de retroalimentación háptica. El sistema utiliza chorros de aire presurizado para replicar las sensaciones táctiles mientras proporciona control de ubicación e intensidad. La integración del dispositivo “aerohaptic” con una pantalla volumétrica pseudoholográfica interactiva demuestra su aplicación potencial en entornos virtuales con capacidad de retroalimentación.
Diseño e implementación del sistema háptico
Los tres componentes principales de la pantalla pseudoholográfica interactiva presentada (Figura 1 ) están conectados a una computadora maestra y se controlan a través de un programa interno basado en la plataforma Unity. Para facilitar el funcionamiento del sistema, también se incluye un dispositivo de control remoto en forma de tableta que ejecuta una aplicación personalizada. La Figura 1a muestra un diagrama de bloques de los principales componentes y operaciones del sistema y un modelo 3D se muestra en la Figura 1b.
Pantalla pseudoholográfica
La pantalla pseudoholográfica utilizada en el sistema presentado se basa en el esquema de proyección de Pepper’s Ghost. El sistema utilizado aquí es la versión mejorada de la pantalla pseudoholográfica presentada en un trabajo anterior. Las vistas 2D del objeto 3D virtual final se proyectan en pantallas transparentes colocadas en un ángulo de 45 ° desde la fuente de proyección. Esta disposición crea la ilusión de un objeto «flotando» en el aire. Para el sistema presentado, las pantallas están dispuestas en una estructura piramidal de base cuadrada, lo que permite crear imágenes en 2D a partir de vistas ortogonales del objeto virtual en 3D. Uno de los lados inclinados de la estructura piramidal se modifica para crear aberturas en las dos esquinas inferiores.
Como el objeto proyectado parece estar flotando dentro de la estructura piramidal, el usuario puede acceder a través de las aberturas e interactuar con la imagen volumétrica como si fuera un objeto real.
Reconocimiento de gestos
El usuario puede interactuar con el objeto virtual mediante gestos reales. Se utiliza un sensor comercial (Leap Motion) para rastrear los movimientos de la mano del usuario dentro de la estructura piramidal y el software que lo acompaña es capaz de reconocer varios gestos. El sensor utiliza un par de cámaras IR y es capaz de detectar el movimiento de ambas manos en un campo de visión de alrededor de 150 ° en una región de hasta 600 mm desde el dispositivo sensor. A medida que se detectan los gestos, el objeto virtual se transforma en consecuencia y se proyecta en la pantalla pseudoholográfica en tiempo real.
Concepto del Sistema aerohaptico
Para proporcionar una experiencia de interacción más realista con los objetos virtuales, el sistema presentado incorpora retroalimentación háptica (presión) además de retroalimentación visual. Se ha informado anteriormente que la experiencia interactiva se mejora en presencia de más de una modalidad.
El sistema de retroalimentación “aerohaptic” propuesto utiliza chorros de aire dirigidos a la mano del usuario para replicar el sentido del tacto al manipular un objeto virtual.
En este caso, el pequeño ruido debido al flujo de aire del chorro también puede complementar la presión y la retroalimentación visual. ( Figura 2a )
Figura 2: Retroalimentación háptica basada en aire entregada en el aire a través de una boquilla de aire articulada cuando el usuario interactúa con un objeto virtual (botón). b) Componentes del sistema aerohaptico desarrollado. c) Conversión de los datos de seguimiento manual en información de posición para la boquilla de aire.
El sistema de retroalimentación aerohaptica, que se muestra en la Figura 2b , se basa en un mecanismo de giro e inclinación ubicado justo debajo de la estructura de visualización piramidal. Una sola boquilla de aire está unida a dicho mecanismo y puede dirigir los chorros de aire hacia las manos del usuario. La articulación del mecanismo, combinada con la precisión del dispositivo de seguimiento de la mano, permite que la boquilla apunte hacia ubicaciones específicas de la mano del usuario, es decir, un dedo o una palma. El aire presurizado se suministra a través de un compresor de aire convencional. Se utiliza un dispositivo de control del flujo de aire para activar el suministro de aire y variar la presión de aire suministrada para permitir diferentes expresiones de retroalimentación háptica. Los motores de posicionamiento de las boquillas y el dispositivo de control de flujo están interconectados con la computadora principal y un microcontrolador Arduino.
En el núcleo del sistema aerohaptico desarrollado se encuentra un algoritmo para extraer la información requerida de la posición de la mano detectada para colocar correctamente la boquilla de aire.
Con referencia a la Figura 2c , los desplazamientos desde la cámara estereoscópica hasta el efector final del sistema de seguimiento son los siguientes: desplazamiento X = 70 mm (el desplazamiento desde el origen de Leap Motion hasta el centro del servo 1 en el eje X ) ; Desplazamiento Y = 125 mm (el desplazamiento desde el origen de Leap Motion hasta el centro del servo 2 en el eje Y ); Desplazamiento Z = −30 mm (el desplazamiento desde el origen de Leap Motion hasta el centro del servo 2 en el eje Z ); B = 25 mm (la distancia desde el centro del servo 1 al centro del servo 2 en el eje Z ); c = 70 mm (la distancia desde el punto final de b hasta el centro del servo 1). Estas variables se pueden examinar en la Figura 2c .
Implementación de software para dispositivos de hologramas hápticos
La pantalla holográfica y la cámara estereoespacial se controlan a través de Unity Game Engine. El algoritmo C # responsable de la interacción entre el holograma y el usuario simplemente transforma las coordenadas de la mano detectada y asigna un valor discreto para la presión aeróbica. Todos estos datos se empaquetan en una cadena y se envían a través de una conexión en serie (USB) a una placa Arduino.
El firmware del Arduino es responsable de controlar la interacción aerohaptica con el usuario y administrar el sistema de seguimiento manual. En el extremo del firmware, los datos transmitidos por Unity Game Engine se analizan y convierten numéricamente y luego se utilizan para controlar el sistema de seguimiento manual (servos pan-tilt) y la presión de aire emitida por la boquilla. Sin embargo, el firmware también es capaz de discernir entre múltiples modos de operación, dictados por la naturaleza de la interacción entre el holograma y el usuario. Los modos son los siguientes: detección / selección de puntos de referencia de la mano, salida de presión constante y topología aerofáptica dinámica. En el modo de salida de presión constante del sistema, el usuario recibirá una retroalimentación aerodáptica constante, independientemente de la posición espacial de su mano. Esto se logra mediante un controlador proporcional, basado en las coordenadas de la mano.
Esencialmente, la salida de presión en la boquilla aumenta linealmente con la distancia entre el sensor Leap Motion y la mano del usuario. En el modo de detección de puntos de referencia de la mano, el algoritmo puede seleccionar qué parte de la mano del usuario es el objetivo del sistema de seguimiento.
Hay seis puntos de referencia: uno en cada dedo y otro en la palma. Al seleccionar el área hacia la cual apuntar la corriente de aire, el sistema aerohaptic puede potencialmente aumentar artificialmente la resolución de retroalimentación, proporcionando no solo una interacción más realista, sino también más precisa. Finalmente, en el modo de topología aerofáptica dinámica, la naturaleza de la interacción entre el usuario y el sistema de hologramas sufre un cambio de paradigma. En este modo, la presión se modula principalmente en función de la topología del objeto 3D y la interacción cinemática con la mano del usuario. Esto permite al usuario sentir el objeto holográfico respondiendo a estímulos de la vida real. Por ejemplo, si el usuario intenta hacer rebotar una pelota de baloncesto holográfica, se encontrará con una retroalimentación aerofáptica proporcional a la cantidad de fuerza que «percibiría» al hacer rebotar una pelota, y que dependerá del recorrido total de la pelota holográfica. Por esta razón, el usuario podrá sentir la topología de la pelota (posicionamiento exacto en el espacio holográfico), la naturaleza de la interacción (rebote fuerte, rebote suave) y sentir la pelota rebotando a través de retroalimentación aerohaptica. Esto permite al usuario sentir el objeto holográfico respondiendo a estímulos de la vida real. Por ejemplo, si el usuario intenta hacer rebotar una pelota de baloncesto holográfica, se encontrará con una retroalimentación aerofáptica proporcional a la cantidad de fuerza que «percibiría» al hacer rebotar una pelota, y que dependerá del recorrido total de la pelota holográfica. Por esta razón, el usuario podrá sentir la topología de la pelota (posicionamiento exacto en el espacio holográfico), la naturaleza de la interacción (rebote fuerte, rebote suave) y sentir la pelota rebotando a través de retroalimentación aerohaptica.
En este último caso, la unidad controladora Arduino recibiría tanto las coordenadas espaciales de la mano como el valor absoluto de la velocidad vista por los dedos, como la velocidad resultante, en los ejes X , Y y Z. Esto permite al sistema calcular si el usuario está interactuando con el objeto (si la mano y el cuerpo 3D se cruzan) y calcular cómo se debe modular la presión en función de la velocidad del dedo. El valor de la velocidad del dedo se asigna directamente a la unidad de modulación de presión y se crea la interacción. Esencialmente, la respuesta entre el rebote de la pelota y la presión de aire emitida es directamente proporcional a la velocidad del dedo.
Para más detalles puedes consultar la publicación original, de la que hemos adaptado un extracto y traducido gracias a que está disponible con licencia Creative Commons 4.0:
Pseudo-Hologram with Aerohaptic Feedback for Interactive Volumetric Displays (Pseudoholograma con retroalimentación aerofáptica para pantallas volumétricas interactivas, publicado por primera vez: 01 de septiembre de 2021)
