El dispositivo esencial para disfrutar de una experiencia de Realidad Virtual son unas gafas que nos sumerjan en el entorno. A estas gafas es posible añadir sensores de distinto tipo, como mandos o guantes, que nos permitan interactuar con el entorno virtual. La limitación de estas gafas es que al estar por encima de la boca, no podían reconocer los gestos de la misma. Para combatir este problema, el profesor de informática de la Universidad de Binghamton, Lijun Yin, y su equipo crearon un nuevo marco que interpreta los gestos de la boca como un medio de interacción dentro de la realidad virtual en tiempo real.
El equipo de Investigadores de la Universidad de Binghamton, State University of New York, ha desarrollado una nueva tecnología que permite a los usuarios interactuar en un entorno de realidad virtual utilizando solo gestos en la boca.
Para probar la aplicación en un grupo de estudiantes graduados, una vez que se colocaron las gafas VR, se les presentó un juego simplista como guiar el avatar del jugador alrededor de un bosque y comer tantos pasteles como fuera posible. Los jugadores tenían que seleccionar su dirección de movimiento usando la rotación de la cabeza, moverse usando gestos en la boca y solo podían comer el pastel sonriendo. El sistema fue capaz de describir y clasificar los movimientos de la boca del usuario , y logró altas tasas de reconocimiento correctas. El sistema también se ha demostrado y validado a través de una aplicación de realidad virtual en tiempo real.
Pensando en las comunicaciones tipo Skype, esperan hacer esto aplicable a más de una persona, tal vez dos, además de ser aplicable a otros muchos campos como la medicina o el ejército.
Fuente: Binghamton University
Captura e interpretación de gestos faciales en Oculus
Desde sus inicios, los desarrolladores de Oculus Rift entendieron la importancia de incorporar el reconocimiento gestual a sus dispositivos. Al agregar la capacidad de la representación facial real a las aplicaciones de realidad virtual , en teoría, la experiencia sería más realista, y al mismo tiempo permitiría que se produjese la parte de privacidad o fantasía de la representación avatar , incluso podría reforzar la ilusión de la realidad alterada, donde los participantes realmente se olvida que el ser con el que interactúan no es una representación real de otro ser humano.
La tecnología que se produjo gracias a la colaboración entre investigadores de la división Rift y un equipo de la Universidad de California, dirigido por Hao Li contaba con un diseño de dos partes: el primero implicaba colocar sensores en el acolchado de espuma que cubre la frente de un usuario que llevaba las gafas, el cual permitía capturar la frente y algunos movimientos del músculo ocular. El segundo era un poco menos elegante, conectaron un pequeño brazo ajustable al auricular que permite que la cámara se apoye sobre la boca, permitiendo así capturar el movimiento.
Los datos de ambos sensores se recopilan y analizan mediante el software que se ejecuta en los dispositivos y lo convierte en datos que se envían al componente de representación de avatar.
Los modelos previos tenían algunas limitaciones a solventar, un proceso inicial de calibración de 10 minutos que requiere que el usuario realice contorsiones faciales sin cubrir, y esperar otra vez mientras otra rutina de calibración mucho más corta se ejecuta después al cubrirse la cara.
Fuente: Hao-Li
