Un nuevo sistema de realidad aumentada desarrollado en la Universidad de Brown coloca objetos virtuales en entornos del mundo real a través de las pantallas de teléfonos móviles y permite a las personas interactuar con esos objetos como si realmente estuvieran allí.
Un grupo de investigadores de la Universidad de Brown han desarrollado un nuevo sistema de software que convierte los teléfonos móviles en portales de realidad aumentada. Esto permite a los usuarios situar bloques de construcción virtuales, muebles y otros objetos en fondos del mundo real, usando sus manos para manipular esos objetos como si realmente estuvieran allí.
Con un teléfono inteligente, las personas pueden usar sus manos para manipular objetos virtuales en entornos reales, gracias a un sistema de realidad aumentada desarrollado en Brown. Crédito: Huang lab / Brown University
Los desarrolladores esperan que el nuevo sistema, llamado Portal-ble, pueda ser una herramienta para artistas, diseñadores, desarrolladores de juegos y otros para experimentar con la realidad aumentada (AR). El equipo presentará el trabajo a finales de este mes en el Simposio de ACM sobre software y tecnología de interfaz de usuario (UIST 2019) en Nueva Orleans.
El código fuente de Android está disponible gratuitamente para su descarga en el sitio web de los investigadores, y el código de iPhone llegará pronto.
«La AR será un gran nuevo modo de interacción«, dijo Jeff Huang, profesor asistente de ciencias de la computación en Brown, quien desarrolló el sistema con sus alumnos. “Queríamos realizar algo que hiciera la AR portátil para que las personas puedan usarla en cualquier lugar sin auriculares voluminosos. También queríamos que las personas pudiesen interactuar con el mundo virtual de forma natural usando sus manos«.
Huang dijo que la idea de la interacción «práctica» de Portal-ble surgió de cierta frustración con las aplicaciones de AR como Pokemon GO. Las aplicaciones AR usan teléfonos inteligentes para colocar objetos virtuales (como los personajes de Pokemon) en escenarios del mundo real, pero interactuar con esos objetos requiere que los usuarios se deslicen a través de la pantalla.
«Deslizarse por la pantalla, simplemente, no era una forma satisfactoria de interactuar«, dijo Huang. “En el mundo real, interactuamos con objetos con nuestras manos. Giramos pomos de las puertas, levantamos y tiramos cosas. Así que pensamos que manipular objetos virtuales con la mano mano sería mucho más poderoso que deslizar. Eso es lo diferente de Portal-ble«.
La plataforma utiliza un pequeño sensor de infrarrojos situado en la parte posterior de un teléfono. El sensor rastrea la posición de las manos de las personas en relación con los objetos virtuales, lo que permite a los usuarios levantar objetos, girarlos, apilarlos o soltarlos. También permite a las personas usar sus manos para «pintar» virtualmente en fondos del mundo real. Como demostración, Huang y sus alumnos utilizaron el sistema para pintar un jardín virtual en un espacio verde en el campus de Brown Hill College.
Huang asegura que la principal contribución técnica del trabajo fue desarrollar las adaptaciones adecuadas y las herramientas de retroalimentación para permitir que las personas interactúen intuitivamente con los objetos virtuales.
«Resulta que recoger un objeto virtual es realmente difícil si intentas aplicar la física del mundo real«, dijo Huang. “Las personas intentan coger por el lugar equivocado o pasan los dedos por los objetos. Así que tuvimos que observar cómo las personas intentaban interactuar con estos objetos y luego hacer que nuestro sistema pudiera adaptarse a esas tendencias«.
Para hacer eso, Huang reclutó a sus estudiantes en una clase que estaba impartiendo para idear tareas que quizá quisieran hacer en el mundo de AR: apilar un conjunto de bloques, por ejemplo. Luego, los estudiantes pidieron a otras personas que intentaran realizar esas tareas usando Portal-ble, mientras grababan lo que podían y lo que no podían hacer. Después podrían ajustar la física y la interfaz de usuario del sistema para que las interacciones sean más exitosas.
«Es un poco como lo que sucede cuando la gente dibuja líneas en Photoshop«, dijo Huang. “Las líneas que la gente dibuja nunca son perfectas, pero el programa puede suavizarlas y hacerlas perfectamente rectas. Esos eran los tipos de adaptaciones que estábamos tratando de hacer con estos objetos virtuales«.
El equipo también agregó retroalimentación sensorial (aspectos visuales destacados en objetos y vibraciones del teléfono) para facilitar las interacciones. Huang dijo que estaba algo sorprendido de que las vibraciones del teléfono ayudaran a los usuarios a interactuar. Los usuarios sienten las vibraciones en la mano que usan para sostener el teléfono, no en la mano que realmente está agarrando el objeto virtual. Aun así, dijo Huang, la retroalimentación de vibración ayudó a los usuarios a interactuar con más éxito con los objetos.
En los estudios de seguimiento, los usuarios informaron que las adaptaciones y los comentarios utilizados por el sistema hicieron las tareas significativamente más fáciles, menos lentas y más satisfactorias.
Huang y sus estudiantes planean continuar trabajando con Portal-ble, ampliando su biblioteca de objetos, refinando interacciones y desarrollando nuevas actividades. También esperan optimizar el sistema para que funcione completamente en un teléfono. Actualmente, el sensor de infrarrojos requiere un sensor de infrarrojos y un dispositivo de cálculo externo para una potencia de procesamiento adicional.
Huang espera que las personas descarguen el código fuente disponible gratuitamente y lo prueben por sí mismos.
«Realmente tan solo queremos publicar esto y ver qué hace la gente con él«, dijo. “El código está en nuestro sitio web para que los usuarios lo descarguen, editen y compilen. Será interesante ver qué hace la gente con él».
Los coautores del trabajo de investigación son Jing Qian, Jiaju Ma, Xiangyu Li, Benjamin Attal, Haoming Lai, James Tompkin y John Hughes. El trabajo fue apoyado por la National Science Foundation (IIS-1552663) y por un regalo de Pixar.
Fuente: Brown University
