Una nueva técnica computacional podría reflejar las emociones humanas sobre cualquier foto fija, de una manera altamente realista, como si las imágenes cobraran vida y capacidad de expresión.
Esta nueva técnica de animación está siendo explorada por científicos de la Universidad de Tel Aviv, en colaboración con investigadores de Facebook para convertir fotos en una experiencia interactiva.
Perfiles reactivos
Los perfiles reactivos son retratos que pueden reaccionar a diferentes estímulos, como los famosos retratos mágicos de Harry Potter, donde las personas de las fotografías se mueven y parecen interactuar.
Hasta ahora, las técnicas de animación facial han utilizado la superposición de imágenes que forman un video para mostrar variaciones en la postura y las expresiones.
Esta nueva técnica permite generar tales retratos en movimiento con una sola imagen de referencia.
Manipulando la cara mediante urdimbres 2D livianas, es posible crear movimientos moderados de la cabeza que se representan de manera muy realista sin tener que convertir o proyectar la imagen a 3D.
También incluye la transferencia continua de detalles, como las arrugas faciales, al mismo tiempo que evita las llamadas arrugas «atípicas», que están causadas por las sombras proyectadas o la desalineación entre los marcos de video deformados.
Sus resultados fueron capaces de presentar retratos reales de personas como si realmente estuvieran respirando, sonriendo o frunciendo el ceño.
Hadar Averbuch-Elor, doctorado en informática en la Universidad de Tel-Aviv y autor principal del estudio, explica que las expresiones faciales de los humanos no transmiten solo emociones mayores, sino variaciones sutiles; una visión matizada de su estado emocional y lo que intentan es capturar esa expresividad. El trabajo previo se ha limitado a la animación de la región de la cara, pero, dentro de ciertos límites, este nuevo método puede animar toda la cabeza y la parte superior del cuerpo.
«Dando vida a los retratos»
Daniel Cohen-Or, profesor de informática en la Universidad de Tel-Aviv, y los científicos investigadores de Facebook Michael F. Cohen y Johannes Kopf, son los coautores de la investigación, «Dando vida a los retratos».
Michael F. Cohen es el Director del Grupo de Fotografía Computacional en Facebook y Profesor Afiliado de la Universidad de Washington. Llegó a Facebook después de dos décadas en Microsoft Research.
El equipo de fotografía computacional de Facebook se formó en 2015 para crear nuevas formas de compartir fotos y videos en la plataforma de redes sociales, lo que incluye permitir a los usuario compartir videos 3D y videos de realidad virtual en sus perfiles.
Este trabajo tan innovador ha sido presentado en SIGGRAPH, Asia 2017 en Bangkok, del 27 de noviembre al 30 de noviembre, de 2017. Una exposición anual que presenta a los principales profesionales, académicos y mentes creativas del mundo a la vanguardia en técnicas gráficas e interactivas.
El avatar interactivo
En un estudio de usuario, los participantes recibieron 24 videos seleccionados al azar, ocho de los cuales fueron reales. Se les pidió que los calificaran como reales o no reales en función de cómo aparecía la animación. Los videos animados de los investigadores se identificaron como reales el 46 por ciento de las veces. Las animaciones «felices» se percibieron como las más reales (identificadas como reales el 58% de las veces), y las «sorpresivas» se percibieron como menos reales (identificadas como reales el 37% de las veces).
En el futuro, el equipo intenta construir sobre esta obra combinando su técnica con métodos 3D o unirla con Inteligencia Artificial para crear un avatar interactivo a partir de una sola fotografía.
Foto: Universidad de Tel Aviv.
Con una sola imagen (fila superior), el método genera automáticamente
videos realistas que expresan varias emociones. Usamos videos de conducción
de un tema diferente e imitar la expresividad del sujeto en el video de conducción.
Fuente: Universidad de Tel Aviv
