La evolución de los avatares de realidad virtual de Facebook & Oculus

8 SEP 2020  18:00

Verónica Rodríguez

16

De 2019 en adelante

En marzo de 2019 Facebook estrenaba una serie de artículos e investigaciones sobre los trabajos que estaban llevando a cabo en los laboratorios de Facebook Reality Labs (FRL), con Michael Abrash a cargo, con el objetivo de relatar cómo se incorporarán todas las tecnologías y avances que se trabajan desde estos laboratorios en nuestro día a día.

2019 - Los Codec Avatars & Anuncio de Horizon

Así, se anunció el caso de Codec Avatars, un proyecto de investigación que perseguía la creación de avatares realistas y que se estaba desarrollando en la oficina de Pittsburgh de la compañía. Este proyecto consistía no solo en mejorar los gráficos y los movimientos, sino en lograr que interactuar con otras personas en realidad virtual se convierta en algo natural, y por ello trabajaban en "interacciones auténticas" que nos permitirían experimentar "presencia social", y que deberían pasar lo que ellos llaman el test del ego y el de la madre. Primero, tanto una persona como su madre deben aceptar y querer al avatar para poder realizar intercambios sociales tal y como lo harían en la vida real.

 


En el vídeo vemos unos modelos que previamente han sido creados utilizando estudios de captura volumétrica. En ellos se hacen una serie de pruebas con un sistema de cámaras infrarrojas y micrófonos integrados en el visor, que permiten capturar un amplio rango de expresiones. Estos visores eran denominados como HMCs (Head Mounted Capture Systems). El objetivo sería entrenar sistemas de inteligencia artificial que nos permitieran crear nuestro propio Codec Avatar a partir de unas pocas fotos o vídeos. Este tipo de pruebas se grabaron en un espacio de 132 cámaras y 350 luces en forma de domo llamado Mugsy, que reúne 1 giga de información por segundo para que una red neuronal pueda aprender a mapear expresiones y movimientos de sonidos y deformaciones musculares, desde todos los ángulos posibles. También se presentaron las capturas de avatares de cuerpo completo pero no eran a tiempo real, capturado en un estudio parecido al de Microsoft.

 

 

También se presentaron una serie de avances en la F8 de 2019, referentes al body tracking o seguimiento corporal sin marcadores ni dispositivos de tracking adicionales, como los de Vive. Aunque solo es un proyecto de investigación aún y no un producto, los resultados son muy interesantes, ya que parece que con un solo sensor externo se podrían capturar el movimiento desde el esqueleto hasta la masa muscular, que es crítica para entender el comportamiento y la intención de cuerpos trackeados. Prueba de ello es una pequeño demo en la que dos personas jugaban a fútbol con una pelota virtual, en tiempo real, en un mismo espacio virtual compartido. Se aprecian unos marcadores OptiTrack conectados a los cascos, por lo que probablemente se trataba de una configuración de varias cámaras.

 

 

La idea es que la tecnología de body tracking sin marcadores podría ser una realidad en futuro cercano, o quizá a través de un sensor asequible y práctico que permita exportar en tiempo real el movimiento humano hacia entornos virtuales.

En abril de 2019 se lanzaba el editor de los avatares expresivos, la actualización disponible para Rift y Go, que simulaba el movimiento de los ojos y de la boca de los avatares alcanzando en ellos una mayor expresividad y una mayor sensación de naturalidad en las interacciones dentro del mundo virtual, y que tenía más opciones de personalización, con nuevos tonos de piel, peinados y ropas.

Por último, en 2019 recibíamos la noticia del lanzamiento de Facebook Horizon como la culminación de esfuerzos anteriores en el terreno de plataformas de realidad virtual de la compañía, haciendo oficial el cierre de Spaces y Rooms el 25 de octubre de 2019. Horizon llegaba con una nueva evolución de los avatares vistos anteriormente, y seguía por una línea estética alejada del fotorrealismo, pero con múltiples posibilidades de personalización.

 

 

También en la Connect de 2019, Facebook Reality Labs presentaba sus trabajos en espacios reales virtualizados para realidad virtual o en técnicas de reconstrucción de espacios en 3D, lo que nos permitiría sumergirnos en lugares virtuales basados en entornos reales y poder, con nuestros avatares virtuales, realizar reuniones en sitios reales que han sido virtualizados, como podría ser el salón de nuestra casa familiar, como vemos en este vídeo.

 

2020, Avatares de Cuerpo Completo y Miradas Realistas y lanzamiento de Horizon

Este año, Facebook compartió una serie de avances interesantes hacia la captura de humanos y la creación de avatares fotorrealistas de cuerpo completo. En concreto, en la Conferencia Anual de Visión por Computadora CVPR, Facebook Reality Labs lanzó este breve vídeo que muestra la investigación hacia avatares fotorrealistas y seguimiento de cuerpo completo:

 

 

Vemos por ejemplo uno de los proyectos de investigación, el conocido como PIFuHD, basado en un sistema de aprendizaje automático para generar una representación 3D de una persona y su ropa a partir de una sola imagen de 1k. Esto se haría usando algoritmos, sin que se requiera un sensor de profundidad o un equipo de captura de movimiento. Lo interesante es que con el hardware que tenemos en la actualidad, lo habitual es que solo se pueda manejar imágenes de entrada de relativamente baja resolución, limitando la precisión y el detalle del modelo de salida. PIFuHD toma un nuevo enfoque, reduciendo el muestreo de la imagen de entrada pero alimentando la capa base con nuevas mallas de información gráfica que agrega detalles a la superficie.

 

 

En julio de 2019 se presentaba otro paso más para conseguir la fidelidad de los avatares y la sensación de presencia social en entornos virtuales centrado en conseguir un contacto visual entre avatares más humano.

 

 

Para ello, han creado un modelo de avatar virtual en 3D que puede ser animado por cámaras montadas en visores VR para rastrear y reproducir con precisión la mirada humana, un sistema para la interacción cara a cara en VR que se centra en la reproducción de una mirada fotorrealista y un contacto visual pleno, gracias a un modelo del globo ocular en 3D que capta mejor la dirección de la mirada y las expresiones faciales superiores, y a un sistema capaz de diferenciar la mirada de los ojos izquierdo y derecho entre sí y la orientación del resto del rostro. Estos experimentos dan como resultado una mayor calidad de representación de la comunicación no verbal de la mirada.

Por último, durante estos últimos meses de verano y especialmente desde el 25 de agosto hemos podido ver algunos de los avances de Facebook Horizon y sus avatares caricaturescos.

 

Parece que el editor de avatares que podemos ver en este vídeo para Venues tiene características similares al que de momento conocemos de la beta de Horizon.

 

 

En ambos casos vemos cómo hay una serie de animaciones predefinidas que se activan con los gestos de nuestras manos. Al levantar un pulgar sonreímos, y al levantar dos, parecemos realmente emocionados por algo. Por el contrario si ponemos un pulgar hacia abajo, mostramos nuestro desagrado con una situación, y con dos pulgares nos cambia por completo la expresión de la cara, aunque podemos seguir hablando mientras hacemos estos gestos.

 

Captura del vídeo de Youtube de BMF

 

Al igual que en otros avatares de diferentes redes sociales de VR, no tenemos más que la parte superior del cuerpo, pero por ejemplo, al contrario que AltspaceVR o RecRoom, tenemos brazos.

 

Respecto a las opciones de personalización, hay opciones limitadas que entendemos se ampliarán con el tiempo y las actualizaciones futuras.

Conclusiones

Si algo hemos sacado en claro de esta recopilación y análisis es que, si bien el futuro aspira a la creación de avatares fotorrealistas y de cuerpo completo, nuestro presente está marcado por avatares más estilo cartoon, pero con múltiples opciones de personalización, y desde luego muy estudiados para conseguir conexiones sociales cómodas y memorables.


Espero que este análisis sobre los avatares de Facebook & Oculus y su evolución os haya resultado interesante. Os dejo una pequeña infografía con el resumen de estos hitos, y os prometo que seguiremos muy de cerca los avances en este campo para todos aquellos que os interese.