Oculus muestra cómo la IA mejora los avatares y el tracking de manos

Durante la segunda keynote de la F8, que tuvo lugar ayer, Oculus dio a conocer el prototipo Half Dome, un visor que mejora aspectos como el FOV y la distancia de enfoque que tenemos a día de hoy, pero durante la charla también mostraron avances en otros campos, como el de la interacción y los avatares, viéndose ambos beneficiados por el uso de la inteligencia artificial para determinadas características, como puede ser mejorar el sincronismo de los labios de un avatar respecto a la voz de la persona real. De hecho, en esta charla presentaron PyTorch 1.0, un framework de código abierto para implementar soluciones de IA, el cual utilizaron en el caso de los labios del avatar al hablar.

Algunas de las áreas de investigación en las que trabajan.

El primero de los puntos que abordaron fue el tema de los avatares, los cuales nos permiten comunicarnos con otras personas e interactuar con el mundo virtual. Facebook, en este caso, mostró algunos ejemplos de cómo la IA puede ayudar a sincronizar los labios de los avatares para que se adapten a cualquier idioma y hagan más real la experiencia.

Ejemplo de los nuevos avatares más realistas de Facebook Spaces.

Facebook también mostró un ejemplo de dos personas charlando en realidad virtual con avatares fotorrealistas animados en tiempo real, aunque no dieron más detalles sobre cómo lo habían llevado a cabo.

Ejemplo con avatares foto realistas (mostrados en el centro del vídeo).

En cuanto a las interacciones con las manos, Oculus describió un sistema de seguimiento basado en visión artificial que utiliza un algoritmo de aprendizaje automático que, según indicaron, es más preciso que cualquier otro método para el seguimiento de una mano, de las dos manos o de la mano interactuando con objetos.

Guantes con marcadores y cámaras OptiTrack.

Sistema utilizado para identificar la posición de las manos.

Para entrenar la red neuronal, utilizaron unos guantes con marcadores y la tecnología de tracking de OptiTrack, algo que ya habíamos visto antes en el laboratorio de Oculus. El sistema después se basa en captar con una cámara las manos para identificar la posición correcta de éstas, por lo que no utilizan guantes con marcadores.

Tasa de aciertos en comparación con otros sistemas.

Como podemos ver en el gráfico anterior, el sistema se beneficia enormemente cuando llevamos a cabo tareas de interacción con otros objetos o incluso con las dos manos a la vez, y es capaz de ofrecer un 100% de aciertos para una sola mano.

Otro de los avances que presentaron, en este caso en el terreno de la captura de la realidad, fue el prototipo de un sistema para crear reconstrucciones 3D de lugares reales. El sistema utiliza, probablemente, campos de luz para generar incluso los reflejos de los espejos de forma realista.

A la izquierda la habitación real y a la derecha la reconstrucción 3D.

No sabemos cuándo acabarán llegando estos avances al terreno comercial, pero igual que con el prototipo Half Dome, nos sirve para hacernos una idea de los posible avances que integrarán las próximas generaciones de dispositivos de realidad virtual.