Codec Avatars, un proyecto de avatares realistas de Facebook Reality Labs

Michael Abrash, a cargo de Facebook Reality Labs (FRL), ha anunciado que durante un año publicarán una serie de entradas de blog en las que irán destacando algunos de los trabajos que están llevando a cabo en sus laboratorios, como es el caso del proyecto Codec Avatars, que persigue la creación de avatares realistas y que podemos encontrar al completo en este enlace. En los próximos meses ofrecerán entradas sobre óptica y pantallas, visión artificial, audio, gráficos, interacción háptica, interfaz cerebro/computadora y seguimiento de ojos/manos/cara/cuerpo. El objetivo de estas entradas es mostrar cómo la realidad virtual y aumentada cambiará el mundo e iniciar una conversación sobre cómo se incorporarán todas estas tecnologías en nuestro día a día.

En cuanto a Codec Avatars, el proyecto de investigación con el que han debutado esta iniciativa y que están desarrollando en la oficina de Pittsburgh (una de las cinco que tienen en EEUU), no solo consiste en mejorar los gráficos y los movimientos, sino en lograr que interactuar con otras personas en RV resulte algo natural y sin esfuerzo, siendo necesario para ello la creación de "interacciones auténticas" que nos ofrezcan lo que denominan "presencia social".

En el siguiente vídeo podemos ver una de las pruebas que llevaron a cabo con un sistema de cámaras infrarrojas y micrófonos integrados en el visor, que son capaces de capturar un amplio rango de expresiones. FRL denomina a estos visores como HMCs (Head Mounted Capture systems).

Según comentan, están trabajando para mejorar aún más lo visto en el vídeo, añadiendo detalles a la boca del avatar, aumentando la calidad de expresión y asegurando que el contacto visual entre avatares sea realista.

Para crear los modelos de los usuarios, han utilizado estudios de captura volumétrica que cuentan con cámaras y micrófonos alrededor de la persona. Una vez realizada la captura, el objetivo es entrenar sistemas de IA que permitan crear nuestro propio Codec Avatar a partir de unas pocas fotos o vídeos, aunque comparten que es todo un reto debido a la diversidad de las personas, y aún no han hecho más que empezar.

Codec Avatars no es la única propuesta para avatares en la que trabajan, pues el equipo de Sausalito (California) está desarrollando otra solución que se basa en la física. Esta técnica, al igual que Codec Avatars, utiliza también la captura de datos en tiempo real, solo que en lugar de ir a parar a una red neuronal, como ya vimos en la F8 de año pasado, van a un modelo basado en la física inspirado en la anatomía humana, algo de lo que compartirán más información este año.