Google reproduce las caras en realidad mixta

Daydream Labs y Google Research han hecho equipo para tratar de hacer más humanas las experiencias de realidad mixta, evitando el aislamiento que conlleva el ponernos un visor en nuestra cara. Gracias a una combinación de técnicas avanzadas el equipo de Google es capaz de "quitar" el visor de nuestra cara, haciéndolo transparente para que los espectadores de la realidad mixta puedan ver en todo momento la cara del protagonista. Incluyendo donde miran sus ojos e incluso sus parpadeos. La realidad mixta es una mezcla en 2D de lo que ocurre en el mundo virtual combinado con el mundo real, es decir, poder ver a la persona real interactuar con lo virtual, y gracias a esta tecnología ahora le podremos ver la cara y no el HMD como venía ocurriendo hasta ahora.

El primer paso de la técnica es construir un modelo 3D dinámico de la cara del usuario, capturando sus variaciones faciales mientras parpadea y mira en diferentes direcciones. Lo siguiente es utilizar un HTC Vive modificado, con seguimiento ocular de SMI, para capturar la mirada del usuario desde dentro del visor. A partir de ahí, se crea la ilusión utilizando los datos del seguimiento ocular para alinear el modelo 3D de manera acorde a lo que está ocurriendo y superponerlo en la imagen 2D que obtenemos en realidad mixta.

Esta técnica es algo que se podría aplicar también en las aplicaciones y juegos para logar una mayor inmersión a la hora de interactuar con otras personas en experiencias sociales. De hecho, Google habla de ello, por lo que es posible que para cuando se extienda la tecnología de seguimiento ocular, entonces ya sea una posibilidad. Podéis encontrar más información sobre cómo replicar la técnica en el blog de Google, y ver en este vídeo cómo realizan la captura facial.