Google reproduce las caras en realidad mixta

Mediante escaneo facial y seguimiento ocular logran hacer transparente el visor para una experiencia más humana en realidad mixta.

22 FEB 2017  12:35

Harold

5 comentarios

Google reproduce las caras en realidad mixta

Daydream Labs y Google Research han hecho equipo para tratar de hacer más humanas las experiencias de realidad mixta, evitando el aislamiento que conlleva el ponernos un visor en nuestra cara. Gracias a una combinación de técnicas avanzadas el equipo de Google es capaz de "quitar" el visor de nuestra cara, haciéndolo transparente para que los espectadores de la realidad mixta puedan ver en todo momento la cara del protagonista. Incluyendo donde miran sus ojos e incluso sus parpadeos. La realidad mixta es una mezcla en 2D de lo que ocurre en el mundo virtual combinado con el mundo real, es decir, poder ver a la persona real interactuar con lo virtual, y gracias a esta tecnología ahora le podremos ver la cara y no el HMD como venía ocurriendo hasta ahora.

 

 

El primer paso de la técnica es construir un modelo 3D dinámico de la cara del usuario, capturando sus variaciones faciales mientras parpadea y mira en diferentes direcciones. Lo siguiente es utilizar un HTC Vive modificado, con seguimiento ocular de SMI, para capturar la mirada del usuario desde dentro del visor. A partir de ahí, se crea la ilusión utilizando los datos del seguimiento ocular para alinear el modelo 3D de manera acorde a lo que está ocurriendo y superponerlo en la imagen 2D que obtenemos en realidad mixta.

 

Esta técnica es algo que se podría aplicar también en las aplicaciones y juegos para logar una mayor inmersión a la hora de interactuar con otras personas en experiencias sociales. De hecho, Google habla de ello, por lo que es posible que para cuando se extienda la tecnología de seguimiento ocular, entonces ya sea una posibilidad. Podéis encontrar más información sobre cómo replicar la técnica en el blog de Google, y ver en este vídeo cómo realizan la captura facial.

Comentarios (5)

Enlace al foro

  • Google reproduce las caras en los headsets para que parezcan trasparentes. No sé por qué nadie lo había hecho antes, supongo que se tenía que implementar el seguimiento ocular.
    La técnica, mostrada por Google, consiste en crear un modelo 3D de la parte de la cara cubierta por el headset, para después pintarla sobre el mismo y que parezca que el casco es trasparente. Con la ayuda de seguimiento ocular, se consigue hasta mostrar a donde apuntamos la mirada y nuestros parpadeos, para un mayor realismo.

    Aquí tenéis un vídeo demostración de la técnica, para la que Google a traído a sus instalaciones a la gente de The Try Guys. Han usado un HTC Vive con un sistema de tracking ocular de SMI. Muestran la técnica en el minuto 4:43.

    Aunque no lo digan, evidentemente esto podría traer nuestra cara a los avatares de juegos y aplicaciones sociales.
    Fuente en UploadVR
    3 0
  • Pues ya tenemos otro "add-on" para nuestros cascos (visto en Vive, pero por lo que se ve también se podrá adptar para Oculus) que permitirá hacer el tan necesario "foveated rendering" y bajar los requerimientos de tarjeta gráfica (o aumentar la complejidad de los escenarios), esto es lo que permite el SMI, con una pequeña (?) modificación en la carcasa del Vive:https://uploadvr.com/smi-releases-eye-tracking-dev-kit-htc-vive/

    Habrá que ver si esto, junto con el adaptador inhalambrico sale aún a un precio competitivo respecto a los nuevos cascos que se avecinan,con tecnologías "inside-out", untethereds,etc.....o van a pasar a la historia como "viejas" reliquias de la nueva RV...
    2 0
  • Otro vídeo reciente que muestra las posibilidades de esta técnica.


    Es el siguiente paso para los Youtubers que se precien que quieran tener vídeos en su canal de como usan la realidad virtual. Supongo que montarse una habitación con una tela de color para hacer "Chroma Key" no es nada descabellado. En AliXpress las venden por menos de 20 euros lo que es la tela. Un par de caballetes o se monta en un estor y listo para tener tu propio estudio para efectos especiales. Si se quiere forrar tres paredes y el suelo y que quede profersional ya sube un poco el presupuesto, pero tampoco parece que sea muy caro.

    Ahora solo falta que se comercialicen los kits para modificar los HMD y darles seguimiento ocular o que se comercialicen HMD que tengan seguimiento ocular de serie.

    Aunque cuando tengamos la posibilidad de renderizar nuestro propio avatar gracias al tracking de cuerpo entero supongo que lo que se popularizará será retransmitir imagen sintética pura, ya sea con una cámara en primera persona o en tercera persona, dependerá de la aplicación y lo que se quiera mostrar.

    En menos de 3 años creo que esto será una práctica habitual.
    1 0
  • Está bien el vídeo, lo han hecho muy didáctico. wink
    0 0