Facebook presentará en SIGGRAPH una demo experimental de passthrough inverso

3 AGO 2021  9:00

Redacción

8

Facebook Reality Labs (FRL) ha anunciado que este año presentarán en SIGGRAPH una demo experimental basada en passthrough inverso, un nuevo concepto que permite que los ojos de alguien que lleva un visor sean vistos en el mundo real, permitiendo así realizar contacto visual. Se le llama inverso porque precisamente es justo lo contrario al passthrough habitual donde el usuario ve el mundo real gracias a las cámaras del visor, y es que aquí la idea reside en que el visor cuenta con pantallas en su frontal que muestran los ojos del usuario (se renderizan utilizando la información de seguimiento de cámaras infrarrojas para eye tracking).

 

"Mi primera reacción fue que se trataba de una idea un poco tonta, una novedad en el mejor de los casos. Pero yo no les digo a los investigadores lo que tienen que hacer, porque no se consigue la innovación sin libertad para probar cosas nuevas, y eso es bueno, porque ahora es claramente una idea única y realmente prometedora", comenta Michael Abrash, a cargo del equipo de investigación de FRL.

 

Un primer prototipo basado en Rift S con una pantalla 3D en el frontal.

 

Esta investigación liderada por Nathan Matsuda arrancó en 2019 con un prototipo basado en Rift S que mostraba los ojos del usuario en 3D mediante una representación digital como si de un avatar se tratara. La idea surgió cuando los compañeros de Matsuda le comentaron que resultaba extraño hablar con él cuando utilizaba el visor con passthrough, ya que no podían hacer contacto visual.

 

A la izquierda tenemos el prototipo sin imágenes de los ojos, en medio con imágenes 2D y a la derecha con imágenes 3D.

 

El prototipo de investigación actual partió del Half Dome 2 hasta convertirse en un visor con sus propios componentes que es capaz de ofrecer unos resultados convincentes gracias al empleo en el frontal de una pantalla de campos de luz basada en tecnología LCD. La luz de los distintos píxeles es enviada por un array de microlentes en distintas direcciones, logrando que cada persona pueda ver la perspectiva correcta de los ojos para su ubicación. Esta tecnología tiene dos limitaciones: el ángulo visto desde el exterior no puede ser muy grande, y solo se ven nítidos los objetos que se encuentran a pocos centímetros de la superficie de la pantalla física.

 

Ejemplo del prototipo que utiliza renderizado de los ojos basado en Codec Avatars.

 

FRL deja claro que esta investigación es claramente aún experimental y que no se encuentra en ninguna hoja de ruta de producto, aunque sí que ofrece una visión de cómo podría utilizarse el passthrough inverso. Este año compartirán una actualización más integral sobre su investigación en sistemas de pantallas y mostrarán cómo todo este tipo de trabajo (varifocal, ópticas holográficas, seguimiento ocular, corrección de distorsión, passthrough inverso) se está uniendo para ayudar a superar lo que denominan como el test de Turing visual en la VR.

Aplicaciones Hardware Oculus Rift Realidad Virtual PC