Tema: Estamos confundiendo el eye tracking con el foveated rendering

Mensajes

  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  11:56

    Tenemos un cacao grande con este tema en el foro.

     

    El eye tracking es un hardware que sigue el movimiento de nuestros ojos, simplemente eso. Este hardware puede ser utilizado para muchas cosas: Usar la vista como puntero, acercar objetos, focalizar objetos (para que el software sepa a dónde miramos y facilitar las cosas), ajustar el IPD, hacer foveated rendering, etc...

     

    El foveated rendering es una técnica (un software) que aprovecha el eye tracking para ofrecer resoluciones distintas en función de a dónde estemos mirando.

     

    Es decir, para que exista foveated rendering es necesario un hardware (eye tracking) que nos diga hacia dónde dirigimos nuestra mirada. Pero que exista eye tracking no quiere decir ni mucho menos que exista también foveated rendering.

     

    Digo todo esto porque hace un mes, Michael Abrash dijo que tendríamos foveated rendering funcional dentro de 4 años (para que este software funcione correctamente necesita de muchas cosas: eye tracking, programación y optimización de los desarrolladores, compatibilidad con motores gráficos, software para gestionar las distintas imágenes que se envían al visor, cada una con una resolución distinta, etc...), pero el eye tracking sí que es funcional en realidad virtual desde hace más de un año. De hecho, al margen de la VR el eye tracking existe desde hace mucho.

     

    No debemos confundir una cosa con la otra, a pesar de que estén relacionadas.

     

    Saludos.

    10
  • cercata

    5 Dic 2016 09:41

    Mensajes: 24185

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 10 OCT 2018  12:58

    El problema es que cuando Abrash dice foveated rendering, se refiere al conjunto del Foveated rendering + seguimiento Ocular.

     

    El API de Oculus ya tiene Foveated rendering hace tiempo, y NVIDIA tambien lo soporta, en plan para sacar los bordes a menos resolución.
    https://developer.oculus.com/documentation/unreal/latest/concepts/unreal-ffr/

     

    El problema es que si haces foveated rendering, basandote en seguimiento ocular, el seguimiento ocular tiene que tener una fiabilidad del 100%, pq sino cuando fallase, verias borroso durante un rato. Para otras cosas igual se puede usar seguimiento ocular con fiabiliades menores. Esto lo dijo Abrash en el OC3 u OC4.

    2
  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  13:08

    El API de Oculus ya tiene Foveated rendering hace tiempo, y NVIDIA tambien lo soporta, en plan para sacar los bordes a menos resolución.

     

    Lo que tiene Oculus en su SDK es el FFR (fixed foveated rendering) que no es más que dejar el sweet spot a alta resolución y el resto a menor resolución. No deberían llamarle así porque no es FOVEATED, es decir, no sigue la fóvea del usuario. Le pusieron ese nombre porque queda bonito, pero sería más descriptivo si le hubiesen llamado Variable rendering, dual rendering, o algo por el estilo. No tiene absolutamente nada que ver con el seguimiento ocular, sólo con el movimiento de la cabeza (ya que también desenfocan el ángulo de la imagen hacia el que no estás mirando).

     

    El verdadero foveated rendering, el que da nombre al término, es el que se basa en el hardware específico (o sea, eye tracking) para ofrecer una resolución mayor allí donde dirigimos nuestra FÓVEA, que es la parte más nítida de nuestro enfoque.

     

    Entre ambas técnicas hay todo UN MUNDO y probablemente unos cuantos años de desarrollo.

     

    Saludos.

    2
  • cercata

    5 Dic 2016 09:41

    Mensajes: 24185

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 10 OCT 2018  13:28
    No deberían de llamarle así porque no es FOVEATED, es decir, no sigue la fóvea del usuario.
    Pues a mi me parece que esta bien llamado, pq es renderizado respecto al angulo donde miramos por defecto con los ojos en reposo.

     

    Entonces FFR seria sin seguimiento ocular, y VFR (Variable Foveated Rendering) con seguimiento Ocular.

     

    Pero vamos, la tecnologia de renderizado a resolucion variable esta bastante mas avanzado que el seguimiento ocular, ya hay varias implementaciones comerciales de ello. Lo que falta ahora es saber como elegir el punto central de forma variable.

    1
  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  13:32

    Foveated viene de Fóvea, no de FOV...

    0
  • cercata

    5 Dic 2016 09:41

    Mensajes: 24185

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 10 OCT 2018  13:37
    Foveated viene de Fóvea, no de FOV...
    Da igual, tiene una posición de reposo ... así que el termino FFR me parece perfecto.

     

    Y lo importante, que Abrash dijo que la dificultad del "Foveated rendering" es la fiabilidad al 100% del seguimiento oculular, 100% del tiempo, 100% de usuarios ... que de nada sirve tenerlo si falla a veces, aunque sean pocas.

    1
  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  13:50
    Foveated viene de Fóvea, no de FOV...

    Da igual, tiene una posición de reposo ... así que el termino FFR me parece perfecto.
    Lo que tú digas, Cercata.
    2
  • cercata

    5 Dic 2016 09:41

    Mensajes: 24185

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 10 OCT 2018  14:10
    Lo que tú digas, Cercata.
    Que no lo digo yo, lo dijo Abrash !!!
    0
  • albertopina1

    17 Nov 2013 19:40

    Mensajes: 4790

    Visores

    Meta Quest 3
    albertopina1 » 10 OCT 2018  14:48

    En el Fixed rendering hay una zona de mayor resolución, esa zona está posicionada con unas coordenadas x e y fijas, con el seguimiento ocular podemos marcar unas coordenadas en el punto exacto en el que estamos mirando, solo hay que cambiar las coordenadas fijas por las variables, y listo.

     

    Por eso cuando hablamos de seguimiento ocular atribuimos enseguida el foveated rendering, por qué teniendo el hardware que es lo más difícil, es el software ya sale solo. Es fácil.

     

    El problema es la fiabilidad, hay que dar con la tecla para que no falle en ningún momento. Eso es cuestión de tiempo. No 4 años, no estoy de acuerdo con eso con Abrash para nada.

     

    El otro problema aunque puede ser el mismo es que hay mucha gente con desviación en la pupila, casi siempre imperceptible, y falla en esas personas.

    Su pérgola en Murcia y Alicante al mejor precio en www.pergomur.com

    0
  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  14:56
    solo hay que cambiar las coordenadas fijas por las variables, y listo.

    teniendo el hardware que es lo más difícil, el software ya sale solo. Es fácil.

     

    Por curiosidad, ¿esta teoría de dónde la has sacado?.

    0
  • albertopina1

    17 Nov 2013 19:40

    Mensajes: 4790

    Visores

    Meta Quest 3
    albertopina1 » 10 OCT 2018  15:06

    Experiencia propia, he probado muchas cosas, entre ellas el cambiar la resolución por zonas en Unity cada número x de frames. Y funcionaba realmente bien. Teniendo en cuenta que los frames se dibujan a 20ms, y el seguimiento ocular funciona +o- a 2ms, te da 10 posiciones distintas por frame, así que solo hay que sacar una media de x y otra media de y, y colocar ahí la zona a enfocar.

    Su pérgola en Murcia y Alicante al mejor precio en www.pergomur.com

    0
  • Fragglerock

    15 Oct 2017 23:31

    Mensajes: 1896

    Visores

    Oculus Rift
    Oculus Quest
    Oculus Rift S
    Oculus Link
    HP Reverb G2
    Oculus Quest 2
    Air Link
    Pico 4
    Meta Quest 3
    Fragglerock » 10 OCT 2018  15:21

    El año pasado estuve viendo varios vídeos de programadores, desarrolladores y en general expertos en la materia, hablando sobre el reto tan grande que suponía llevar a buen puerto el foveated rendering en VR. Hablaron de 4 ó 5 problemas que yo alcanzaba a entender y de otros 4 ó 5 de los que no había oído hablar en mi vida porque eran muy específicos. Además eran vídeos en inglés.

     

    Ya me parecía que esto que decías era sólo una opinión tuya:

     

    solo hay que cambiar las coordenadas fijas por las variables, y listo.

    teniendo el hardware que es lo más difícil, el software ya sale solo. Es fácil.
    0
  • albertopina1

    17 Nov 2013 19:40

    Mensajes: 4790

    Visores

    Meta Quest 3
    albertopina1 » 10 OCT 2018  15:35

    Se puede hacer funcionar fácilmente, hacerlo con un funcionamiento perfecto es tremendamente difícil, pero de hay a cuatro años me parece un disparate. La cámaras reconocen la posición de la pupila 1000 veces por segundo, controlar eso es terriblemente difícil, los pestañeos, los movimientos involuntarios..

    Su pérgola en Murcia y Alicante al mejor precio en www.pergomur.com

    0
  • cercata

    5 Dic 2016 09:41

    Mensajes: 24185

    Ubicación: Bilbao

    Visores

    PlayStation VR
    Oculus Go
    Oculus Quest
    HP Reverb
    Oculus Link
    Oculus Quest 2
    Meta Quest 3
    cercata » 10 OCT 2018  15:39

    Abrash no se refiere a cuando las cosas van a ser técnicamente posibles, se refiere a cuando van a tener un precio para que ellos puedan integrarlo en un HMD sin que el precio del HMD pase de X precio ...

    1