Supersampling neural, el futuro del renderizado en tiempo real según Facebook
2 JUL 2020 11:00
Facebook sigue desgranando las investigaciones que presentarán en el Siggraph 2020 de mediados de julio. El nuevo documento de trabajo que han adelantado se titula “Neural Supersampling for Real-time Rendering” y está relacionado con el sistema de renderizado DeepFocus que conseguía un enfoque variable de forma realista en un visor de realidad virtual, presentado por Facebook Reality Labs en la F8 del año pasado.
Renderizar gráficos 3D para pantallas de alta resolución nunca ha sido fácil, y la tarea se complica cuando hay que hacerlo para las dos pantallas de los visores VR. Lo que han presentado hoy los investigadores de Facebook es una nueva técnica para mejorar el muestreo de contenido 3D renderizado en tiempo real, utilizando el aprendizaje automático y redes neuronales, para transformar instantáneamente imágenes de baja resolución (más fáciles de calcular) en otras de mucha mayor resolución.
Por muy pixelada que esté una imagen, el cerebro humano es capaz de reconocerla si la ha visto antes, y de eso los más veteranos en el mundo de los videojuegos sabemos mucho y los amantes del pixel art más. Una cuadrícula 4x4 de 16 píxeles es suficiente para representar a un mago, un guerrero o un fontanero bigotudo. Para nuestro cerebro es suficiente, pero lo que buscan los investigadores de Facebook es que los ordenadores no solo reconozcan y la identifiquen sino que la reconstruyan, la vuelvan fotorrealista. Empleando redes neuronales convolucionales de tres capas, han desarrollado una técnica que funciona no solo para imágenes planas, sino también para escenas renderizadas en 3D teniendo en cuenta el color, la profundidad y los vectores de movimiento en tiempo real.
Esta técnica podría ayudar a un dispositivo VR de potencia limitada (Oculus Quest) a renderizar internamente menos píxeles, utilizando este aprendizaje automático como atajo para lograr resultados de gran calidad gráfica. Los investigadores dicen que su sistema supera, por ejemplo, la última técnica de escalado de antialiasing temporal de Unreal Engine, ofreciendo mucha más precisión de los detalles reconstruidos. Señalan que el supermuestreo de aprendizaje profundo de Nvidia (DLSS) es el más cercano a su solución, pero que el DLSS se basa en software y/o hardware propietario que podría no estar disponible en todas las plataformas. Facebook sugiere que su solución no requerirá hardware o software especial y que podría ser integrada fácilmente en los actuales motores 3D.
aridani_ga
#21 » Respuesta a Fragglerock #9 2 JUL 2020 22:11
Ya es una tecnología usada, ahora claro que falta pulirla y que se le puede enseñar por diferentes medios, pero por tema de hardware se sabe que los nuevos snapdragón dedicados a la VR han dedicado buena parte a la IA, por lo que tal vez salga algo para quest por software, pero en siguientes standalone podamos ver grandes mejoras, sería una forma de tener precios contenidos así como versiones sin cables viables gráficamente, donde si hay perdida sera minima o la IA pueda aumentar la definición.
Hypernova
#22 » Respuesta a Fragglerock #20 7 JUL 2020 14:50
No encuentro la imagen pero hay un PDF sobre todo lo que hubo para la NES y en la lista hay un HMD, el predecesor de su Virtual Boy. No imagino lo malo que era entonces. Seguramente como los relojes digitales, como las consolas de 999 clones de Tetris.
Sony con PS2:
www.neogaf.com/threads/before-psvr-sony%C2%92s-ps2-vr-headset-the-pud-j5a.1298265/
cercata
Visores
#23 » Respuesta a Fragglerock #20 7 JUL 2020 15:22
Sony tenia los visores HMZ1 y sus sucesores. Nintengo la Virtual boy, y Microsoft antes del DK1 ni idea.
Fragglerock
Visores
#24 » Respuesta a Hypernova #22 7 JUL 2020 16:38
Virtual Boy ya lo conocía, por eso no pregunté por Nintendo, sólo por los otros tres (Sony, Microsoft y Apple). No tenía ni idea de que Sony había sacado a la venta un visor de VR en 2011, la verdad. Muchas gracias por la info.
A ver si alguien nos enlaza algo de lo que sacaron a la venta Microsoft y Apple antes del DK1.
Fguillotine
Visores
#25 » Respuesta a cercata #23 7 JUL 2020 17:12
Los visores Hmz (T1-T3) de Sony poco tenían de VR. Eran visores para ver películas con 50º de fov y sin tracking, que intentaban emular una pantalla de cine. Lo de Virtual Boy un poco lo mismo..., llamarle VR es como decir que una TV3D también es un visor de VR. Un estereoscopio de hace cien años tampoco es un dispositivo de VR
Saludos
Harold
Visores
#26 » Respuesta a Fragglerock #24 7 JUL 2020 17:16
No es lo de Microsoft ni Apple, pero en su momento en el análisis de PlayStation VR incluímos info de ese visor de PS2 y de los HMZ de Sony: www.realovirtual.com/articulos/4874/analisis-playstation-vr/4/evolucion
Y ya que estamos, por si alguien no lo vio en su momento, tenemos la "breve historia de la RV" donde también aparecen algunos de los visores citados:
www.realovirtual.com/articulos/5184/breve-historia-pop-realidad-virtual-parte-1-2
www.realovirtual.com/articulos/5247/breve-historia-pop-realidad-virtual-parte-2-2
Fragglerock
Visores
#27 » Respuesta a Harold #26 7 JUL 2020 17:36
Muchas gracias, Harold.
Le echaré un ojo cuando pueda, no recuerdo haberlo leído en su día.
Saludos.
cercata
Visores
#28 » Respuesta a Fguillotine #25 7 JUL 2020 17:37
No hemos dicho que fuesen VR, decimos que era una base sobre la partio Palmer para hacer visores VR ... gracias a ellos habia pantallas, lentes, etc ..