Supersampling neural, el futuro del renderizado en tiempo real según Facebook

2 JUL 2020  11:00

Redacción

28

Facebook sigue desgranando las investigaciones que presentarán en el Siggraph 2020 de mediados de julio. El nuevo documento de trabajo que han adelantado se titula “Neural Supersampling for Real-time Rendering” y está relacionado con el sistema de renderizado DeepFocus que conseguía un enfoque variable de forma realista en un visor de realidad virtual, presentado por Facebook Reality Labs en la F8 del año pasado.

 

 

Renderizar gráficos 3D para pantallas de alta resolución nunca ha sido fácil, y la tarea se complica cuando hay que hacerlo para las dos pantallas de los visores VR. Lo que han presentado hoy los investigadores de Facebook es una nueva técnica para mejorar el muestreo de contenido 3D renderizado en tiempo real, utilizando el aprendizaje automático y redes neuronales, para transformar instantáneamente imágenes de baja resolución (más fáciles de calcular) en otras de mucha mayor resolución.

 

 

Por muy pixelada que esté una imagen, el cerebro humano es capaz de reconocerla si la ha visto antes, y de eso los más veteranos en el mundo de los videojuegos sabemos mucho y los amantes del pixel art más. Una cuadrícula 4x4 de 16 píxeles es suficiente para representar a un mago, un guerrero o un fontanero bigotudo. Para nuestro cerebro es suficiente, pero lo que buscan los investigadores de Facebook es que los ordenadores no solo reconozcan y la identifiquen sino que la reconstruyan, la vuelvan fotorrealista. Empleando redes neuronales convolucionales de tres capas, han desarrollado una técnica que funciona no solo para imágenes planas, sino también para escenas renderizadas en 3D teniendo en cuenta el color, la profundidad y los vectores de movimiento en tiempo real.

 

 

Esta técnica podría ayudar a un dispositivo VR de potencia limitada (Oculus Quest) a renderizar internamente menos píxeles, utilizando este aprendizaje automático como atajo para lograr resultados de gran calidad gráfica. Los investigadores dicen que su sistema supera, por ejemplo, la última técnica de escalado de antialiasing temporal de Unreal Engine, ofreciendo mucha más precisión de los detalles reconstruidos. Señalan que el supermuestreo de aprendizaje profundo de Nvidia (DLSS) es el más cercano a su solución, pero que el DLSS se basa en software y/o hardware propietario que podría no estar disponible en todas las plataformas. Facebook sugiere que su solución no requerirá hardware o software especial y que podría ser integrada fácilmente en los actuales motores 3D.