Google utiliza las fotos que subimos a internet y las redes neuronales para recrear monumentos 3D para AR/VR

Cada día miles de fotografías son compartidas o publicadas en internet y las redes sociales, millones de turistas han fotografiado los mismos lugares y monumentos, imágenes a las que tiene acceso Google y que gracias a una nueva técnica basada en redes neuronales, NeRF in the Wild, puede convertir en modelos tridimensionales para ser utilizados en aplicaciones XR.

La idea de los campos de resplandor neuronal (NeRF) se basa en extraer datos de profundidad 3D de imágenes 2D, analizando dónde inciden los rayos de luz sobre la superficies. El sistema de NeRF in the Wild (NeRF-W) da un paso más. En primer lugar, no utiliza una única imagen, sino que se aprovecha de las miles de imágenes de un mismo lugar u objeto que se han subido a internet desde múltiples puntos de vista. En segundo lugar, evalúa esas fotografías para encontrar estructuras, dejando a un lado variaciones ambientales de exposición, iluminación de la escena, post-procesado o condiciones meteorológicas, así como las diferencias entre los objetos fotografiados, como personas que pueden estar en una imagen pero en otra no. Por último, recrea la escena mezclando geometría y texturas con los datos que le proporciona el resplandor volumétrico.

La diferencia que se ve en el vídeo entre los resultados estándar de usar NeRF a utilizar NeRF-W, indica que el nuevo sistema neuronal puede recrear de forma tan convincente los puntos de referencia en 3D que los usuarios de dispositivos de realidad virtual y de realidad aumentada podremos experimentar complejos paisajes arquitectónicos tal y como se ve realmente. Esta nueva técnica podría automatizar simultáneamente el proceso de modelado 3D y mejorar sus resultados, facilitando enormemente el trabajo de los desarrolladores de aplicaciones o juegos AR/VR.