Davies (ARM): "El seguimiento ocular y el renderizado foveated van a ser algo muy grande"

La empresa de diseño de procesadores ARM nos habla sobre las optimizaciones que implementan relativas a la realidad virtual y aumentada y nos ofrecen su visión de la industria.

7 MAR 2017  9:39

Harold

8 comentarios

Davies (ARM): "El seguimiento ocular y el renderizado foveated van a ser algo muy grande"

Entrevista

En nuestro paso por el stand de ARM, empresa dedicada al diseño de procesadores, pudimos probar por primera vez un dispositivo Gear VR que integraba la tecnología de seguimiento ocular de SMI y una demo compatible con renderizado foveated. Resulta bastante curioso probar esto por primera vez, ya que cuando fijábamos la atención en un punto determinado de la escena nos daba tiempo a verlo en mala calidad y de pronto cambiaba a alta calidad. Una vez ocurría esto, no notabas nada raro alrededor de tu visión periférica, lo cual es increíble puesto que en cuanto miras a otro sitio, te das cuenta de la falta de calidad que hay en el resto de la escena. Esta latencia en dibujar a alta calidad entendemos que era para ilustrar el funcionamiento, ya que debe ser inapreciable para que haga su magia.

 

 

Al lado de este dispositivo mostraban también un prototipo de plataforma de referencia de Samsung, llamado Exynos VR, pero que no se podía probar. Tras examinar estos dispositivos, tuvimos el placer de conocer a Jem Davies, vicepresidente de Media Processing Group en ARM. Esta es nuestra entrevista con Davies.

 

¿Cuándo y por qué empezó ARM a optimizar sus procesadores para la realidad virtual y aumentada?

Nos adentramos en el negocio de los procesadores gráficos en 2006 con la compra de la empresa noruega Falanx. El negocio de los gráficos siempre ha sido la base de la RV y RA, porque principalmente lo que la gente quiere ver en un visor es contenido que ha sido renderizado por una GPU. Por tanto, hemos estado desde siempre en este negocio. Por supuesto, en los últimos tres años la expectación generada alrededor de la RV y RA ha aumentado, y estamos ahora añadiendo más y más características específicas para darles soporte.

 

La RV y RA están impulsando el mercado de los procesadores gráficos, dado que requieren de mucha potencia. Una persona de Oculus nos dijo una vez: "Tu GPU es muy buena, quiero una 10 veces más potente para mañana".

 

¿Qué iniciativas o estrategias tiene ARM actualmente de cara a que avance la realidad virtual y aumentada?

El tener toda la electrónica de los visores muy cerca de la cabeza hace que el consumo de energía sea totalmente crítico, por lo que trabajamos muy duro para reducir el consumo de la GPU. Los fabricantes de visores y desarrolladores de contenidos solo quieren más y más rendimiento, pero para nosotros consiste en bajar el consumo y aumentar la eficiencia. Y luego investigamos en características adicionales como la habilidad de renderizar la imagen de cada ojo a la vez, lo que puede ahorrar mucha potencia y ser más eficiente.

 

¿Qué optimizaciones ofrecen los procesadores Cortex-A73 para RV y RA?

El A-73 es una CPU que mejora en rendimiento y eficiencia de consumo respecto a los anteriores. La GPU que integra, la Mali 71, que utiliza Samsung en su último procesador, incluye las optimizaciones que antes te mencionaba como el renderizado simultáneo de la imagen de cada ojo y renderizado foveated, entre otros.

 

¿Podrías comparar su potencia con la de hardware de PC?

Es un mercado muy diferente, en PC el consumo es mayor, tienen grandes ventiladores, etc.

 

¿Estáis desarrollando o tenéis optimizaciones para visión artificial de cara a lograr posicionamiento inside-out?

Nuestro socios ejecutan los algoritmos para visión artificial, SLAM o posicionamiento absoluto en CPU y también utilizando la GPU. Constantemente buscamos optimizar esos algoritmos, ya que el procesado de redes neuronales está cambiando mucho. Solían utilizar una precisión de 32 bits en punto flotante, después se redujeron a 16 y ahora buscan llevarlo a 8. Nuestra GPU, la Mali, tiene unas amplias capacidades aritméticas desde 8, 16, 32 y 64 bits. Damos flexibilidad para que elijan cómo ejecutar esos algoritmos de la forma más eficiente.

 

También tenemos una división llamada "Imaging and computer vision", fruto de la compra de la empresa Apical en mayo del año pasado, por lo que ahora ofrecemos procesos específicos para visión artificial que ya están integrados. Creo que esto será muy común en toda clase de dispositivos, no solo en móviles, ya que con colocar una cámara y un procesador de visión artificial detrás podremos crear cosas realmente inteligentes. Pongamos como ejemplo un interruptor de la luz, ya que actualmente suele haber sensores para detectar el movimiento, pero poner una cámara permitiría que se comportara como nosotros, detectando que hay personas y que debe encender la luz.

 
¿Crees que con estos procesadores, y gracias al seguimiento ocular y técnicas como renderizado foveated, podremos ver gráficos de calidad cercana o iguales a los de los requisitos mínimos de Rift o Vive?

Aplicar renderizado foveated nos permite ahorrar mucha potencia que se puede aprovechar para lograr una mayor calidad. El seguimiento ocular y el renderizado foveated van a ser algo muy grande. Por tanto no veo por qué no podría ser incluso mejor la calidad.

 

¿Qué libertad tienen los fabricantes a la hora de utilizar vuestras CPUs y GPUs, así como arquitecturas?

Total libertad. Algunos utilizan nuestra CPU, pero no la GPU o viceversa.

 

¿Tenéis previsto lanzar una plataforma de referencia móvil de realidad virtual para que otros fabricantes la produzcan, tal y como está ocurriendo con Intel y Project Alloy, o Qualcomm y Snapdragon VR820/835?

Seguramente no, y la razón es porque no hacemos chips. Qualcomm hace chips, Samsung hace chips, Intel hace chips, pero nosotros tenemos nuestra IP que licencian estas empresas que hacen chips.

 

¿Cómo valoras el mercado móvil actual con iniciativas como Daydream y Gear VR?

Trabajamos mucho con nuestros socios como Google para optimizar nuestros procesadores gráficos para funcionar eficientemente con Daydream y otros sistemas. También hemos trabajado con Oculus.

 

¿Los HMDs del futuro serán autónomos o cuál es tu visión?

Es difícil. Puede ser porque soy demasiado viejo, pero actualmente los visores para mi son muy toscos con plásticos y cintas. Cuando se reduzcan, entonces quizás sí sea mi momento. Una tecnología despega cuando una gran parte de la población tiene acceso a ella. Pasarán cosas increíbles, porque la gente la utilizará para hacer cosas que nunca imaginaste. Cuando se lanzaron los smartphones, ¿alguien pensó en medir el rendimiento en fitness?

 

¿Qué podemos esperar de ARM a medio y largo plazo?

Más de lo mismo, venderemos procesadores, los mejoraremos y trabajaremos duro en visión artificial y aprendizaje automático.

 

¿Cómo valoras el primer año comercial de la RV y qué esperas de 2017?

Cuando una tecnología nueva llega, todo el mundo dice: llegaremos hasta aquí. Y nunca ocurre, pero si esperas un poco más, siempre tiene éxito donde pensabas. Todo el mundo sobrestima lo que puedes hacer en tres años y todo el mundo subestima lo que puedes hacer en 10, y creo que esto es verdad. Tenemos una expectativas tan altas que, cuando llegamos a este punto, se piensa: oh no, la RV está muerta. Y no es así, realmente esta empezando. Todo el mundo necesita calmarse, ya que llevará algo más de tiempo.

 

Creo que este año empezaremos a ver cómo la visión artificial se hace importante en dispositivos móviles y empieza a despegar.

 

Agradecemos a Jem Davies, vicepresidente de Media Processing Group en ARM, por su tiempo y amabilidad.

Comentarios (8)

Enlace al foro
  • Muy buena entrevista compañeros, es evidente que el Foveated es un santo grial tal cual el ASW,
    3 1
  • Buena entrevista. Desde luego, el renderizado foveated y todo lo demás que nos trae el seguimiento ocular es lo siguiente para la RV.
    1 0
  • En esto creo que todos estamos decuerdo que es el futuro. El foveated e intentar renderizar para los dos ojos a la vez sería un gran avance en calidad y posibilidades, al fin y al cabo en una imagen 3D salvo que sea un muy primer plano lo normal es que la mayoría de la imagen es igual para los dos ojos pero un poco desplazada, aprovechando esto se pueden ahorrar muchos cálculos, unido al foveated se podría llegar al rendimiento de un monitor normal o tal vez incluso menor.
    0 0
  • Las dos zonas a renderizar con calidad podrían ser iguales tanto para 4k como para doble 4K, y sólo se incrementaría la zona donde no miramos directamente, que se renderizaría a un 20% de la calidad. Encima, al estar difuminado, la compresión de los sistemas inalámbricos dejarían esta parte secundaria reducida a casi nada.
    Ahora es más de las ópticas el tema de conseguir mucho más FOV. La tercera generación la veo con doble pantalla 4K y 220º de FOV.
    4 0

  • Imagina una pantalla como esta, pero mucho más alargada en horizontal, para más FOV. Los circulos serían del mismo tamaño y únicamente se renderizaría al 100% de calidad en los círculos blancos, a 60% o menos hasta los límites azules y más allá, aunque fuera el doble de ancha la imagen, a un 20%. La reducción de calidad difumina, que es lo que los sistemas de compresión de imagen aprovechan mejor. ¿Cuánto ocupan las imágenes dentro de los círculos blancos? Una miseria del total.
    Si no lo hacen es por problemas de óptica, o por querernos dar la tecnología a cuentagotas.
    La segunda generación de HMD ya se irá mínimo a 2880 x 1440, tirando hacia 4K, seguro que les vale la pena poner seguimiento ocular, y en ello están. Esta tecnología también llega para quedarse.
    1 0
  • Interesante entrevista. Desde luego, estoy convencido de que realmente será el foveated rendering el que haga llegar la RV a las masas al bajar los requisitos de PC o permitir que procesadores móviles puedan hacer un trabajo tan bestia en pantallas 4K.

    Como detalle, apuntar que no hubiera estado de más contextualizar al comienzo del artículo, porque no todo el mundo tiene por qué saber que habéis estado en el MWC y sólo decís que habéis pasado por un stand...
    1 0
  • En general sería un grial, pero imagina la potencia de un móvil doblada de golpe y porrazo. Es que no hay excusa para no hacerlo.
    0 0