Facebook Reality Labs muestra un vídeo sobre su técnica para mejorar el tracking de manos

En la pasada conferencia para desarrolladores de Facebook, Oculus mostró como la inteligencia artificial es capaz de ayudar a mejorar distintos aspectos relacionados con la realidad virtual y aumentada, siendo uno de ellos el seguimiento de las manos. En esta ocasión, Facebook Reality Labs (antes Oculus Research) ha publicado un trabajo titulado "Online Optical Marker-based Hand Tracking with Deep Labels", que trata justo de esa solución para mejorar el seguimiento y las oclusiones del tracking de manos que mostraron en la pasada F8. En el siguiente vídeo podemos ver el proceso de calibración y el comportamiento del método ante determinadas circunstancias de oclusión e interacción.

Según explican, "la captura de movimiento basada en marcadores ópticos es la forma dominante para obtener una animación del cuerpo humano de alta fidelidad para efectos especiales, películas y juegos. Sin embargo, la captura de movimiento ha tenido una aplicación limitada para la mano humana debido a la dificultad de identificar (o etiquetar) automáticamente marcadores idénticos en dedos similares". Por tanto, han desarrollado una técnica que "enmarca el problema de etiquetado como un problema de regresión de puntos clave que conduce a una solución que utiliza redes neuronales convolucionales, que demuestra su solidez para la oclusión, los marcadores fantasma, la forma de la mano e incluso los movimientos que involucran dos manos o el agarre de objetos. La técnica es igualmente aplicable a conjuntos de marcadores dispersos o densos y puede ejecutarse en tiempo real para facilitar el prototipado de interacciones con seguimiento y presencia de manos de alta fidelidad en RV".

Esto quiere decir que la solución es más precisa que los métodos actuales para el seguimiento de una mano, de las dos o de una interactuando con objetos, y que, a pesar de no estar orientado al consumidor, permite estudiar la usabilidad de prototipos de interacción de RV/RA para futuros productos. Además, los datos naturales de interacción mano-mano y mano-objeto se pueden representar como imágenes en profundidad o RGB para entrenar modelos de aprendizaje profundo que resuelvan el seguimiento de manos sin marcadores.

La publicación será presentada este verano en el SIGGRAPH 2018.