Nreal actualiza su API de seguimiento de manos con importantes mejoras

El equipo de Nreal ha desarrollado una serie de mejoras para la tecnología de seguimiento de manos que integran sus gafas AR Nreal Light. Su API se ha actualizado y ahora los gestos y en la manipulación de objetos virtuales será más precisa, incluso cuando haya movimientos rápidos de mano auto-oclusivos.

Estos avances se han conseguido mediante tecnologías de IA basadas en el aprendizaje profundo y entrenamiento de redes neuronales, consiguiendo que al procesar las imágenes se detecten con mayor exactitud sitios claves como las articulaciones o las puntas de los dedos. El modelo de red resultante detecta primero las manos vistas por las cámaras de las gafas Nreal Light y luego calcula la posición de los puntos clave de las manos en el espacio 3D.

A partir de estos cálculos, el algoritmo es capaz de calcular la posición y orientación de las manos (la información de las poses) en el mundo virtual y de reconocer gestos específicos de las manos: señalar, pellizcar, agarrar, abrir las manos, símbolo de la victoria o la paz, y todo esto en tiempo real.

Con esta actualización de las nuevas posibilidades del seguimiento de manos de Nreal, de la que hay disponible un proyecto como muestra para descargar desde Github, se perfecciona además la estabilidad, la precisión y se reduce la latencia, mejorando funcionalidades basadas en la interacción con objetos virtuales. También permite utilizar aplicaciones creadas para las gafas Hololens de Microsoft.