Hand Tracking es ahora OpenXR, Voice y Spatial Anchors ya disponibles para desarrolladores en Quest
9 DIC 2021 10:07
Los desarrolladores de aplicaciones y juegos para Quest ya tienen a su disposición los SDK Voice y Spatial Anchors, dos de las herramientas de la Presence Platform. El primero sirve para reconocer la voz del usuario, mientras que la segunda característica, anclajes espaciales, son marcos de referencia para aplicaciones de realidad mixta que permiten colocar contenido virtual en un espacio físico de manera persistente. También se ha dado a conocer que el seguimiento de manos soporta ahora la API OpenXR.
Con el SDK Voice se podrá crear experiencias que respondan a la voz del usuario: explorar un menú, hablar con un personaje de un juego o lanzar hechizos pronunciando sus conjuros en voz alta como sucederá en Waltz of The Wizard. Este sistema de reconocimiento de voz estará impulsado por la plataforma de lenguaje natural Wit.ai, adquirida por Facebook/Meta hace cinco años. El único idioma que se reconocerá es el inglés.
EL SDK Spatial Anchors llega de forma experimental y forma parte, como el Passthrough, del conjunto de herramientas Insight pensadas para creaciones de realidad mixta. Con ella se puede anclar un elemento virtual al mundo real de manera persistente.
Por ejemplo, si colocamos un cubo 3D en el centro de una habitación real, podremos caminar alrededor de él para verlo desde cualquier perspectiva. Y si salimos de la aplicación para usar otro programa, y volvemos a entrar más tarde, ese objeto seguirá ahí. Spatial Anchors está disponible para los desarrolladores de OpenXR y Unity en el SDK v35.
Otra novedad importante para la plataforma Quest es que el seguimiento de manos ya tiene soporte para OpenXR. Hasta ahora solo se podía utilizar con la API de Oculus, en lugar de con el estándar apoyado por Valve, Microsoft o Epic. Facebook/Meta anunció este verano que todas las nuevas características que llegarán a sus visores formarían parte de extensiones OpenXR. Esto provocaba que, por ejemplo, no se pudiera usar el Passthrough, una característica desarrollada solo para OpenXR, a la vez que el Hand Tracking, algo que a partir de ahora sí será posible.
Hypernova
#1 9 DIC 2021 10:50
Esto explica por qué no se usaba apenas el hand tracking, era exclusivo cuando hasta Oculus decía que se pasaran a Open XR, como dijeron a ggodin de Virtual Desktop. Le daba pereza cambiar de API para implementar una cosa y le dijeron que todo lo nuevo sería openxr, que no le diera más vueltas.
cestomano
Visores
#2 9 DIC 2021 11:37
...eso significa q si alguien desarrolla una aplicación en OpenXR, sea cual sea el HMD (siempre que sus drivers lo soporten), pueda incluir hand tracking y que se pueda utilizar en Rift S, WMR, etc.?
mes_nit
Visores
#3 9 DIC 2021 11:41
Esperando con ganas las apps que lo usen. Muchas ganas de ver en acción el siguiente visor de oculus con el passthrough en color y cámaras de mayor resolución para mejorar el handtracking.
Por ejemplo que te pongas el visor y tengas encima de la mesa el tablero de ajedrez (AR), que anteriormente habías dejado allí y esto de Spatial Anchors se acuerde del lugar.
ViRTuaLiZaTeVR
Visores
#4 9 DIC 2021 11:45
Que significa que el Hand Tracking pase a ser open XR?, estuve leyendo anoche la noticia pero tampoco me quedo muy claro
Que ventajas tendremos los usuarios?
Leí que es posible que empezaran a lanzar update de aplicaciones que no lo tenían para integrárselo
Quiere decir que podremos jugar a aplicaciones sin necesidad de los mandos? la duda que me viene es como se conseguirá la locomocion, detectara un cruceta virtual?
Vrecino
Visores
#5 9 DIC 2021 11:57
Supongo que están migrando todas las característcas desarrolladas para la API de Oculus a OpenXR. El seguimiento de manos es una de las más importantes en Quest, más que nada por su "exclusividad", así que esta noticia deja claro que el apoyo de Meta a ese estándar abierto es firme (que ya lo estaba, pero más).
Ventajas para los jugadores supongo que ninguna, para los desarrolladores sí. Por lo que parece, será más fácil crear una aplicación que utilice el Passthrough y el Hand Tracking a la vez, porque ahora ambas son OpenXR. Yo de programación ni idea.
ViRTuaLiZaTeVR
Visores
#6 9 DIC 2021 12:08
Esto es lo que leí
Hago copia y pega:
"El seguimiento de manos sin controlador ahora funciona correctamente en las aplicaciones OpenXR Unity en Quest.
"Esto significa que las aplicaciones ahora pueden usar el seguimiento manual y el paso a través al mismo tiempo, ya que la API de paso requiere OpenXR"
"Con la versión v35, este aviso de limitación desapareció y el pulgar parece mayormente correcto. Digo principalmente porque el pulgar todavía no hace contacto completo con el dedo índice al pellizcar, pero el espacio es muy pequeño"
Y seguía con esto:
"Puede esperar que las aplicaciones Oculus Store y App Lab comiencen a enviar actualizaciones con seguimiento manual y API de transferencia en las próximas semanas"
Este ultimo texto aun me lía mas, porque todas las aplicaciones creadas para Hand tracking ya están en Quest
No me acabo de aclarar
mes_nit
Visores
#7 » Respuesta a ViRTuaLiZaTeVR #4 9 DIC 2021 12:13
Supongo que podremos esperar el control híbrido, que dejas un mando y resuelves un puzle con una mano, o mueves unas palancas...
Pero sí, como va a funcionar la locomocion? Supongo que en esos juegos de momento no va a ser del todo viable el handtracking. Teniendo en cuenta que quizas en un par de años oculus va a vender visores sin los mandos con quest 3.
En Her podemos ver el handtrackingmes_nit
Visores
#8 » Respuesta a ViRTuaLiZaTeVR #6 9 DIC 2021 12:16
A ver si lo entendí bien es que el código propietario de oculus XR dejara o ha dejado de soportar nuevas apps, con lo que las antiguas si que van pero las nuevas o futuras deberan hacerse con el nuevo standard OpenXR.
ViRTuaLiZaTeVR
Visores
#9 » Respuesta a mes_nit #7 9 DIC 2021 12:17
Abra que esperar los updates de las aplicaciones que comentan y ver como se implementa esto