Las 23 preguntas sin responder de Apple Vision Pro

6 JUN 2023  21:47

knob2001

56

Las 23 preguntas sin responder de Apple Vision Pro

Porque la VR viene de lejos, es de rigor recordar los problemas a los que se enfrentará el nuevo visor de Apple.

A hombros de gigantes virtuales (por mucho que Apple reniegue)

Para ser el mejor, no sólo tienes que parecerlo. Esta es la primera ley del mercado a largo plazo. Escribiendo este artículo en un Apple Air M1, con mi iPhone 8 justo al lado, podría pensarse en el corolario "pero si lo pareces, ya lo eres". Nada más lejos de la realidad: este plano existencial y tozudo donde vivimos jamás dará respiro a quienes llegan a la plaza del pueblo tirando del carro de novedades mientras vociferan las bondades de su crecepelo a no ser que luego te crezcan coletas en zonas que nunca lo harían. Seas Apple o la siguiente empresa de moda que venga a sustituirla en el futuro, esto va de demostrarlo todo. Y más rápido que nunca porque la competencia te acecha a plena luz del día.  

 

 

Apple hizo público ayer el trabajo de toda una década con la intención de establecer el surco que han de seguir el resto. Es un mantra que ha calado durante al menos las últimas tres décadas gracias a la legión de medios afines, usuarios devotos y grandes aciertos. Lo hizo con el teléfono, con las tablets, con los relojes inteligentes y más tarde con los auriculares. Sin embargo, esta vez llega, quizás, demasiado tarde a una fiesta colmada de expertos. Porque hace mucho que dejamos de vivir en la Disneylandia de los 90s pre-Apple donde la amalgama de referentes interfería en posicionar el foco y todo el mundo parecía ir por caminos distintos hasta que Steve Jobs daba un manotazo en la mesa. Hoy hay muchos más profesionales de referencia -en todas las materias- dentro del ecosistema virtual como para pensar que una sola empresa podría llevárselos a todos por delante y clavar la pica de lo imposible. 

 

Apple Vision Pro, de momento, es la piñata de un primerizo. La osadía del privilegiado (la misma que la del jovenzuelo cuando entra en la universidad) pensando que el mundo comenzó cuando él nació y todo lo bueno saldrá de su laboratorio. Como si antes de él nadie hubiera pensando en solucionar los mismos problemas que quiere solucionar. 

 

 

Hay al menos 30 reflexiones urgentes en el tintero virtual de Apple Vision Pro.

¿Por qué Apple no admite que ha sacado un equipo VR? 

Esa la primera pregunta que me vino a la cabeza tras el directo. El empeño por separarse del resto quedó lastimoso. Vision Pro es un aparato VR porque no hay combinador. Le puedes llamar MR, Vision o lo que el de marketing te quiera vender, pero al final tienes unas pantallas frente a tus ojos separadas por lentes. Igual que la competencia. Llamarle VR habría sido honesto y además es el hilo conductor para la mayoría de las siguientes reflexiones.

 

¿Qué tecnología VR propone?

La realidad virtual es muy jodida. Abrash y Carmack. Lanier. Furness. Mark Bolas. Todos llevan décadas tratando de solucionar los mil problemas del hardware y el software. ¿Qué soluciones da Apple con Vision? 

 

VAC / Conflicto Vergencia y acomodación

 

VAC, el conflicto de la acomodación del ojo con la vergencia cuando miramos objetos que se sitúan a diferentes planos de foco. Meta lleva años intentándolo. CReal en AR otros tantos. No puedes venderme el visor fetén de la VR sin siquiera nombrar uno de los temas que más influyen en la inmersión. Es el último escalón principal que le queda a la VR y Apple ni siquiera ha asomado la cabeza para su nuevo visor que se vende como 100% MR (mezclando la realidad con lo virtual). De momento, sigue el continuismo del resto y no ha podido desafiar los límites de la tecnología. Así que, Tim, no te vengas muy arriba.

 

FOV

Vision Pro, como cualquier producto Apple, debería de desafiar lo conocido y revolucionar. Le quitó los botones al teléfono y los ventiladores a los portátiles. Según informaciones no técnicas, dicen quienes lo han probado que el FOV se queda en poco más que Quest PRO. Ese dato no es malo, pero en ningún caso es disruptivo. No aporta un WOW de primeras a los iniciados y se queda en lo conocido. Tampoco parece que se deba venir Apple muy arriba en este detalle.

 

Pupil Swim 

 

Pupil Swim y aberraciones. Uno de los grandísimos problemas durante el uso medio de un visor VR es la aberración de la lente resultante de la rotación del ojo. Es imposible de solucionar a no ser que tengas en cuenta dónde mira el usuario y aplicar un shader de corrección a la imagen. Pico 4 lo sufre. DPVR lo sufre. Quest lo sufre. Todos los actores de la VR lo sufren en mayor o menor medida hasta el punto que una buena cantidad de usuarios ha devuelto su visor. ¿Cómo piensa Apple solucionarlo? ¿Ha estado trabajando en ello como Meta (Abrash) nos ha enseñado? De nuevo, hasta nuevo aviso, no hay disrupción ni desafío a la tecnología actual.

 

Eye relief

 

Es el espacio entre los ojos del usuario y las lentes que permite llevar gafas. Muchos usuarios lo necesitan. ¿Qué medidas ha pensado Apple para estos usuarios o tendremos que comprar lentes ad-hoc para el visor? Si es lo segundo, dejarle un visor a un tercero puede ser complicado. Esperando noticias.

 

Motion to Photon

Motion to Photon de 13ms. Eso es lo que tarda Vision PRO en llevar la imagen desde que se crea en el sistema (se calcula y se procesa por toda la cadena de hardware interna) hasta que llega a los ojos del usuario iluminando la pantalla. Es impresionante, sí. Pero <20ms ya lo era. Estudios demuestran que un MTP menor a 20 milisegundos es imperceptible por el usuario. Sobre este valor funcionan muchos visores y todo gracias a ese invento que hizo que la VR volver a nacer: la predicción. 

 

ASÍNCRONOS

 

Hablando de predicción, imágenes y frames que no existen realmente: ¿qué tiene pensado Apple para generar frames sintéticos en momentos donde el sistema no de abasto en el cómputo y la pantalla se quede sin nada que mostrar? SpaceWarp tardó años en llegar a los visores de Meta. Al menos 2 iteraciones completas de visores necesitaron para desarrollarlo. Valve tardó años. PSVR 2.0 no termina de dar con la tecla. ¿Lo tiene controlado Apple en su primer visor? Y hablamos del principal motivo de mareo del usuario y del que más quejas visuales hay (ese efecto que pareces estar debajo del agua)

 

TRACKING

 

Vision Pro parece fiar su interacción a nuestras manos y ahí dentro hay un berenjenal importante. Desde el framerate al que operan las cámaras, pasando por su exposición (luz que es capaz de asimilar), hasta su colocación y campo de visión. Las manos son difíciles de seguir. Hay oclusión (dejar de ver algunos dedos o la mano entera), gestos minúsculos que llevan a error, formas de manos diferentes. Meta ha invertido miles de minutos de desarrollo. Leap Motion (Ultraleap) basa su negocio en ello. ¿Es capaz Apple de hacer seguimiento de nuestras manos sin problemas de ruido, en cualquier iluminación (noche, luz apagada viendo una peli, en recintos demasiado lumínicos…)? La interacción, cuando falla, produce un sentimiento de frustración bestial. De ahí que los mandos y controladores ayuden a superarla. Por cierto, ¿si tengo algún objeto en la mano Apple Vision Pro será capaz de trackearlo? ¿Y cómo solucionará los malos entendidos de nuestros gestos caóticos?

 

LENTES

 

Pancake está de moda. Permite que la luz rebote varias veces encerrada en cristales (o polímeros) y recorra la misma distancia que recorrería en realidad pero por un camino plegado (folded optics). Es lo que permite que las pantallas se acerquen mucho a las lentes y por ende, a nuestros ojos. Apple lleva un sandwich de 3 de -a priori- superficie libre. Por la ley de etendue (esa misma ley que impide a Apple sacar las gafas que realmente querría sacar), cada vez que la luz atraviesa un material, pierde energía. ¿Cuánta luz (nits) se pierden por el camino? ¿Cuánta aberración tiene que corregir el Compositor?

De las lentes sale una imagen muy deformada (aberrada). Por eso, el sistema VR tiene el llamado Compositor, un algoritmo que vuelve a modificar la imagen para que se vea como debe verse. Es otro gran problema junto al Pupil Swim en todos los visores. ¿Cuánta potencia tiene que gastar Apple Vision Pro en corregir este problema? ¿Y qué valores de MTF tiene? La Función de Transferencia de Modulación será la que nos diga si lo que vemos está limitado por la pantalla o por la lente. Que enseñara una tabla de MTF sería una buena señal de lo confiados que están en Cupertino de su conjunto lente-pantalla.

 

EYEBOX

 

El famoso eyebox. Si toda la lente deja pasar la imagen, no toda la superficie la deja pasar exactamente igual. En los extremos de la lente se producen más aberraciones. Un eyebox muy pequeño hace una lente muy incómoda. Por eso tienes que mover el visor continuamente sobre la cara para buscar el punto que no se vea borroso y por eso es casi imposible ver bien una lente de un telescopio barato. ¿Cuánto de grande es el eyebox de Vision Pro? ¿Tendrá aberraciones cromáticas (se separan los colores) en los extremos como le pasa al 90% de los visores VR actuales?

 

PESO

 

Todo cacharro pesa. Apple le ha quitado a Vision Pro la batería y la ha dejado en tu cinturón. ¿En cuántos gramos se queda? El peso suele estar delante, por las pantallas, chipsets, el facial y las lentes. Hay fabricantes que suelen poner contrapesos detrás de la nuca para las tandas largas. Quest Pro hace mejor donde otros necesitan straps de terceros. ¿El peso de Apple es menor que otros? Porque el peso, en movimiento, genera inercia. Y la inercia es incómoda. ¿Es por eso que no se puede usar haciendo Fitness y siempre nos lo muestren sentado, de píe pero nunca en movimiento?

 

Batería

 

Dos horas de batería externa suena extraño y deja ver la enorme capacidad de cálculo que realizan todos sus sensores, pantallas y las 12 cámaras. No da para ver una película de Marvel. Tampoco para una sesión larga de trabajo. Sin batería entendemos que no funciona. Con la batería, 2 exiguas horas. Enchufada, ilimitado, dice Apple en otra de sus ocurrencias extravagantes que todos sonríen porque es Apple. ¿Baterías externas de repuesto? ¿Peso y miliamperios hora de esa batería? ¿compatibilidad de baterías de terceros o tendremos que pasar por la caja oficial?

 

Pantalla

 

La pantalla tiene 23 Millones de píxeles en tecnología MicroOled. Eso es una pasada dado que microOled sigue siendo prohibitivo, aunque no es el primer visor que tenemos con ese tipo de panel (Arpara 5K). Todos en la VR sabemos que las pantallas no se diseñan exactamente para el HAM (area que queda fuera del cono de visión). ¿Los tiene en cuenta Apple cuando nos dice esos 23 Millones? Una resolución de 3600 x 3600 por ojo es enorme. Impresionante. Podríamos estar llegando a los 45PPD. Recordad que la visión humana mínima es 60PPD. ¿Puede el procesador M2 con esa capacidad de cómputo y mantener el framerate a 90Hz? Desde mi opinión, cualquier framerate que no llegue a 120Hz en un visor de casi 4.000 euros sería para hacérselo mirar. Y este sí que es el principal motivo de mareo. El corazón de la VR ha latido a razón de 11.1ms porque menos, estás muerto. Más, se siente mucha presencia. Apple no parece que haya dado más datos de momento.

 

CALOR

 

La segunda espada de Damocles para la AR es la disipación del calor. Pantalla y chips se calientan como si llevaras el mismísimo infierno ante los ojos. Expulsar ese calor es esencial. Y para ello, hace falta movimiento. Aspas. Ventiladores que hacen mucho ruido. Con toda la potencia de Apple a pleno rendimiento, ¿tendremos ruido de fondo? ¿es activo? ¿Qué zona se calentará más? ¿En verano tendremos gotas de sudor corriendo por nuestra cara como con Meta o Pico?

 

El calor y el frío no son muy buenos compañeros de la VR. Y en invierno todos nuestros visores se empañan. La lente está muy fría y tu cara muy caliente. El sudor se evapora y se pega al cristal o al plástico de la lente. Es un dolor de muelas en los eventos y en casa un incordio. ¿Apple Vision Pro logra solucionar este problema tan mundano?

 

REALIDAD MIXTA

 

La Realidad Mixta está de moda. El Spatial Computing. Eso que va de colocar lo sintético en el mundo real y que ambos interaccionen como si compartieran el mismo universo. Lo primero para que exista Realidad Mixta pasa porque el visor entienda lo que ocurre fuera. Y eso necesita que se vea. Sensores Lidar y cámaras de profundidad se encargarán de ello. ¿Cómo le afecta la luz a esas cámaras y cuándo dejarán de poder entender lo que hay ahí afuera? Con el Lidar tenemos asegurado un SLAM (puntos de nubes que conforman los contornos de nuestra habitación) de calidad. Pero también sabemos que es otro de los grandes problemas que ha tenido la VR: ¿reconocerá el espacio creado cuando cambiemos una silla de lugar? ¿tendrá memoria para más de un espacio? ¿nos avisará si salimos fuera del espacio (llamado guardian)? 

 

PASSTHROUGH

 

Y así llegamos a ese lugar que como más allá de los límites de la realidad se sitúa en tierra de nadie. Un sitio donde Apple -muy a su pesar- va a tener que defender su propuesta. Ver el mundo exterior a través de las cámaras pero mostrándoselo al usuario dentro del visor como si este fuera en realidad transparente. Para ello, las cámaras deberán de tener una calidad asombrosa, una capacidad de exposición muy buena para no tener que estar encendiendo mil luces y además un framerate de más de 30FPS. Meta Quest Pro hace lo que puede. Meta Quest 2 es en blanco y negro. Pico 4 lo sube a color pero no es estéreo. Las tres aberran, las tres son incómodas y las tres solo valen para que cuando un amigo quiera darte la típica colleja de idiota creyendo que no le ves, le digas "quieto parado". Apple es passtrough y sus cámaras no están donde están tus ojos. Así que es necesario modificar geométricamente la imagen. ¿Funcionará sin verle las costuras? ¿Qué resolución nativa tienen esas cámaras? Si son menores que la pantalla, habrá que añadir al proceso de corrección geométrica, otra corrección de tamaño (upscaling). 

 

OCLUSIÓN

 

Y en ese mundo que existe pero que no existe, las cosas sintéticas tienen que quedarse en el mismo lugar que tú las pusiste. Anchor, se llama en el mundillo. Lo que está, está ahí flotando y sin moverse un milímetro. ¿Cuánta memoria tendrá Vision Pro para almacenar zonas customizadas? ¿Habrá oclusiones en los objetos virtuales como dictan las buenas maneras aumentadas? Tus manos pasan por encima de los objetos virtuales más cercanos y los taparán. Pero aún no hemos conseguido que ocurra en ningún visor. ¿Y si pasa el gato o tu pareja por delante de la pantalla de cine de 4 metros? ¿Ocluirá -ocultará- esa zona de la imagen virtual? Nos va la sensación de "presencia" en ello. De lo contrario, como ocurre en otros fabricantes, parecerá una pegatina sobre el mundo y no dentro del mundo.

 

PUERTO EXTERNO

Muchos queremos usar el visor con la potencia de sistemas externos. Tenemos 2080s, 3090s, incluso 4090s… con eso movemos universos enteros igual que los dioses del metaverso (palabra maldita ya). ¿Dispone Apple Vision Pro de un puerto para conectarlo a nuestros dispositivos? ¿Será PC VR compatible? ¿Con el MacBook al menos? ¿Inalámbrico? ¿Cargará conectado al Mac? ¿Cuánto durará la batería del Mac si el visor de Apple no tiene su propia batería?

 

PÚBLICO OBJETIVO

 

El público objetivo del visor es lo de menos porque Apple Vision Pro apunta a dos usuarios que en realidad son los mismos: el que trabaja y su empresa necesita el postureo de estar donde tiene que estar (da igual el coste porque es inversión de imagen) y el mismo usuario fuera de esa oficina pero que sin embargo necesita el mismo postureo. Se podría argumentar que toda esta piñata de características avanzadas llamaría la atención del usuario medio, del mainstream y que empuja el ecosistema a ponerse las pilas. Pero ese precio de Lamborghini sólo hace lo que hacen los Lamborghinis: matarnos de la envidia a quienes nos gusta correr en los circuitos virtuales. Porque nunca, jamás, podremos permitirnos uno con nuestro sueldo. ¿No es lo que decía Palmer Luckey? Y prefiero no abrir la puerta de esa gruta de Alibaba sobre el uso de los objetos como mero refuerzo de pertenencia de clase porque luego saltarán las chispas en los comentarios.

 

VERTICALES DE NEGOCIO

 

Las verticales de Apple Vision Pro quedaron obvias en la presentación: trabaja y vete a casa a ver películas. Más de cuatro veces nos sugirieron que la televisión es cosa del pasado y que ahora lo que se lleva es verlo con un visor. ¿Cómo harán para corregir el drift de llevar el visor en un avión? Porque ni Meta ni Pico lo han conseguido (en el tren a duras penas) si tienes 6DOF. ¿Es realmente ver la televisión/cine algo que hagamos solos? Acostumbrados a la hiper-socialización de Meta, resulta extraño que Apple nos quiera invitar a una experiencia de "uno solo" sin compartirla con nadie a no ser que tengas más de un visor por familia (previa venta de los dos riñones). Ni Fitness (¿peso del visor?) ni enseñaron aplicaciones de carga gráfica importante, solo paisajes estáticos, pantallas de video, algún modelo 3D básico… ¿alguien vio alguna escena 3D realmente compleja durante el anuncio? Así que visor para trabajar, para completar un ecosistema completo (teléfono, reloj, etc...), para posicionarle, al fin, en un espacio virtual y una gran oda a la mezcla con lo real. 

 

 

Muchísimas preguntas técnicas en el tintero como para empezar a gritar a los cuatro vientos virtuales que el visor NO-VIRTUAL pero VR de Apple es tan diferente al resto en el core de su tecnología. Sí, es lo que hacen todos pero mejorado a costa de elevar el precio como nunca antes en un visor. ¿Cuánto habría hecho Meta/Abrash/Carmack con $3500? ¿Es el dinero una puerta de entrada a la VR? ¿Por qué Apple no quiere asumir que tiene un visor VR y pretende vender el visor AR que la tecnología actual se empeña en negarle?

 

Tiempos revueltos que se agradecen. Tiendas nuevas. Propuestas nuevas. Reglas nuevas. ¿Usuarios nuevos? Eso está por ver. De momento, como usuario de Real o Virtual, estoy más interesado en como resolverá todas estas incógnitas que el resto de expertos en VR aún no han conseguido domesticar. Porque la VR se crea apoyándose en los hombros de los gigantes anteriores. Y por mucho que le moleste a Apple, han habido -y habrán- muchos gigantes en nuestra industria y es de rigor recordarlos. 

 

Apple, cuando quieras una review técnica detallada, aquí andamos los de la banda de Real o Virtual con los destornilladores en la mano.