Blog

Aug 28, 2023

Por qué VR/AR se aleja más a medida que se enfoca — MatthewBall.co

Esfuerzos modernos para construir dispositivos de realidad extendida (XR), es decir, dispositivos virtuales dedicados

Los esfuerzos modernos para construir dispositivos de realidad extendida (XR), es decir, realidad virtual (VR) dedicada, realidad aumentada (AR) dedicada, realidad mixta híbrida (MR), comenzaron hace más de una década. Magic Leap se fundó en 2010, el mismo año en que Microsoft comenzó a desarrollar su plataforma HoloLens, que lanzó su primer modelo en 2016, y el segundo en 2019. El primer prototipo de Google Glass fue en 2011, con la primera Explorer Edition en 2013. y el lanzamiento de Enterprise Edition 2 en 2019; un modelo reconcebido se probó en el campo en 2022. La plataforma Cardboard VR y el kit de desarrollo de software (SDK) de Google llegaron en 2014, y la plataforma Daydream VR llegó dos años después. Sony PlayStation comenzó el desarrollo de su plataforma VR en 2011, que luego debutó en 2016. Oculus se fundó en 2012, Facebook adquirió la compañía en 2014 y Oculus Rift salió al mercado en 2016, seguido de otros cuatro modelos hasta 2022. En En 2014, Snap adquirió Vergence Labs, una nueva empresa de gafas AR que se fundó en 2011 y sirvió como base para Snap Spectacles, que se estrenó en 2016 y ha visto tres actualizaciones. A pesar del fracaso del Fire Phone, un teléfono inteligente habilitado para 3D que tenía cuatro cámaras frontales en un momento en que los teléfonos inteligentes tenían una o dos como máximo en la parte delantera y trasera, Amazon comenzó a desarrollar sus gafas AR basadas en Alexa en algún momento. en 2016 o 2017. El primer Echo Frames se lanzó en 2019, y la segunda edición llegó dos años después.

A medida que observamos el estado de XR en 2023, es justo decir que la tecnología ha demostrado ser más difícil de lo que esperaban muchas de las empresas mejor informadas y más dotadas financieramente. Cuando presentó Google Glass, Google sugirió que las ventas anuales podrían alcanzar las decenas de millones para 2015, con el objetivo de atraer a casi el 80% de las personas que usan anteojos a diario. Aunque Google continúa construyendo dispositivos AR, Glass fue un fracaso infame, con ventas de decenas de miles (el dispositivo AR 2022 de la compañía ya no usa la marca Glass). A lo largo de 2015 y 2016, Mark Zuckerberg repitió su creencia de que, dentro de una década, las gafas AR de "apariencia normal" podrían ser parte de la vida diaria, reemplazando la necesidad de sacar un teléfono inteligente para atender una llamada, compartir una foto o navegar por la red. web, mientras que un televisor de pantalla grande se transformaría en una aplicación AR de $1. Ahora parece que Facebook no lanzará un auricular AR dedicado para 2025, y mucho menos una edición que cientos de millones podrían querer.

En 2016, el fundador/CEO de Epic Games, Tim Sweeney, predijo no solo que dentro de cinco a siete años, no solo tendríamos dispositivos de realidad virtual para PC, sino también que estos dispositivos se habrían reducido a gafas de sol estilo Oakley. Siete años después, esto todavía parece, en el mejor de los casos, dentro de siete años. Informes recientes dicen que los anteojos AR de Apple, que alguna vez fueron planeados para un debut en 2023 y luego se pospusieron hasta 2025, se han retrasado indefinidamente. Snap's Spectacles se lanzó con largas filas y mucha fanfarria, con otras tres ediciones lanzadas para 2021. En 2022, la división se cerró en gran medida, y la compañía se volvió a enfocar en AR basada en teléfonos inteligentes. Amazon aún tiene que lanzar Echo Frames con una pantalla, en lugar de solo a bordo de Alexa. El jefe de VR/AR de Google depende directamente del CEO Sundar Pichai, aunque se espera que el próximo (es decir, el cuarto) cambio de la compañía en XR no sea antes de 2024. En 2019, Magic Leap recaudó $ 300 millones en una valoración posterior al dinero de $ 7 mil millones. . Dos años más tarde, la empresa recaudó 500 millones de dólares con una valoración posterior al dinero de 2500 millones de dólares, una caída del 66 % que también significó que la empresa valía un 30 % menos que los 3500 millones de dólares en efectivo que había recaudado hasta la fecha. En enero de 2022, surgieron informes de que el fondo de riqueza soberana de Arabia Saudita había tomado el control mayoritario de la empresa luego de un acuerdo de capital y deuda de $ 450 millones, lo que sugiere que la valoración de la empresa había caído a menos de mil millones de dólares, posiblemente hasta medio dólar. mil millones. Desde que se lanzó Oculus Rift para el consumidor en 2016, los envíos acumulativos de todas las marcas de realidad virtual (p. ej., Samsung Gear, ByteDance Pico, Valve Index, PlayStation VR) son inferiores a 45 MM (algunos de estos dispositivos ya no son compatibles con su fabricante), y los envíos activos mensuales es probable que los usuarios sean millones de un solo dígito bajo

Durante los últimos 13 años más o menos, ha habido un progreso técnico material. Y vemos un despliegue creciente. Hoy en día, XR se usa selectivamente en ingeniería civil y diseño industrial, en la producción de películas, en líneas de montaje y plantas de producción. Algunas escuelas usan VR algunas veces en algunas clases, y la utilidad de un aula virtual con mecheros Bunsen virtuales y ranas virtuales para diseccionar, todo supervisado por un instructor encarnado, mientras te sientas al lado y haces contacto visual con tus compañeros, es obvio. La realidad virtual también es cada vez más popular para la capacitación en seguridad en el lugar de trabajo, especialmente en entornos de alto riesgo, como las plataformas petroleras; enseñar al personal cómo, cuándo y dónde miran las personas ya tiene aplicaciones que salvan vidas. Y sobre el tema de salvar vidas, Johns Hopkins ha estado utilizando dispositivos XR para cirugía de pacientes vivos durante más de un año, comenzando con la extirpación de tumores espinales cancerosos. Si usa un visor de realidad virtual de alta gama como el Varjo Aero (que también requiere una conexión física a una PC para juegos y cuesta $2,000) para jugar un título como Microsoft Flight Simulator (que opera una reproducción de 500,000,000 de kilómetros cuadrados del tierra, con dos billones de árboles individuales renderizados, 1.500 millones de edificios y casi todas las carreteras, montañas y ciudades del mundo), existe la sensación inequívoca de que el futuro está cerca.

Los ejemplos enumerados anteriormente son técnicamente impresionantes, significativos y mejores que nunca. Pero se suponía que el futuro ya había llegado. En 2023, es difícil decir que una masa crítica de consumidores o empresas cree que existe una experiencia AR/VR/MR "asesina" en el mercado actual; solo promesas familiares de los casos de uso asesino que podrían estar dentro de unos años. Estos dispositivos están aún más lejos de sustituir a los dispositivos que usamos actualmente (y tampoco parece que estén al borde de la adopción general). Hay algunos juegos con ventas sólidas (algunos títulos han recaudado más de $ 100 millones), pero ninguno en el que se pueda argumentar que, si solo los gráficos mejoraran en un X%, una gran parte de la población usaría dispositivos VR o esos títulos de forma regular. base. Prefiero hacer presentaciones basadas en realidad virtual a aquellas en Zoom, donde paso de 30 a 60 minutos mirando a la cámara como si no hubiera nadie más allí. Pero la experiencia sigue siendo tensa; la funcionalidad es limitada; e incorporar a otras personas rara vez vale la pena porque sus participantes parecen encontrar estos beneficios pocos y pequeños. Cuando se lanzó el iPhone, Steve Jobs promocionó que hacía tres cosas distintas (reproductor de MP3, teléfono, comunicador de Internet) mejor en el lanzamiento que los dispositivos de un solo uso que estaban en el mercado. Al año siguiente, el iPhone lanzó su App Store y "Hay una aplicación para eso" proliferó, con decenas de millones haciendo todo lo posible en el dispositivo. La "aplicación asesina" fue que ya tenía docenas de ellas cuando se promocionó como la "próxima cosa".

Meta Quest 2 se vendió bien, con un estimado de más de 20 millones de unidades desde noviembre de 2020. Esto es ampliamente comparable con las ventas de Xbox Series X y PlayStation 5, que se lanzaron al mismo tiempo, pero tuvieron un camino más fácil hacia la adopción. Por ejemplo, las primeras cuatro PlayStations habían vendido casi quinientos millones de unidades desde 1994, y la PS5 se lanzó con la secuela del título más vendido de la PS4, junto con otros grandes y populares juegos. Pero si bien las bases de instalación de estas tres plataformas son comparables, hay poca evidencia de bases de usuarios activos comparables, y mucho menos de un uso comparable por usuario. A partir de marzo de 2022, el propietario promedio de PlayStation 5 usó el dispositivo 50 horas al mes, o aproximadamente dos horas al día (15 % más que la PlayStation 4 en el mismo punto de su ciclo de vida). Las ventas anuales de Xbox y PlayStation también continúan creciendo en su tercer año, mientras que Meta Quest 2 disminuyó en su segundo año. Para ser claros, Meta Quest 2 no tiene que ser para XR lo que el iPhone fue para los teléfonos inteligentes. Pero incluso los teléfonos inteligentes anteriores al iPhone demostraron un claro ajuste del producto al mercado a escala masiva, no solo potencial. Los teléfonos inteligentes también tenían una ventaja única: para la mayoría de las personas en el mundo, comprar un teléfono inteligente significaba poseer su primera y única computadora (y si no, era su segunda o tercera, y críticamente, su única computadora portátil). Para la mayoría de los compradores de VR hoy en día, el dispositivo es su cuarta o quinta computadora después de una PC/Mac, un teléfono inteligente, una tableta y una consola. A menos que un dispositivo XR pueda reemplazar uno de estos dispositivos, es poco probable que los consumidores y las empresas lo adopten en masa, incluso si lo encuentran divertido o útil de vez en cuando.

Por supuesto, los dispositivos XR no reemplazarán repentinamente una categoría de dispositivo existente. Cientos de millones usarán primero VR/AR junto con sus consolas, PC y teléfonos inteligentes antes de que decenas de millones dejen uno de estos últimos por el primero, y cientos de millones continuarán usando ambos por más tiempo (este ensayo está escrito en una PC, Por ejemplo). Pero el momento de esta transición es relevante para quienes invierten. Vuelva a mi ejemplo de Johns Hopkins. Después de completar la cirugía, el Dr. Timothy Witham, quien también es director del Laboratorio de Fusión Espinal del hospital, comparó la experiencia con conducir un automóvil con GPS. Me encanta esta analogía porque muestra cómo XR puede complementar los dispositivos y comportamientos existentes en lugar de desplazarlos (también complementa la realidad, en lugar de desconectarnos de ella). Dicho de otro modo, conducimos un coche con GPS; no manejamos GPS en lugar de un automóvil, y el GPS tampoco reemplaza la computadora a bordo. Además, muchos de nosotros viajamos más a menudo porque existe el GPS. Dr. Witham también proporciona un marco a través del cual podemos evaluar la utilidad de los dispositivos XR. Para existir, no necesitan cambiar las convenciones, solo ofrecer resultados mejores y/o más rápidos y/o más baratos y/o más confiables. Pero incluso bajo estas medidas más moderadas, el futuro parece lejano. El GPS comenzó a ver una adopción no militar en la década de 1990, pero tomó otras dos décadas madurar en costo y calidad para convertirse en parte de la vida diaria. Además, el valor principal del GPS no solo radicaba en mejorar los viajes al trabajo, sino también en habilitar aplicaciones tan diversas como Tinder, Siri, Yelp, Spotify y muchas otras.

El aparente retraso en el progreso de XR no se debe a la falta de inversión; la última década y media ha visto mucho de eso. Meta ha estado gastando $ 10-12 mil millones por año en sus iniciativas XR, y durante varios años. El gasto de por vida se estima en $ 50 mil millones y sigue creciendo, frente a $ 6 mil millones en ingresos. Sin embargo, existe una burla generalizada de los títulos propios insignia de la línea Quest, como Horizon Workrooms o Horizon Worlds, o sus características, como sus avatares sin piernas (la mayor parte de esto es injusto, un punto al que volveré).

No conocemos el gasto de Apple, pero es uno de los 20 principales solicitantes de patentes en los Estados Unidos y, durante años, entre el 30% y el 50% de estas patentes se han atribuido a la funcionalidad relacionada con XR (aunque no exclusivamente VR/AR/MR) . Según Alex Heath en The Verge, Apple tiene miles de empleados que trabajan en dispositivos XR independientes y los han tenido durante años (el dispositivo VR/MR de Apple estaba originalmente programado para 2019). Las inversiones de Microsoft también se desconocen, pero en 2021, la empresa firmó un contrato con el Ejército de EE. UU. por un valor de hasta 22.000 millones de dólares para 2031, y por solo 120.000 auriculares HoloLens. Esta suma, que equivale a $183 000 por dispositivo (aunque el precio incluye software, reparaciones, servicios de centro de datos), sin duda financió una extensa investigación y desarrollo. Pero en enero de 2023, el Congreso rechazó la solicitud del Ejército de retirar $400 millones de los aproximadamente $21,500 millones en fondos no gastados para comprar otras 7000 unidades, habiendo gastado previamente $350 millones en 5000 unidades. Este primer lote no superó muchas pruebas de campo a lo largo de 2022, y los militares encontraron que el 80% provocó "deficiencias físicas que afectan la misión", incluidos dolores de cabeza, fatiga visual y náuseas. Microsoft recibió 40 millones de dólares, o el 10 % de la solicitud del ejército, para desarrollar un nuevo modelo. Una semana después, Microsoft anunció 10.000 despidos como parte de una amplia medida de reducción de costos. Según Bloomberg, la división HoloLens se vio afectada de manera desproporcionada. Snap y Google han gastado miles de millones solo en adquisiciones relacionadas con XR.

En diciembre de 2022, la Oficina de Patentes de EE. UU. publicó una segunda patente de Apple para un anillo que utiliza "interferometría de mezcla automática" para un "sistema de gestos basado en sensores". Las aplicaciones específicas abarcan el uso individual o de múltiples anillos, con o sin Apple Pencil, compatible con AR, VR y MR

Muchos empresarios, desarrolladores, ejecutivos y tecnólogos todavía creen que XR es el futuro (yo lo creo). En particular, estos grupos creen en las gafas AR que eventualmente reemplazarán a la mayoría de nuestras computadoras personales y pantallas de TV. Y la historia muestra que, con el tiempo, estos dispositivos se acercan más a nuestra cara, al mismo tiempo que su interfaz es más natural e inmersiva, lo que lleva a un mayor uso también. Pero, ¿por qué este futuro está tan atrás? ¿Adónde va el dinero? ¿Qué progreso se está haciendo? Y lo que es más importante, ¿cuántos inviernos XR deben ir y venir antes de que una primavera realmente lleve al verano?

"Una parte significativa de la población... tendrá experiencias de realidad aumentada todos los días, casi como comer tres comidas al día". -Tim Cook (2016)

"Aléjese hacia el futuro y mire hacia atrás, se preguntará cómo llevó su vida sin la realidad aumentada. Al igual que hoy, nos preguntamos: '¿Cómo creció la gente como yo sin Internet?'" - Tim Cook (2022) )

"Parece Wii Sports"

Más de la mitad de todos los hogares en los Estados Unidos poseen una consola de videojuegos. En casi todos los casos, esta consola es el dispositivo informático más poderoso que poseen, usan o incluso ven los miembros de ese hogar. Esto incluye aquellos hogares que poseen el modelo más reciente de iPad Pro o trabajan en una oficina con una PC o Mac empresarial de alta gama. Independientemente de cuál elijan, esa consola de videojuegos también es más asequible que la mayoría de los demás dispositivos informáticos de consumo o incluso profesionales. Por lo general, cuesta más, por ejemplo, comprar una PC para juegos con una potencia similar o incluso reemplazar la tarjeta gráfica en una PC existente. Esto se debe a que las consolas se benefician de importantes economías de escala, y sus fabricantes envían entre 50 y 150 millones de unidades, en su mayoría estandarizadas, durante una década. La compra de componentes individuales, cada uno empaquetado individualmente, marcado y vendido al por menor, a menudo con nuevos modelos lanzados anualmente, es costoso. Las consolas de videojuegos también están subsidiadas, por lo general entre $100 y $200, ya que sus fabricantes siguen un modelo de navajas y cuchillas mediante el cual las compras de software subsiguientes eventualmente recuperan el dinero perdido al vender el hardware. Ningún fabricante de tarjetas gráficas o monitores obtiene una parte de sus Robux o V-Bucks.

En comparación con los dispositivos cotidianos, el poder de cómputo de una consola de videojuegos es tan grande que en el año 2000, Japón incluso impuso limitaciones de exportación a su amado gigante, Sony, y su exclusiva consola PlayStation 2. El gobierno temía que la PS2 pudiera usarse para el terrorismo a escala global, por ejemplo, para procesar sistemas de guía de misiles. Al año siguiente, al promocionar la importancia de la industria de la electrónica de consumo, el secretario de Comercio de EE. UU., Don Evans, afirmó que "la supercomputadora de ayer es la PlayStation de hoy". El pronunciamiento de Evans fue poderoso, aunque podría decirse que fue al revés; la PlayStation de hoy suele ser la supercomputadora del mañana. En 2010, el Laboratorio de Investigación de la Fuerza Aérea de EE. UU. construyó la 33.ª supercomputadora más grande del mundo utilizando 1.760 Sony PlayStation 3. El director del proyecto estimó que el "Clúster Cóndor" costaba entre un 5% y un 10% del costo de los sistemas equivalentes y utilizaba el 10% de la energía. La supercomputadora se usó para la mejora del radar, el reconocimiento de patrones, el procesamiento de imágenes satelitales y la investigación de inteligencia artificial.

Sin embargo, en muchos sentidos, las consolas de videojuegos lo tienen fácil. Considere la PlayStation 5 o Xbox Series X, ambas consolas de videojuegos de primera línea lanzadas en 2020. Estos dispositivos pesan casi diez libras y son más grandes que una caja de zapatos: brutales en comparación con otros dispositivos electrónicos de consumo, pero están bien dado que estos los dispositivos se colocan dentro de una consola de estanterías multimedia y nunca se mueven. De hecho, no está bien, ¡es una ventaja! Debido a que estos dispositivos pueden ser grandes, antiestéticos y estacionarios, Sony y Microsoft colocan ventiladores grandes y ruidosos dentro de sus consolas, que mantienen frías estas consolas mientras realizan sus cálculos intensivos, y ayudan a estos ventiladores con grandes entradas y salidas de aire. Sony y Microsoft también pueden mantener bajos los costos de los componentes porque no necesitan priorizar su tamaño como lo debe hacer un fabricante de teléfonos inteligentes. Y aunque las consolas de Sony y Microsoft son pesadas, a diferencia de la mayoría de los dispositivos de consumo, nunca necesitan batería. En cambio, reciben energía constante de la red eléctrica. Esto reduce el tamaño del dispositivo, así como el calor que genera, lo que a su vez significa que el ventilador también puede ser más pequeño y puede funcionar indefinidamente, en lugar de solo unas pocas horas.

Las consolas suelen admitir dos formas de conectividad, Wi-Fi y Ethernet, pero no necesitan soporte de red móvil, lo cual es excelente porque este último es otro conjunto de chips y particularmente difícil para la duración de la batería. Las consolas de videojuegos tampoco necesitan traer su propia pantalla; se enganchan a un televisor. Esto cambia los costos a otra compra—nadie piensa que una PlayStation cuesta $500 más un televisor—al mismo tiempo que permite a los usuarios elegir su propia calidad (por ejemplo, definición 1K versus 4K, LED versus OLED). La mayoría de los televisores también están a una distancia de 6 a 10 pies del espectador, lo que significa que una resolución de más de 2K a menudo no tiene sentido a menos que su televisor tenga más de 70 pulgadas en diagonal. Estos televisores también funcionan en entornos óptimos o menos relativamente estables: en una sala de estar con poca luz, en lugar de en una oficina o, peor aún, en la calle, donde la iluminación es incontrolable y variable.

Las consolas de videojuegos también pueden descargar una buena parte de su trabajo a otros dispositivos, como un controlador independiente para entrada o un auricular para audio comprado por separado (PlayStation 5 y Xbox Series X no incluyen soporte para audio Bluetooth, por lo que las compras de auriculares incluir dongles Bluetooth para agregar la funcionalidad). Las consolas de videojuegos no necesitan saber o averiguar mucho. No necesitan seguir su movimiento, y mucho menos sus ojos, o escanear y procesar su entorno. Y las consolas de videojuegos son dispositivos de ocio. No es importante que simulen la física con precisión (la mayoría de los motores de juegos no son deterministas, lo que significa que una acción dada no siempre producirá el mismo resultado), que sean "foto reales" o que admitan "trabajo". Estos dispositivos principalmente solo llevan a cabo actividades preestablecidas en entornos preestablecidos, con una pequeña variedad de elementos y solo algunos otros jugadores en funciones altamente definidas (por ejemplo, cuando juegas Fortnite, estás jugando Fortnite, mientras que tu PC podría estar ejecutando muchas aplicaciones y procesos simultáneamente), y mucha simplificación (los autos en Fortnite no necesitan conducir como los autos reales, los arbustos se pueden caminar sin afectar la velocidad, etc.).

Es importante tener en cuenta este contexto en torno a las consolas cuando consideramos VR/AR/MR. Es común escuchar la crítica de que las experiencias que producen estos dispositivos se ven peor que las que producían las consolas de hace una década que costaban la mitad en ese momento. Cuando se trata de renderizar visualmente un entorno virtual, los dispositivos VR/AR/MR siempre estarán a la altura de una consola de videojuegos moderna. Siempre. Esto se debe a que el "trabajo" realizado por estos dispositivos es mucho, mucho más difícil, mientras que las limitaciones son mucho, mucho mayores.

Un punto de partida simple es el peso. Cualquier dispositivo XR que aspire a un uso regular o sesiones prolongadas debe ser liviano. Existe un amplio consenso en que el rango tolerable para un auricular VR/MR es de aproximadamente 300 a 700 gramos, según el propósito (consumidor versus empresa) y la duración ideal de la sesión (es más probable que juegue durante tres horas con 300 gramos en su cabeza de 700). Por lo tanto, un dispositivo de realidad virtual debe ser aproximadamente un 90 % más liviano que una PlayStation 5 o Xbox Series X, un 60 % más liviano que una Nintendo Wii y un poco más pequeño que la Nintendo Switch. Las gafas AR tienen que ser aún más ligeras. Si bien nadie insistiría razonablemente en que estos dispositivos deben pesar entre 15 y 40 gramos de los anteojos "tontos" promedio que se usan hoy en día, todavía tienen que pesar menos de 150 gramos si se van a usar todo el día. Esta restricción de peso tiene consecuencias naturales e implacables en el poder de procesamiento.

Pero recuerda, estos dispositivos también necesitan llevar su propia batería. Esto hace que el dispositivo sea más grande, por un lado, y más caro, al tiempo que limita el tiempo que se pueden usar. Además, las baterías no solo son bastante pesadas en relación con sus requisitos de espacio, sino que también generan un calor significativo. Y a diferencia de una consola, que siempre se encuentra a unos metros del usuario, estas baterías se colocan en la cabeza del usuario. ¡Todo esto significa que las baterías de los dispositivos XR deben ser pequeñas y livianas a la vez que potentes y eficientes!

Los dispositivos XR también tienen otras cargas adicionales. Por ejemplo, se requieren parlantes y micrófonos integrados, así como una multitud de cámaras (la mayoría cree un mínimo de 12) que puedan rastrear los ojos, la cara, los dedos y el entorno local del usuario. También hay sensores (p. ej., giroscopio, luz, calor, etc.). Y los dispositivos AR necesitan un chip de red móvil, que nuevamente agrega peso y volumen al mismo tiempo que agota la batería y genera mucho calor.

Por último, está la pantalla. Los dispositivos XR deben traer su propia pantalla, que produce aún más calor (nuevamente, a una pulgada de la cara del usuario) y aún más peso. Debido a su proximidad a los ojos del usuario, estas pantallas también deben ser densas, de lo contrario, los píxeles se verán enormes y las imágenes borrosas. La especificación mínima generalmente se define como 8K píxeles, aunque muchos creen que 16K es óptimo. Esto significa varias veces más píxeles que el televisor promedio, lo que una vez más se traduce en más costo, peso y consumo de batería.

Así que ahora hemos discutido cuánto más necesita un dispositivo XR, a pesar de que debe ser una fracción del peso de una consola, así como estéticamente agradable y cómodo. Luego está el trabajo que debe hacer el dispositivo, que es mucho más complejo que cualquier cosa que haga una consola de videojuegos. Por ejemplo, los dispositivos XR necesitan comprender su entorno, no solo capturar imágenes de él. Esto significa determinar la ubicación, el color y la forma de los objetos, en algunos casos sus materiales y textura, así como qué es realmente el objeto, qué está haciendo y qué es probable que haga. También deben gestionar materiales complejos, como superficies reflectantes y transparentes, y advertir al usuario de límites y peligros clave. Las manos, las cejas, los labios y otras partes del cuerpo deben medirse con precisión y rapidez para la reproducción. A menudo, se solicita a estos dispositivos que admitan videollamadas, es decir, que muestren videos del "mundo real" dentro de un entorno simulado, o que reproduzcan la pantalla de un dispositivo del "mundo real", como una PC o un iPhone, dentro del entorno virtual. . Las consolas, por supuesto, no deben hacer nada de esto. En su lugar, pueden concentrar su poder de cómputo relativamente abundante en "gráficos".

Luego está el problema de la representación. Mencioné anteriormente que los dispositivos XR requieren sus propias pantallas y aspiran a por lo menos 8K (óptimamente 16K) píxeles debido a su proximidad al ojo. El Nintendo Switch portátil, como punto de contraste, es de solo 720p. Esto quiere decir que se encarga de renderizar menos del 10% de los píxeles por segundo que tendrá que hacer un dispositivo XR. Xbox Series X y PlayStation 5, que no incluyen su propia pantalla, provienen de una generación de consolas posterior a la Switch, son estacionarias y reciben energía constante, pesan más de tres veces más y admiten un máximo de 4K (25 -50% del objetivo XR). Cada píxel adicional requiere un aumento de la potencia informática.

Sin embargo, el número de píxeles es solo la mitad de la ecuación. La otra mitad es la frecuencia con la que se actualizan. La mayoría de los videojuegos apuntan a una frecuencia de actualización de 60 Hz (lo que significa 60 actualizaciones por píxel por segundo; esto se llama básicamente "fotogramas por segundo" o FPS, para simplificar) Algunos títulos admitirán 120 Hz o más, aunque esto generalmente significa reducir la definición que es renderizado. Fortnite, por ejemplo, admite 4K en 60 Hz, pero si un jugador quiere 120 Hz (lo que ayuda con el juego competitivo), la resolución baja a 1440p. En Nintendo Switch, un dispositivo de potencia relativamente baja, Fortnite está disponible solo a un máximo de 30 Hz. Además, muchos títulos priorizan la complejidad del juego (que necesita mucha potencia informática) sobre las especificaciones visuales. El videojuego AAA Gotham Knights, lanzado en 2022, solo funciona a 30 Hz, por ejemplo. Debido al requisito de reproducir la realidad visual, existe un amplio consenso en que un auricular XR debe actualizarse a 120 cuadros por segundo, idealmente 240, para evitar las náuseas. Esto se debe al hecho de que la interacción en XR proviene de su cabeza, no de su pulgar, y cualquier retraso entre la entrada y la salida es más notorio cuando la pantalla se encuentra en su cara que al otro lado de la habitación, lo que da como resultado una sensación de desconexión sensorial. Súmelo todo, y un dispositivo XR tiene que generar muchos, muchos, muchos más píxeles por segundo que un dispositivo tradicional. Esto (nuevamente) genera mucho más calor, usa mucha más batería, requiere mucho más espacio y, lo que es más importante, devora caballos de fuerza que de otro modo podrían usarse para hacer un renderizado más complejo o de más alta fidelidad.

Hay algunas restricciones ópticas adicionales y particularmente brutales cuando hablamos de dispositivos AR. La mayoría de las computadoras portátiles admiten entre 300 y 600 nits de brillo, y las computadoras portátiles de nivel empresarial suelen alcanzar un máximo de 1000, mientras que los televisores funcionan entre 600 y 1500. Los teléfonos inteligentes necesitan 2000 nits para ser vistos bajo el sol y, como todos sabemos, aún se lavarán en un día moderadamente soleado. Por esta razón, los dispositivos AR tienen que generar mucho más brillo para que sean ampliamente utilizables, lo cual es otra gran pérdida de batería. Los dispositivos AR también necesitan dejar pasar la luz a través de sus pantallas para aumentar lo que hay detrás. Esto lleva a una de dos opciones. En primer lugar, la pantalla debe transmitir selectivamente aún más nits para superar la luz que pasa. O necesita sombrear selectivamente lo que no debe resaltarse. Ambas opciones son difíciles píxel por píxel (nadie realmente ha resuelto esto todavía), sin mencionar que requieren mucha computación.

Hay maneras de superar algunos de los problemas antes mencionados. Por ejemplo, algunos dispositivos XR se basan en unidades secundarias que brindan potencia informática adicional al mismo tiempo que reducen el peso. Los dispositivos XR para personal militar generalmente incluyen un mini "autobús" conectado por cable que se puede usar dentro de una mochila, con los auriculares conectados físicamente al autobús. Cuando los cirujanos usan dispositivos XR, como es el caso ahora en Johns Hopkins, la mayoría de las "cosas" se colocan debajo de la mesa de operaciones, y los auriculares se limitan principalmente a cámaras, auriculares, pantalla y micrófono. La PlayStation VR2 de $ 600 de Sony requiere que el propietario posea y se conecte físicamente a la PlayStation 5 de $ 500, que es grande, pesada, potente, se enfría más fácilmente, se conecta a la red eléctrica y similares. Algunas patentes sugieren que las gafas AR de Meta incluirán un dispositivo similar a un marcapasos que se colgará del cinturón del usuario o se colocará en su bolsillo. Algunos rumores sugieren que Apple usará "estaciones repetidoras" ubicadas alrededor de la sala de estar o la oficina del usuario. Piense en estos como marcapasos estacionarios o consolas diseñadas solo para admitir el dispositivo XR. Los visores empresariales AR, como los que se usan en una línea de fábrica, no necesitan ser de propiedad individual, ni necesitan componentes de propósito general, chips inalámbricos, baterías de larga duración o una apariencia atractiva. Simplemente se pueden cambiar dentro y fuera a través de estaciones de carga propiedad de la empresa, de la misma manera que podría ser un coche de policía. Los dispositivos propiedad de la empresa también pueden ser mucho más caros porque se comparten y generan ingresos, no solo generan diversión.

Pero se juega mejor

Toda la tecnología de consumo enfrenta compensaciones y problemas difíciles. Pero los dispositivos XR requieren muchos puntos de optimización: calor, peso, duración de la batería, resolución, velocidad de fotogramas, cámaras, sensores, costo, tamaño, etc. La creencia de Zuckerberg en esta categoría de dispositivos, dejando de lado estos problemas, explica cómo es posible que esté gastando $ 10B + año tras año tras año. Ese dinero se está invirtiendo en óptica, LED, baterías, procesadores, cámaras, software, sistemas operativos, etc. Y mientras que Apple fabricó el primer iPhone en torno a componentes en gran parte de stock que habían sido diseñados y fabricados por terceros, y que se habían utilizado en teléfonos/smartphones durante más de una década, Meta está principalmente diseñando y poniendo en marcha innovaciones y piezas totalmente nuevas para su XR. dispositivos.

Si Zuckerberg puede descifrar esto, con casi todos sus competidores años atrás (si es que se molestan en absoluto), los beneficios financieros pueden ser extraordinarios. A principios de 2021, Zuckerberg dijo: "El desafío tecnológico más difícil de nuestro tiempo puede ser colocar una supercomputadora en el marco de unas gafas de aspecto normal. Pero es la clave para unir nuestros mundos físico y digital".

“Creo que el mundo debería decir 'gracias Mark por hacer avanzar esta tecnología'. No sé si es bueno para los accionistas. Eso es discutible; él piensa que lo es... [pero] no estaría en su contra... Creo que hay buenas probabilidades de que funcione, pero si funciona o no. comercialmente, es un avance tecnológico increíble... y realmente lo están haciendo avanzar y realmente nos beneficiará a todos".

- Reed Hastings, fundador de Netflix y exmiembro de la junta de Facebook (2011-2019) en enero de 2023

La inmensa dificultad de XR también explica por qué "los gráficos parecen de Wii" es en realidad un cumplido: es un poco como decir que un adulto corrió 100 metros tan rápido como un niño de 12 años, aunque el adulto era llevar una mochila de 50 libras y resolver problemas de matemáticas al mismo tiempo. De hecho, "Gráficos" es un término terriblemente inútil en primer lugar porque se refiere a imágenes, en lugar de la simulación que reflejan o su propósito. Es bastante fácil tener un juego de ajedrez increíblemente fotorrealista, ya que las entradas se basan en turnos, son limitadas y altamente predecibles (lo que permite que la computadora comience a funcionar antes de la decisión del jugador). Pero si desea simular un juego de movimiento rápido de cien jugadores que realizan diversas acciones (como es el caso de una batalla real u otro entorno social), la computadora debe trabajar mucho más para comprender la causa y el efecto, y eso significa el techo de la fidelidad visual es más bajo. Además, hay límites en cuanto a la fidelidad visual que importa a cualquiera (especialmente al ajedrez).

Esta defensa es independiente de si el estilo artístico de Meta es bueno en relación con sus limitaciones. Hay un consenso bastante generalizado de que es malo. Sin embargo, no es del todo justo comparar los gráficos de los avatares o productos exclusivos de Meta, como Horizon Workrooms, con los de títulos de realidad virtual de terceros, como VRChat o RecRoom. Esta fidelidad está disponible para Meta, pero solo de forma selectiva; como sabemos, los "gráficos" son solo una parte de la ecuación informática. Por ejemplo, una reunión de dos personas en Horizon Workrooms que se expande a ocho podría requerir reducir a la mitad la velocidad de fotogramas o la definición del avatar o la precisión en la reproducción de los ojos, al tiempo que agota las baterías mucho más rápido. O su avatar, destinado a ser una representación de usted, podría verse mejor o peor, más detallado o genérico, con o sin piernas, según la aplicación en la que lo esté usando. Esto se vuelve espeluznante, molesto y molesto.

Y ha habido muchos avances. Considere la línea Oculus/Meta Quest, que se originó como un dispositivo solo de realidad virtual, pero desde entonces se expandió a la realidad virtual con un modo de "realidad mixta". El Oculus Rift de 2016 tenía una pantalla de 1K que era capaz de 90 cuadros por segundo, admitía de dos a tres horas de uso, pesaba 500 gramos y costaba $ 400 pero no tenía cámaras externas (y, por lo tanto, solo era VR). El Oculus Quest 2 de 2020 tenía la misma duración de batería, peso y precio, a pesar de cuadriplicar la resolución a 4K y admitir hasta 120 fotogramas por segundo, al tiempo que agregaba cuatro cámaras externas (lo que permitía que el dispositivo de realidad virtual "vea" y comprendiera). partes de la habitación real). En comparación con Quest 2, Quest Pro de 2022 aumentó la resolución a aproximadamente 5,25 K (el contraste de color aumentó un 75 %) al tiempo que agregaba color a las cámaras externas en blanco y negro anteriores, mientras que el número total de cámaras se triplicó a 12 (mejorando sustancialmente la mano). seguimiento al mismo tiempo que agrega seguimiento facial y ocular). El Quest Pro también fue el primer modelo en usar "renderizado foveado", que requiere cámaras de seguimiento ocular. El ojo humano tiene visión foveal, lo que significa que nuestra vista es más nítida en el centro y más borrosa en la periferia. Al rastrear el ojo del usuario, es posible que un auricular concentre su poder de cómputo donde el usuario está mirando y reduzca la fidelidad en otros lugares. Todavía se necesita una pantalla de 8 a 16 K, ya que los ojos del usuario pueden dirigirse a cualquier punto de la pantalla, pero el 90 % de la pantalla solo puede renderizarse en 2 a 4 K en cualquier punto, lo que ahorra batería y potencia informática.

Al mismo tiempo, no todos los avances de Quest 2 o Quest Pro fueron "gratuitos". El modo de 120 Hz de Quest 2 solo se admite de forma selectiva; los juegos más complejos están limitados a 90 o incluso 72 Hz. El Quest Pro tiene una frecuencia de cuadro máxima de 90 Hz y, en comparación con el Quest 2, la duración de la batería es un tercio más corta (dos horas, no tres), el peso aumentó un 40 % a 700 gramos y el costo se triplicó a $1500. En términos más generales, 90 Hz a 4K todavía son múltiplos literales de 120 a 240 Hz a 8 a 16K. Y eso es solo la cantidad de píxeles renderizados, no su fidelidad ni la sofisticación de la simulación detrás de ellos. Mientras tanto, las cámaras externas aún no pueden diagnosticar con precisión el mundo que las rodea. Etcétera.

Si bien los dispositivos VR/MR todavía tienen mucho camino por recorrer, con el tiempo esta brecha se cerrará. La presentación del dispositivo de realidad mixta de Apple esta primavera será un control de tiempo importante. Apple no tiene rival en su capacidad para producir hardware de clase mundial, incluso cuando depende principalmente de componentes de terceros. Igualmente impresionante es cómo el hardware de Apple funciona en armonía con un sistema operativo y una interfaz hechos a la medida, que presentarán una ventaja en una categoría que hasta ahora carece de mejores prácticas y respuestas claras. Esto ha permitido a Apple abrir rutinariamente modelos informáticos estancados durante mucho tiempo o que se desarrollan lentamente, desde la GUI en sí misma hasta el reproductor de MP3, el teléfono inteligente, la tableta y el reloj inteligente. Sin embargo, cuando Apple hizo esto a principios o mediados de la década de 2000 con el iPod y el iPhone, sus dos "grandes" innovaciones, estaba utilizando principalmente "cosas" externas (especialmente chips informáticos). La compañía también tenía una escala y experiencia de fabricación modestas, así como una base de usuarios comparativamente pequeña y un pequeño ecosistema de desarrolladores. La Apple de 2023 es muy, muy diferente. Por ejemplo, la empresa produce el sistema en chip miniaturizado más potente del mundo y produce más teléfonos, tabletas y relojes inteligentes que cualquier otro fabricante de dispositivos del mundo, lo que refleja tanto su destreza de fabricación como la conveniencia de su productos Apple tiene el ecosistema de desarrolladores más lucrativo del mundo, así como una de sus marcas más queridas. El dispositivo XR de la compañía tiene la opción de aprovechar otros dispositivos en el mercado, aprovechando el iPhone del usuario, por ejemplo, en lugar de una computadora de marcapasos independiente, o un Apple Watch para complementar el seguimiento de la mano, y así sucesivamente. Como tal, no es descabellado suponer que el dispositivo de realidad mixta de Apple será el más deseable, brindará el mayor rendimiento por dólar y vendrá equipado con la mejor interfaz, y también con la mayor cantidad de aplicaciones. Más importante aún, es probable que este dispositivo sea, bueno, "diferente". Para citar al experto en Apple John Gruber, "los de fuera inevitablemente basan sus expectativas en el estado actual de la técnica. Pero el iPhone no era un teléfono iPod. Apple Watch no era un Fitbit con un precio más alto. Si Apple sigue siendo Apple, este primer auricular debería ser mucho más que una versión un poco más agradable de los auriculares VR tal como los conocemos". Dicho esto, los informes sugieren que el dispositivo costará al menos $ 2,000 y probablemente $ 3,000, lo que limitará su atractivo y sugiere que el dispositivo es principalmente para quienes usan software para diseñar objetos en 3D, como animadores de películas o arquitectos, al menos en el corto a mediano plazo.

El uso limitado, pero en constante expansión, es el arco necesario de la nueva tecnología. Al principio, tanto las computadoras como la interconexión de redes estaban efectivamente limitadas a las megacorporaciones, los laboratorios de investigación públicos y el gobierno. Ningún otro grupo podía permitírselo, y mucho menos darles un buen uso. Es probable que la realidad virtual comience con empresas centradas en 3D, así como con niños y adultos jóvenes centrados en juegos. La tecnología no es un "cuándo", y mucho menos "cuándo X será la corriente principal", sino un "cuándo es qué, utilizado por quién, por qué y con qué fin". Y esto se trata tanto del costo de los componentes, la funcionalidad y el precio minorista de los dispositivos XR como del software que hace que valga la pena comprar estos dispositivos en primer lugar. Esto es particularmente importante para Meta, que pierde entre $100 y $200 por unidad para mantener su precio bajo e impulsar la adopción y, por lo tanto, necesita ingresos significativos por uso/plataforma para financiar el crecimiento (tenga en cuenta que esto también significa que Meta ha perdido alrededor de $3 mil millones vendiendo Meta Quest 2 de 20MM, incluso después de excluir I+D). Pero incluso si Apple registra su margen de beneficio bruto típico del 35% en sus dispositivos XR, solo son viables si los consumidores, por decenas, si no cientos de millones, llegan a encontrarlos útiles y cuándo.

Estos casos de uso pueden provenir de cualquier lugar. Ver películas en un cine de realidad virtual o ver películas de realidad virtual. Ver deportes en un estadio de realidad virtual. Reuniones o aulas virtuales. Software de productividad de realidad virtual. juegos de realidad virtual Se ha intentado mucho aquí, pero ninguna de estas categorías hasta ahora está resonando con millones de usuarios (definidos por el uso regular), y mucho menos con cientos. Y esto crea el problema del huevo y la gallina. Sin experiencias convincentes, los usuarios no comprarán dispositivos de realidad virtual a escala y, sin una base de instalación grande y activa, los desarrolladores no se centrarán en estas plataformas. Y con este fin, muchos desarrolladores se enfocan en aplicaciones 3D, pero pocos en VR.

Parte de este impedimento es probablemente hardware; que todavía no estamos en el VR MVP ("producto mínimo viable"). Es justo argumentar que para que la realidad virtual despegue, primero necesitamos un dispositivo con una pantalla de 8K que funcione a 120 Hz, evitando así las náuseas de una parte sustancial de los usuarios, que incluya una docena de cámaras, pese menos de 500 gramos y cueste menos. de $ 1000, o tal vez incluso menos de $ 500. La experiencia del usuario de hoy también parece deficiente. En octubre, John Carmack, CTO de Oculus desde hace mucho tiempo (y luego CTO de consultoría), dijo: "La usabilidad básica de Quest realmente necesita mejorar", con sesiones de usuario a menudo "abortadas por frustración"; además, "los tiempos de inicio de la aplicación son lentos, nuestras transiciones tienen fallas". Carmack también admitió que parte del personal de Meta se quedó atascado en un proceso de "20 minutos" y "reinicio múltiple" para unirse al evento 2022 Connect de la compañía. Pero un problema más amplio parece ser cómo la realidad virtual compite con sus sustitutos. Y si es así, es probable que el MVP para VR sea mucho más alto que la "especificación mínima" antes mencionada.

Considere, por ejemplo, el caso de uso principal de los dispositivos de realidad virtual en la actualidad: los videojuegos. Si bien muchos se burlan de los gráficos VR de Meta, los gráficos realmente no importan; el juego y la diversión sí. Los jugadores lo saben, incluso si todavía disfrutan sombreando a Meta. Esta es la razón por la que hemos visto juegos exitosos a principios de 1959 (¡Spacewar!). En 1993, un asombroso 10% del tráfico total de Internet era para MUD ("calabozos multiusuario") basados ​​en texto. Cuando Pokémon Go se lanzó en 2016, apenas era una experiencia de realidad aumentada. Los Pokémon se pueden ver en el mundo real, claro, pero solo porque se renderizaron en la parte superior de la transmisión de tu cámara. No se escondieron detrás de un árbol, ni se sentaron sobre la hierba (en lugar de ser enterrados en ella), etc. Aún así, el título acumuló cientos de millones de jugadores. Seis años más tarde, con muchas características reales de AR ahora en su lugar, los ingresos de por vida superan los $ 5 mil millones. Y hoy en día, los juegos más populares del mundo son Roblox, Minecraft, Free Fire, League of Legends, Candy Crush, etc., ninguno de los cuales es, ni siquiera aspira a parecer fotorrealista. Y cuando se trata de no jugadores, la historia nos enseña dos lecciones importantes. Primero, las mejoras gráficas nunca llevan a los no jugadores a convertirse en jugadores. En segundo lugar, la interactividad intuitiva (y típicamente de movimiento) convierte esta demostración exacta, incluso cuando los gráficos son rudimentarios (Wii Sports, Guitar Hero, etc.).

Para impulsar la adopción, los juegos de realidad virtual deben ser mejores que las alternativas, como la televisión, la lectura, los juegos de mesa, Dragones y mazmorras, los videojuegos y cualquier otra cosa. Al menos parte del tiempo. Pero en su mayor parte, la realidad virtual pierde la guerra del ocio (nuevamente, tener unos pocos millones que la eligen de vez en cuando no es suficiente, especialmente dadas las inversiones). Sí, ofrece una mayor inmersión, entradas más intuitivas y controles más precisos (o al menos complejos). Pero las desventajas son muchas. La base instalada para VR es de aproximadamente 25 a 30 millones, mientras que la base de dispositivos AAA (Switch, PlayStation, Xbox, PC) es de aproximadamente 350 millones. Además, la mayoría de los juegos más populares del mundo están disponibles en las últimas plataformas, no en las primeras. Como resultado, el usuario promedio de VR solo puede jugar con una subsección de sus amigos, un inconveniente importante dada la naturaleza de las aplicaciones de VR. La Ley de Metcalfe implica que los juegos mejoran a medida que aumenta el número de amigos que juegan. Por lo tanto, incluso si el jugador A prefiere jugar un juego de realidad virtual a un juego que no es de realidad virtual, tiene que preferir ese título que compensa jugar sin su amigo y/o sus beneficios de realidad virtual superan a los sociales.

Y dado que sabemos que los juegos más populares no están en realidad virtual, es probable que los más queridos tampoco lo estén. Estos problemas también generan problemas aguas arriba. Ya es difícil gastar $400-500 en una consola de realidad virtual después de comprar una consola que no es de realidad virtual por un precio similar; es aún más difícil cuando carece de muchos de tus mejores amigos y títulos favoritos. Y debido a las limitaciones computacionales de los dispositivos XR, existen restricciones relacionadas con el juego, en lugar de solo limitaciones relacionadas con la duración de la batería, la comodidad, el peso, la resolución, etc. Los juegos Battle Royale de realidad virtual, por ejemplo, actualmente están limitados a dos docenas de jugadores por partido, en lugar de 50 a 150, como es el caso de los teléfonos inteligentes y las consolas.

Debido a la dinámica descrita anteriormente, los desarrolladores de juegos más grandes están pasando en gran medida el desarrollo de juegos de realidad virtual. La base de jugadores es demasiado pequeña, mientras que estos mismos propietarios de dispositivos suelen concentrar su tiempo de juego y gastar en plataformas que no son de realidad virtual. Sí, la base de instalación, el uso y el gasto están creciendo, pero no lo suficientemente rápido como para sugerir que dentro de tres a cinco años, la oportunidad será lo suficientemente grande como para que estos desarrolladores den prioridad a las plataformas que no son de realidad virtual. A veces, los desarrolladores transferirán un título que no es de realidad virtual a la realidad virtual, pero esto no funciona para la mayoría de los juegos. Gran Turismo encaja bien porque es un título en primera persona con comportamientos relativamente predecibles y solo unos pocos jugadores (y menos aún son visibles en cualquier momento). Como tal, no es demasiado difícil adaptar los controles o las experiencias del juego, y un dispositivo de realidad virtual de menor potencia aún puede calcular su juego. Resident Evil 7 está menos estructurado que un juego de carreras, pero aún tiene una perspectiva en primera persona y, a diferencia de Gran Turismo, está limitado a un solo jugador y se juega sin conexión. Los títulos como Fortnite o Call of Duty simplemente no se pueden portar, ya que están diseñados específicamente para plataformas que no son de realidad virtual. Este enfoque abarca decisiones técnicas (mapas grandes, altas resoluciones y más de 100 jugadores) y, a veces, perspectiva (Fortnite es en tercera persona, lo que causaría mareos) y especialmente jugabilidad (desde la forma en que se diseñan los interiores de los edificios hasta la mecánica de saltar o tiroteo). Ya es bastante difícil hacer que los títulos que funcionan tanto en PC como en consola funcionen bien juntos, y mucho menos en Switch y luego en dispositivos móviles.

Algunas tiendas de campaña multijugador en línea admiten una compilación de realidad virtual, a pesar de que fueron diseñadas para interfaces 2D, como Roblox. Pero el hecho mismo de que estos títulos sean "también VR", no "solo VR", significa que están limitados en la forma en que pueden expresar, o incluso aprovechar, las capacidades únicas de VR. Incluso los títulos de VR sociales exitosos como Rec Room o VRChat ya no requieren VR, y se cree que el 90% de sus usuarios regulares usan dispositivos "2D" cuando acceden al título. Sin duda, estos títulos son mejores en realidad virtual, pero su popularidad fuera de la realidad virtual habla de los incentivos de sus desarrolladores, así como de los incentivos limitados de los usuarios para invertir en un dispositivo de realidad virtual. Todo esto explica por qué Meta está tan enfocada en comprar desarrolladores de realidad virtual. Hasta que su ecosistema pueda atraer una masa crítica de estudios grandes e incipientes, deben prepararlo ellos mismos. Muchos de estos desarrolladores son rentables y tienen la opción de permanecer independientes, pero como subsidiarias, pueden invertir de manera más agresiva, ya que su caso comercial se derivará tanto de los ingresos directos (ventas de juegos) como del valor indirecto (impulsando la adopción general de la plataforma).

Un problema relacionado para los desarrolladores surge de la cantidad de diferentes SKU de realidad virtual en el mercado actual, así como de sus rápidas mejoras. Esto último ayuda a la industria a progresar hacia el MVP, pero también significa que no hay una única "base de instalación de VR", sino muchas diferentes. El Meta Quest Pro es un gran ejemplo. Es mucho más capaz que Meta Quest 2, pero probablemente no tenga ni el 5% de sus usuarios. Por lo tanto, la mayoría de los desarrolladores producirán títulos que se ejecutan en ambas plataformas, lo que limita el carácter distintivo de sus capacidades específicas de realidad virtual, al mismo tiempo que reduce el beneficio de comprar Meta Quest Pro. El Meta Quest 3, que se espera que se lance en 2023, también se verá limitado por el éxito del Meta Quest 2, y como es probable que se venda mejor que el Meta Quest Pro (que es tres veces más caro), ese desalentará aún más a los desarrolladores Pro-only. Es por esta razón que las generaciones de consolas de videojuegos duran de seis a ocho años (compare los teléfonos inteligentes, que se actualizan anualmente) con actualizaciones de mitad de ciclo que suelen ser marginales y se centran principalmente en el precio y el tamaño (por ejemplo, PlayStation 4 Pro). Las consolas rivales también están cansadas de alejarse demasiado de las capacidades de las demás, conscientes del hecho de que la mayoría de los desarrolladores construyen para todas las consolas y PC principales y, por lo tanto, es poco probable que se inclinen demasiado hacia la funcionalidad exclusiva o las capacidades de rendimiento.

Los desafíos de software único, hardware suficiente y múltiples SKU convergen un poco en PlayStation VR2, que debuta en febrero de este año. Como el dispositivo requiere una conexión física a la poderosa PlayStation 5, PS VR2 tiene muchas ventajas relacionadas con el rendimiento sobre la línea Meta Quest y otras, como la serie HTC Vive. En comparación con el Pro de gama alta, es 100 gramos más liviano y cuenta con una resolución un 10 % más alta y una frecuencia de cuadro un 33 % mayor (120 Hz, no 90 Hz), y sus juegos son más sofisticados técnica y visualmente. El precio del dispositivo oscila entre $ 400-500 Meta Quest 2 y $ 1,500 Meta Quest Pro. Para aquellos que tienen una PlayStation 5, la PS VR2 cuesta otros $ 600, mientras que aquellos que no tienen una PlayStation 5 deberán gastar alrededor de $ 1,100 en total. Hay algunos inconvenientes. Aunque la PS VR2 tiene una duración de batería infinita, tampoco es portátil debido a su conexión, y se estima que su gama de colores es un 40-50 % menor que la de Quest Pro y su modo de realidad mixta se limita a la escala de grises. Y, por supuesto, el dispositivo no alcanza la "especificación mínima" objetivo en la pantalla, y por múltiplos cuando se trata de píxeles por segundo. Pero lo que diferencia a PS VR2 es su contenido. Sony PlayStation es posiblemente el desarrollador de juegos AAA más exitoso de este milenio, produciendo más éxitos, y especialmente éxitos originales, que cualquier otro editor. En consecuencia, es probable que PS VR2 incluya muchos de los mejores títulos de su clase. El plural aquí, títulos, es clave. El aclamado juego solo de realidad virtual de Valve Corporation, Half-Life: Alyx, que se lanzó en 2020, no parece haber conmovido a muchos jugadores.

En los próximos años, PS VR2 puede convertirse en un motor importante para Sony. La plataforma se destaca para fortalecer el ecosistema de PlayStation al ofrecer lo que ni Nintendo ni Xbox pueden ofrecer, al mismo tiempo que construye sus franquicias, genera nuevas fuentes de ganancias y fomenta el bloqueo de jugadores (estos $ 600 podrían destinarse a Xbox o Quest, por ejemplo). También protege contra el desplazamiento en caso de que los juegos se retrasen para cambiar rápidamente a dispositivos XR. Mientras tanto, Sony es un proveedor líder de pantallas y ópticas (se informa que está suministrando estos componentes a Apple para la mayoría de sus dispositivos móviles y su próximo dispositivo XR), por lo que PS VR2 puede aprovechar la escala interna y la I + D, mientras avanza aún más. ambos. Pero el dispositivo VR2 será, por definición, un subconjunto de usuarios de PlayStation 5. Hoy, se han vendido 30 millones de dispositivos, quizás haya 60 millones a principios de 2025. Si uno de cada cuatro propietarios de PS5 compra un VR2, es probable que la base de instalación sea de 15 millones para 2025, aún demasiado pequeña para que los principales desarrolladores de AAA produzcan solo VR. títulos Y es poco probable que los que lo hacen hagan títulos solo para PS VR2, en comparación con los que también se ejecutan en dispositivos mucho menos potentes, como Quest 2 y Quest 3.

Ahora, los juegos son un poco una distracción. Son un mercado pequeño en general, que genera menos de $200 mil millones al año en ingresos, con menos de 350 millones de juegos de los llamados "jugadores AAA". Es un nicho y no es suficiente para llevar los dispositivos XR a las manos de cientos de millones, y mucho menos de miles de millones, en todo el mundo. Sin embargo, los mismos argumentos de software se aplican a todas las categorías. De hecho, en el lado empresarial, es aún más difícil. Las empresas son particularmente reacias a adoptar nuevas plataformas, especialmente aquellas con hardware físico. Es costoso, laborioso y lento implementar nuevos dispositivos, capacitar a los empleados, adoptar nuevos procesos y modelos de software, y luego impulsar las iteraciones necesarias para brindar resultados netos consistentes (y mejores). En consecuencia, la mayor parte del mercado espera hasta que los casos comerciales se vuelvan grandes y claros, y actualmente están lejos de ser ambos. De hecho, la mayoría del software empresarial no tiene un "modo VR", y tampoco hay casi ningún software exclusivo para VR. Pocas organizaciones se molestarán en adoptar auriculares VR porque algunas personas en algunos equipos encuentran que a veces es una mejor manera de realizar una reunión. Existe cierto potencial en el uso de un dispositivo de RM para brindar a todos una configuración de computadora con múltiples monitores, dar a los empleados más monitores es fácil, comparativamente económico y no requiere capacitación. La resolución actual de los dispositivos XR también significa que reemplazar un monitor del mundo real por uno simulado significa mirar un sustituto borroso con píxeles de aspecto enorme. Esta es la diferencia entre mirar una pantalla 2K desde dos pies y una 4K desde dos pulgadas.

Gran parte de este ensayo se ha centrado en la realidad virtual, en lugar de las gafas AR, la categoría de dispositivos XR que la mayoría considera que es la gran oportunidad, capaz de reemplazar algún día a los teléfonos inteligentes como la plataforma informática dominante a nivel mundial, con miles de millones de usuarios diarios. El enfoque en VR refleja el hecho de que muchas inversiones en VR (o, más precisamente, MR) están sentando las bases para AR. Las baterías y la óptica son excelentes ejemplos aquí. Pero como era de esperar, esto también significa que AR está aún más lejos de ser "MVP" que VR/MR y, por lo tanto, también está más retrasado. Considere los dispositivos HoloLens enfocados en la empresa de Microsoft. En comparación con el primer modelo, lanzado en 2016, HoloLens 2 de 2019 tenía el triple de resolución y aumentaba un 60 % más la visión del usuario, con cuatro veces más núcleos de procesador, todo con el mismo peso y tamaño. Sin embargo, el precio aumentó de $ 3,000 a $ 3,500, y el dispositivo siguió siendo del tamaño de un casco. Además, apenas se aumentó el 20% de la vista del usuario, ya una resolución de 2K y 60 Hz. Y cuando se trataba de análisis ambiental, HoloLens podía reconocer poco y analizar aún menos. Del lado del consumidor, las gafas de Snap son instructivas. Los Spectacles originales, lanzados en 2016, pesaban 45 gramos, aumentaban menos del 10 % del campo de visión del usuario, usaban una pantalla de 0,5K a 60 Hz, carecían de GPS y no podían producir un renderizado 3D. El modelo 2021, Spectacles 4, agregó GPS y renderizado 3D, pero aunque la resolución se duplicó a 1K, la velocidad de fotogramas se redujo a la mitad, la cobertura permaneció en 10 % y el peso del dispositivo casi se triplicó a 135 gramos (las gafas típicas pesan menos de 50 gramos) —al igual que el precio, a $350. Y la batería aguantó menos de 30 minutos de uso. Los beneficios de todo esto fueron modestos: superposiciones AR contextualizadas básicas (por ejemplo, mariposas en un campo), un altavoz interno mucho peor que cualquier AirPod y cámaras basadas en la línea de los ojos que no requerían sacar el teléfono.

Mucha gente que conozco cree que, sin avances extraordinarios en la tecnología de las baterías, la energía inalámbrica, la óptica y el procesamiento informático, simplemente no podemos lograr los dispositivos XR que muchos de nosotros imaginamos y que posiblemente reemplazarían al teléfono inteligente o simplemente (una pregunta menor) involucrarían a unos pocos. cientos de millones de personas a diario. Apenas en diciembre pasado, seis años después de que le dijera a Venture Beat que tales dispositivos estaban a cinco o siete años de distancia, Tim Sweeney le dijo a Alex Heath: "Bueno, creo que la realidad aumentada es la plataforma del futuro. Pero está muy claro a partir de los esfuerzos de Magic Leap y otros que necesitamos no solo nueva tecnología sino, hasta cierto punto, nueva ciencia para construir una plataforma de realidad aumentada que sustituya a los teléfonos inteligentes. Y no me queda claro si eso llegará en 10 años o en 30 años. Espero que lo veamos en mi vida, pero en realidad no estoy seguro de eso".

Construyendo The Next Things y M-Words

Comencé este ensayo observando que el ritmo de desarrollo de XR no solo había decepcionado, sino que los dispositivos XR todavía parecían estar a años de distancia. Esperemos que ahora tenga una mejor comprensión de por qué. Lo que está menos claro es qué causó el optimismo generalizado y fuera de lugar. Las respuestas son probablemente una mezcla: la velocidad con la que los teléfonos inteligentes pasaron de millones de miles de millones de usuarios, 2G a 4G y un dispositivo de correo electrónico a uno en el que se basaba la economía moderna; el deseo generalizado de empresas distintas de Apple y Google de tener su propio iPhone o plataforma similar a Android (o salir de debajo de estas plataformas); y el excepcionalismo de las grandes tecnologías. También fue importante la incipiente categoría. En 2010, pocos estimaron que necesitaríamos resoluciones y frecuencias de actualización tan altas para evitar las náuseas, pero se necesitan prototipos y pruebas para descubrirlo.

Con 13 años de inversiones en XR detrás de nosotros y un lapso incierto por delante, probablemente deberíamos revisar la historia de los dispositivos que XR podría reemplazar algún día: los teléfonos inteligentes. La primera llamada de teléfono móvil fue en 1973, la primera red digital inalámbrica en 1991, el primer teléfono inteligente en 1992 (de IBM, por cierto), la tableta Apple Newton llegó en 1994 (carecía de conjuntos de chips de red móvil), con BlackBerry enfocados en empresas despegó a fines de la década de 1990, WAP lo siguió en 1999 (lo que permitió acceder a una versión primitiva de la World Wide Web desde la mayoría de los teléfonos) y los primeros servicios de medios D2C surgieron en Japón a principios de la década de 2000. El iPhone no se lanzó hasta 2007, con Android y la App Store de Apple en 2008. Está claro que 2007-2008 representó un cambio de fase de PC/computación local a móvil/nube, más de 30 años después del "comenzo" móvil. pero aun así tomó hasta 2014 que la mitad de los estadounidenses tuvieran un teléfono inteligente y 2020 para que la mitad del mundo tuviera uno.

En retrospectiva, parece particularmente erróneo haber apostado que XR se generalizaría años antes de que la persona promedio tuviera un teléfono inteligente. Hay ejemplos de generaciones de tecnología que se saltan (redes de tarjetas de crédito y PC en China y en todo el continente africano), pero a principios de la década de 2010, e incluso ahora, los teléfonos inteligentes luchan con las compensaciones entre el tamaño del dispositivo, pantallas de 1K, duración de la batería, liendres, costo, etc. Los dispositivos XR convencionales pueden pasar de los laboratorios de investigación a las manos de los consumidores más rápido que los teléfonos inteligentes, ya que se basan en muchas de las tecnologías subyacentes de los dispositivos móviles, pero necesitan más tiempo para cocinarse antes de servirse a más de gastrófilos.

Entonces, ¿qué significa todo esto cuando se trata de otra oportunidad publicitada, el llamado Metaverso, y cuándo (o si) podría llegar? A menudo, el tema del Metaverso se confunde con la idea misma o la experiencia de VR/AR/XR. Pero es importante reconocer que los dispositivos son exactamente eso: dispositivos. Pueden llegar a ser la forma mejor, más popular o preferida de acceder al Metaverso, pero todas son solo formas de acceder a él. Una buena analogía podría ser el teléfono inteligente con pantalla táctil y su relación con Internet móvil. Estos dispositivos sin duda han ampliado quién usa Internet móvil, cuándo, dónde, para qué, con qué frecuencia y qué tan bien. Pero Internet móvil no es un teléfono inteligente, ni Internet móvil necesita una pantalla táctil. Para acceder a Internet móvil, ni siquiera necesita una interfaz visual ("Hola, Siri").

Teniendo en cuenta la analogía de los teléfonos inteligentes, creo que es válido decir que la dificultad para producir hardware XR retrasará la aparición y, por lo tanto, el crecimiento del Metaverso, ya que limitará quién accede al Metaverso, cuándo, dónde, para qué, con qué frecuencia, cómo bueno, etc. Aquellos que no han usado dispositivos de realidad virtual de alta gama, especialmente en casos de uso complejos (por ejemplo, explorar los sistemas de órganos de un cuerpo humano en lugar de subirse a una montaña rusa), probablemente subestimarán lo extraordinarios que pueden ser estos dispositivos, incluso hoy. Esto es particularmente importante cuando se trata de incorporar generaciones anteriores a XR, especialmente si no han pasado décadas familiarizándose con los controladores analógicos duales que dividen el control de los ejes X e Y en entradas independientes. Pero la generación que creció jugando Legend of Zelda o socializando en Roblox no parece estar limitada por la falta de movimiento basado en la cabeza, y esta cohorte crece cada año.

AR es mucho más diferente de las experiencias virtuales actuales porque implica renderizar objetos sobre la realidad al mismo tiempo que escanea e, idealmente, interactúa con ella. Sin embargo, esta funcionalidad está siendo adoptada rápidamente por los teléfonos inteligentes. Sí, son menos intuitivos y fluidos de lo que esperan ser los anteojos, ya los usan miles de millones en todo el mundo y mejoran cada año. Los teléfonos inteligentes de hoy en día se utilizan cada vez más para escanear y comprender el mundo real que nos rodea, superponer los renderizados AR e incluso convertir instantáneamente partes de él en objetos 3D.

Captura de objetos de iPhone de Apple

La viabilidad de los teléfonos inteligentes para "The Metaverse" es tan inesperada y consecuente como demostraron ser los desafíos de XR. Considere la siguiente cita de 2022, que proviene de Neal Stephenson, quien acuñó el término "Metaverso":

"La suposición de que Metaverse es principalmente una cosa AR/VR no es una locura. En mi libro [Snow Crash, publicado en 1992] todo es VR. Y trabajé para una compañía AR [Magic Leap], una de varias que están invirtiendo miles de millones de dólares en la construcción de auriculares. Pero no vi venir los videojuegos cuando escribí Snow Crash... Gracias a los juegos, miles de millones de personas ahora se sienten cómodas navegando en entornos 3D en pantallas planas 2D. Las interfaces de usuario que han dominado [ teclado y mouse para la navegación y la cámara] no son lo que la mayoría de los escritores de ciencia ficción habrían predicho. Pero así es como funciona la dependencia de la ruta en la tecnología. Navegamos e interactuamos con fluidez en entornos 3D extremadamente ricos usando teclados que fueron diseñados para máquinas de escribir mecánicas. Un Metaverse que dejara atrás a esos usuarios y a los desarrolladores que construyen esas experiencias estaría comenzando con el pie izquierdo... Mi expectativa es que una gran cantidad de contenido de Metaverse se creará para pantallas (donde está el mercado) mientras se mantienen abiertas las opciones para el crecimiento futuro de los auriculares asequibles"

La perspectiva de Stephenson está claramente demostrada por Roblox, la plataforma 3D más popular del mundo. A fines de 2022, Roblox promedió más de 61 millones de usuarios diarios y más de 250 millones de usuarios mensuales, que lo usan durante casi 5 mil millones de horas cada mes, y había creado casi 100 millones de mundos diferentes en total, cada uno conectado en monedas, conjuntos de comunicaciones, avatares, portales. , y más. No solo todo el uso de Roblox se realiza a través de dispositivos 2D, el 90 % del uso de Roblox proviene de teléfonos inteligentes y tabletas que requieren que el usuario obstruya parcialmente la pantalla cada vez que quiera hacer algo. Y a diferencia de otros posibles favoritos de la pandemia, como Zoom, Peloton o Shopify, Roblox sigue creciendo a medida que la pandemia de COVID-19 disminuye. Los usuarios diarios aumentaron un 18 % interanual, con un uso por usuario de un 3 %. En comparación con el cuarto trimestre de 2019, Roblox ha subido casi un 100 %.

Roblox es uno de los muchos ejemplos de la suficiencia de las interfaces 2D para experiencias 3D. Si bien la plataforma tiene un modo VR, no está diseñada fundamentalmente para VR y, por lo tanto, está disponible y optimizada para los miles de millones de otros dispositivos en el mercado actual. Y, en particular, Roblox cuenta con más de 1250 veces la base de usuarios mensual del competidor de Roblox solo para realidad virtual de Meta, Horizon Worlds. Roblox también tiene entre 20 y 60 veces el tamaño de RecRoom y VRChat centrados en VR, que, a diferencia de Horizon Worlds, también se benefician del acceso basado en 2D.

Aún así, Roblox también puede verse como un caso de estudio para el optimismo de XR y el punto de Stephenson sobre la importancia de preservar la opcionalidad de XR. Si bien Roblox fue en gran parte desconocido hasta 2018, y desconocido para la mayoría hasta 2020, la plataforma se desarrolló ya en 2004 y se lanzó en 2006. Gran parte del último crecimiento de Roblox provino de mejoras técnicas en el hardware que permitieron una mayor experiencia, diría otro el principal impulsor fue generacional.

Durante los primeros dos años posteriores al lanzamiento del iPad en 2011, era común ver informes de prensa y videos virales de YouTube de bebés y niños pequeños que tomaban una revista o un libro "analógico" y trataban de "pasar" su Pantalla táctil inexistente. Hoy, esos niños de un año tienen entre doce y trece años. Una niña de cuatro años ahora está en camino a la edad adulta. Estos consumidores de medios ahora están gastando su propio dinero en contenido, y algunos ya están creando contenido ellos mismos. Y si bien ahora entienden por qué los adultos encontraron sus esfuerzos inútiles para hacer zoom en una hoja de papel tan cómicos, las generaciones mayores están atrapadas observando cómo las visiones del mundo y las preferencias de los jóvenes difieren de las suyas. La mayoría de estos consumidores ven el mundo como interactivo e inmersivo, y no buscan YouTube o Snapchat como lo hicieron los millennials, sino Roblox o Minecraft. Su preferencia por la interactividad social es tan grande que adoptan plataformas que, como la realidad virtual actual, parecen rudimentarias y técnicamente insuficientes. Esta tendencia secular explica el crecimiento de Roblox incluso cuando la pandemia ha disminuido. Cada año, su mercado objetivo crece en 140 millones de niños que van de los ocho a los nueve años, todos los cuales son 'nativos de iPad', lo que es un crecimiento más que suficiente para compensar a los usuarios que abandonaron la plataforma o redujeron su uso desde entonces. 2021.

Entonces, tal vez deberíamos pensar en las plataformas informáticas como si tuvieran tres pasos subyacentes. El 'Paso Uno' es cuando una nueva tecnología logra su MVP. El segundo paso es cuando una generación ha crecido usando esa tecnología. Por ejemplo, el iPad alcanzó el Paso Uno en 2011, pero solo en los últimos años aquellos que crecieron desde 2011 pudieron dirigir su propio consumo y gasto de medios. El paso tres es cuando los nativos de una nueva tecnología se convierten en empresarios. Facebook es una buena manera de entender la importancia del Paso Tres. Facebook era técnicamente posible mucho antes de que se creara en 2004. Pero Mark Zuckerberg, un joven de 19 años que creció en la Internet de la década de 1990, creó Facebook y luego lo adoptó sus pares, también de la Internet de la década de 1990. Evan Spiegel, el creador de Snapchat, fue similar, pero del Internet móvil. Esto es optimista para las plataformas sociales inmersivas, ya que nos acercamos al Paso Tres para esa generación. Pero el momento para la realidad virtual es menos seguro.

Es posible que ya hayamos llegado al primer paso con la realidad virtual. O puede ser inminente, o quizás vence en la próxima década. Alternativamente, es posible que la realidad virtual nunca sea la corriente principal (definida por miles de millones de dispositivos) y, en cambio, sirva principalmente como I + D en el camino hacia la realidad aumentada convencional. Como mencioné anteriormente, el "cuándo" para la tecnología es más un "cuándo es qué, utilizado por quién, por qué y con qué fin". Es por eso que no hay respuestas establecidas para cuándo la empresa A debe adoptar el hardware B o el servicio C, ni cuándo es demasiado pronto o demasiado tarde para construir X o Y. No era demasiado tarde para lanzar un teléfono inteligente en la década de 2000: una década. después de que BlackBerry, Palm, Nokia, Windows Mobile llegaran al mercado, pero podría haber sido si hubieran hecho las apuestas correctas en la interfaz (centrada en el tacto, no centrada en el teclado), punto de precio ($500 no $0-200); mercado central (consumidores, no empresas) y así sucesivamente. A principios de la década de 2010, era demasiado tarde para lanzar un nuevo teléfono inteligente (o relanzar uno, como lo demostró Windows Phone). Snapchat, Instagram y TikTok demostraron que aún se pueden lanzar redes sociales y servicios de medios hasta siete años después del teléfono inteligente, aunque ninguno desplazó a Facebook, que debutó años antes que el iPhone o Android. ¿Qué pasa con el metaverso? El tiempo dirá.

Sin embargo, una prueba de despedida. Cuando Neal Stephenson escribió Snow Crash en 1992, lo situó en el futuro, en una época en la que más de cien millones de personas usaban gafas AR/VR con regularidad. ¿Cuándo crees que fue? A mediados de la década de 2010. :)

Mateo Ball (@ballmatthew)

Reciba todos los ensayos, el día de su publicación.