El vídeo proporcionado por META explica cómo el sistema de seguimiento Oculus Insight k rastrea de forma precisa y eficiente los movimientos de las manos y la cabeza. Los acelerómetros, giroscopios y cámaras integradas en el propio hardware proporcionan un flujo de datos (esencialmente cada vez que la luz blanca está encendida en la parte superior del Quest) que se analiza constantemente para predecir el movimiento. Estas predicciones se utilizan para dibujar las imágenes de su mundo virtual exactamente donde estará su cabeza en el momento justo.
Del laboratorio a la sala de estar: la historia detrás de la tecnología Oculus Insight de Facebook y una nueva era de la realidad virtual para el consumidor
El hardware de realidad virtual estaba conectado a una PC, hasta que un equipo de ingeniería de Facebook encontró una manera de cortar el cable.
Cuando Anna Kozminski se unió a Facebook como gerente de programas de software en 2018, su mandato era claro: ayudar a cortar el cable de los dispositivos de realidad virtual, para que cualquiera, en cualquier lugar, pudiera ponerse unos auriculares y sumergirse instantáneamente en la realidad virtual, sin tener que configurar dispositivos externos. Cámaras de seguimiento para capturar sus movimientos.
“Queríamos crear un sistema que le permitiera moverse y explorar un mundo de realidad virtual con tanta naturalidad y facilidad como lo haría en la vida real”, dice Kozminski.
Kozminski se unió a un equipo cuya misión era crear el primer sistema de seguimiento “de adentro hacia afuera” con todas las funciones para un dispositivo de realidad virtual de consumo. La tecnología tendría que rastrear todo el rango de movimientos de una persona (conocido como seis grados de libertad) y ser capaz de señalar la ubicación de los dos controladores portátiles, así como de los auriculares.
Anteriormente, los dispositivos de realidad virtual dependían de sensores externos para rastrear estos movimientos. Estas cámaras se conectan a una PC y, si bien funcionan bien, hacen que la realidad virtual sea menos portátil y más complicada de configurar.
“Con el seguimiento de adentro hacia afuera en los auriculares, la realidad virtual se vuelve tan fácil como ponerse los auriculares para escuchar música”, dice Kozminski.
Pero la misión del equipo no fue nada fácil. Tuvieron que tomar tecnología de visión por computadora de última generación del laboratorio de investigación y hacerla funcionar en un dispositivo de consumo que cualquiera pudiera usar. El seguimiento tenía que ser preciso hasta menos de un milímetro, suficiente para capturar una inclinación sutil de la cabeza o un movimiento de la mano. Tenía que ser lo suficientemente robusto para funcionar en una variedad casi infinita de condiciones que se encuentran en los hogares del mundo real. Y tenía que ser lo suficientemente eficiente como para funcionar en un dispositivo que funciona con batería como Oculus Quest.
Oculus Quest es el primer dispositivo de realidad virtual para consumidores con seguimiento completo de seis grados de libertad y seguimiento de controlador dual integrado en el propio casco.
Para hacer esto, Kozminski y su equipo utilizaron visión por computadora y algoritmos construidos a mano para generar un mapa 3D en tiempo real de su entorno inmediato para que los auriculares pudieran calcular su posición dentro del mapa y traducirlo a realidad virtual.
A este sistema lo llamamos Oculus Insight y es lo que hace posibles nuestros nuevos auriculares Oculus Quest y Rift S. Y hoy, revelamos cómo un equipo de ingenieros en Zurich, Menlo Park y Seattle dieron vida a esa tecnología.
https://www.facebook.com/v19.0/plugins/video.php?allowfullscreen=true&app_id=&channel=https%3A%2F%2Fstaticxx.facebook.com%2Fx%2Fconnect%2Fxd_arbiter%2F%3Fversion%3D46%23cb%3Df9c176906b9d880d9%26domain%3Dtech.facebook.com%26is_canvas%3Dfalse%26origin%3Dhttps%253A%252F%252Ftech.facebook.com%252Ff8d76ceb98d003f10%26relation%3Dparent.parent&container_width=1060&href=https%3A%2F%2Fwww.facebook.com%2Fwatch%2F%3Fv%3D527223911184073&lazy=true&locale=en_US&sdk=joey&width=autoEste video muestra las cámaras y los sensores de seguimiento del visor Oculus Quest.
Tomando la tecnología SLAM…
La base del seguimiento de adentro hacia afuera de Oculus Insight es la localización y el mapeo simultáneos, o SLAM , que utiliza algoritmos CV de visión por computadora para esencialmente fusionar datos entrantes de múltiples sensores para fijar la posición de un objeto dentro de un mapa digital constantemente actualizado. SLAM se ha utilizado en robótica y en efectos de cámara AR en teléfonos inteligentes y se demostró en el prototipo de casco VR Oculus Santa Cruz en 2016. Pero Oculus Insight requería un nivel de precisión y eficiencia sin precedentes, y eso significó adaptar las últimas investigaciones sobre seguimiento y computación. visión.
“Muchas de estas tecnologías realmente comienzan en el mundo académico, dentro del laboratorio”, señala Kozminski. No es coincidencia, entonces, que ella sea parte del equipo de ingenieros de Facebook con sede en Zurich, muchos de los cuales provienen de Zurich Eye , un programa conjunto de la prestigiosa Universidad ETH y la Universidad de Zurich que investigó sistemas de navegación autónoma.
Para construir una versión nueva y más avanzada de SLAM, el equipo de ingeniería se basó en los años de investigación e ingeniería de inteligencia artificial de Facebook, construyendo sistemas para comprender los objetos y acciones que aparecen en los videos y creando algoritmos de visión por computadora altamente eficientes que funcionan bien en dispositivos móviles. .
…y hacerlo funcionar con dispositivos VR de última generación
Oskar Linde, el arquitecto principal de percepción de máquinas del equipo de Facebook que trabajó en Oculus Insight, ya tenía experiencia en la construcción de sistemas SLAM ultraeficientes. Linde había cofundado 13th Lab, una startup que demostró el primer uso mundial de SLAM visual en una aplicación de consumo como parte de un juego AR móvil en 2011. Cuando Facebook adquirió 13th Lab y su tecnología SLAM en 2014 , Linde se unió a la empresa para desarrollar aplicaciones independientes. seguimiento de adentro hacia afuera para cascos de realidad virtual, formando el equipo que inició el desarrollo continuo de Oculus Insight.
En 2017, el equipo de Oculus Insight estaba en pleno apogeo, aunque se enfrentaban a un desafío central: crear un seguimiento basado en SLAM que fuera extremadamente preciso y lo suficientemente eficiente como para ejecutarse en un dispositivo móvil como Oculus Quest. A Linde se unió el gerente de ingeniería Joel Hesch, quien anteriormente había estudiado aplicaciones SLAM utilizando sensores visuales, láser e inerciales para ayudar a la navegación del robot, y trabajó en aplicaciones móviles de AR y VR. Hesch se unió a Facebook para liderar el equipo que llevaría Oculus Insight a Quest y Rift S.
https://www.facebook.com/v19.0/plugins/video.php?allowfullscreen=true&app_id=&channel=https%3A%2F%2Fstaticxx.facebook.com%2Fx%2Fconnect%2Fxd_arbiter%2F%3Fversion%3D46%23cb%3Dfd8b81eb697c73e83%26domain%3Dtech.facebook.com%26is_canvas%3Dfalse%26origin%3Dhttps%253A%252F%252Ftech.facebook.com%252Ff8d76ceb98d003f10%26relation%3Dparent.parent&container_width=1060&href=https%3A%2F%2Fwww.facebook.com%2Fwatch%2F%3Fv%3D498533174029482&lazy=true&locale=en_US&sdk=joey&width=autoEste vídeo proporciona una descripción técnica de cómo funciona Oculus Insight.
Linde, Hesch, Kozminski y su equipo se basaron en el trabajo SLAM anterior de Facebook para el uso de AR móvil, así como en la tecnología de seguimiento del sistema Oculus Rift VR original, pero tuvieron que encontrar nuevas formas de adaptarlos y rediseñarlos para el seguimiento de adentro hacia afuera. en cascos de realidad virtual.
En un teléfono inteligente, SLAM usa la cámara del teléfono para crear efectos de fotografía y video “mundiales”. Pero con la realidad virtual, hay múltiples cámaras, sensores adicionales y tres objetos diferentes para rastrear en el espacio 3D.
“Tenemos tres piezas móviles a la vez: los auriculares y luego dos controladores adicionales”, dice Kozminski. “Necesitamos conseguir esa postura exactamente correcta cada vez”.
También hay otras complicaciones. Los LED infrarrojos de los dos controladores manuales cambian drásticamente de apariencia cuando se acercan o se alejan de los auriculares mientras mueves una espada virtual o maniobras una nave espacial virtual. Oculus Insight también utiliza otros sensores, extrayendo datos de aceleración y velocidad de las unidades de medición inercial (IMU) ubicadas en los auriculares y los controladores. El sistema debe procesar todos estos puntos de datos en tiempo real y, en el caso de Quest, en un chipset móvil.
Precisión hasta el milímetro
Para abordar todos estos desafíos, el equipo de Oculus Insight perfeccionó metódicamente su sistema. Construyeron nuevos algoritmos de visión por computadora para aumentar la precisión y velocidad de seguimiento del sistema. Grabaron miles de horas de vídeo en una amplia gama de entornos de muestra y luego utilizaron el metraje para enseñar al sistema a identificar características en su entorno. Al detectar y rastrear, digamos, las esquinas de un sofá o el borde de una mesa, Oculus Insight puede triangular la ubicación exacta de una persona dentro de una habitación, en tiempo real, de manera similar a la forma en que nuestros ojos detectan objetos para ayudarnos a orientarnos.
El equipo también utilizó conjuntos de cámaras de captura de movimiento OptiTrack extremadamente precisas, el mismo tipo de cámaras utilizadas para las producciones VFX de Hollywood. Al comparar las mediciones registradas con las cámaras OptiTrack con los datos de Oculus Insight, los ingenieros pudieron ajustar los algoritmos de visión por computadora del sistema para que tuvieran una precisión de un milímetro.
Obtener las matemáticas (y los toques humanos) adecuados para la mejor experiencia de realidad virtual posible
Si bien el enfoque dentro de un laboratorio de investigación es lograr resultados mensurables, precisos y repetibles, construir con un enfoque en las personas que usarían esta tecnología en su vida diaria requirió un cambio de enfoque hacia métricas de percepción. En otras palabras: ¿Cómo se siente realmente una experiencia determinada para la persona dentro de la realidad virtual?
Para abordar artefactos perceptivos como la natación (la sensación de desorientación que se tiene cuando las posiciones y movimientos físicos y virtuales no se alinean) y la vibración (estroboscópico visual y manchas entre fotogramas), el equipo de ingeniería se volvió creativo.
David Vogt, un ingeniero radicado en Zurich, instala un sistema de captura de movimiento OptiTrack (del mismo tipo que se utiliza en las películas de acción de Hollywood) para registrar movimientos y mejorar el seguimiento de Oculus Insight.
El equipo de Zurich dedicó una cantidad exhaustiva de tiempo y energía a probar Oculus Insight con el sistema de captura de movimiento OptiTrack en varios entornos y bajo diversas condiciones, utilizándose ellos mismos como sujetos de prueba.
Esta sala en el laboratorio de Facebook en Zurich es una de las cientos utilizadas por ingenieros para probar cómo funciona Oculus Insight en entornos del mundo real.
Llevando el seguimiento de adentro hacia afuera más allá de la realidad virtual
Hoy, Oculus Insight hace que sea más fácil que nunca para las personas experimentar la realidad virtual. Con Rift S, simplemente conecta sus auriculares a su PC, sin necesidad de otros cables ni conexiones. Quest elimina la computadora por completo para permitir experiencias a escala de habitación desde el primer momento. Pero nuestra visión del futuro va más allá de lo que es posible hoy.
La misma tecnología que actualmente impulsa Oculus Insight (así como las experiencias de AR en Facebook, Instagram, Messenger) finalmente se traducirá en nuevas experiencias en dispositivos futuros. Con el tiempo, será la base de las gafas AR livianas y elegantes.
Todavía nos queda un largo camino por recorrer, pero Oculus Insight nos acerca un paso más.
“En los rebaños de ovejas, preocupa el lobo, y casi siempre terminan en la cazuela”.
recuerda … Pedro y el lobo…
Cuetlachtli, «lobo» en las meditaciones aztecas.
Cuetlachtli
Espacio dirigido a la aceptación del rechazo. El lobo es un depredador natural y en esencia carnívoro. Puede atacar a presas muy pequeñas, como conejos, ratones o ardillas, y animales de mayor tamaño y peso que el suyo, como venados y jabalíes. Acostumbra a cazar en manada a través de hábiles estrategias de acoso, de manera que es difícil que una presa se les escape. Teme al hombre, pero lo ataca cuando lo ve solo y vulnerable. Aunque prefiere vivir y cazar en bosques y campos abiertos, y rehúye de los lugares poblados, en situaciones que lo merezcan es capaz de cazar rebaños de ovejas, cabras y vacas. Es hábil para entrar en los gallineros, lo que le ha creado fama de dañino y pernicioso.
Inducción Prepara el lugar y el momento para tu meditación, de manera que nada la interrumpa. Colócate en una postura cómoda, con la espalda apoyada en la pared, un mueble o cualquier objeto que te haga sentir firme. Si lo deseas, puedes acostarte. Aleja cualquier objeto que te estorbe. Si puedes, coloca cerca de ti una vasija con flores o una cesta con frutas aromáticas. Respira suavemente. Ahora comienza a leer lenta y pausadamente. Si quieres, graba tu voz y, a continuación, cierra los ojos –que mantendrás cerrados durante todo el ejercicio– y escucha.
Trance Respira suave, lenta y pausadamente, bajo tu propio tiempo, sin prisa. Siente cómo el aire entra hasta lo más profundo de tus pulmones y te llena de oxígeno, energía y vida.
Exhala suave y prolongadamente con el fin de expulsar todo aquello que no necesita estar dentro de ti. Ahora concentra toda tu energía y atención en el centro de ti mismo. En ese lugar, en el centro de tu ser, ves un lobo. Lo puedes ver bien, avanza con su trote característico, en medio del bosque, camina con seguridad, confiando en su aguda vista, en su fino olfato y en su privilegiado oído. Es hábil para captar las cosas, puede detectar con antelación la presa que desea cazar. También es diestro para avizorar el peligro y evitarlo. Sabe que no tiene muchos enemigos; pocos animales se atreven a enfrentarlo porque conocen su fuerza, su energía y su rapidez. De ser necesario, solo le basta con aullar y su manada acude en su ayuda. Eso le gusta, tiene un buen grupo familiar que lo apoya, lo acompaña y nunca lo deja solo. Es buen padre o madre porque cuida con esmero de sus cachorros, los acompaña y los alimenta hasta que son independientes. Los defiende con valentía. Sabe que algunas personas lo consideran un animal destructivo, traicionero y feroz. Ahora, mientras observas a ese lobo caminar por el bosque, poco a poco te conviertes en él. Te has hecho dueño de su personalidad, eres tú. Te das cuenta de que caminas por la vida con gran seguridad, conoces muy bien los caminos por los que te mueves, reconoces que tienes buena vista para detectar oportunidades, negocios, trabajos o clientes. También aceptas que tienes buen oído, sabes escuchar, eres atento, captas las noticias, estás al tanto de los últimos acontecimientos. Gracias a tu buen olfato, percibes con claridad los riesgos. Logras identificar con rapidez cuándo una situación no te favorece. Y cuando has elegido tu objetivo, sabes llegar a él con certeza, seguridad y fuerza. También te das cuenta de que tienes buenos aliados, has sabido rodearte de buenos amigos, socios, compañeros y familiares que te apoyan, trabajan contigo y te son leales. Ya te observaste a ti mismo ser un buen padre o madre de familia. Te gusta cuidar de los tuyos y lo haces bien. Siempre estás dispuesto a protegerlos con toda tu energía. Así eres y así te ven los demás. Tal vez a otras personas les pareces agresivo, hostil y amenazante. Y en ocasiones eso te ha incomodado o, francamente, te ha molestado. En este momento lo piensas reposadamente, y te dices que no importa. Que tú sabes perfectamente quién y cómo eres. Que no vale la pena dejar tu energía en los pensamientos o las ideas de los demás. Que tu fuerza y sagacidad las aprovechas en tu beneficio, y en el de tus seres queridos. Te das cuenta de que haces lo tuyo, y obtienes lo que necesitas. No agredes ni dañas, aunque los demás lo piensen. Vas por lo tuyo, solamente; lo tuyo. El rechazo de los demás es más bien incomprensión, y te percatas de que no los necesitas. ¿Te das cuenta de cómo lo has hecho en tu vida? ¿Sabes ahora lo que has estado haciendo por temor a que los demás te consideren agresivo? ¿Te das cuenta de lo que has dejado de hacer? Y una vez que lo has hecho, ¿qué decides? ¿Qué harás en adelante?
