Caso 1 – IKEA Place
Nombre de la aplicación: IKEA Place
Tipo de aplicación: Realidad aumentada (RA)
Autoría: IKEA | Inter IKEA Systems B.V.
Año de lanzamiento: 2017
Tecnología principal: ARKit de Apple
Página web: IKEA
Vídeo: Say Hej to IKEA Place
Tecnología
IKEA Place es una aplicación de realidad aumentada para dispositivos móviles que permite visualizar modelos tridimensionales de muebles en la vida real. La aplicación utiliza la cámara del móvil para obtener información del entorno y situar los objetos virtuales de forma correcta.
En su lanzamiento, IKEA Place estaba construida sobre ARKit, la plataforma de realidad aumentada de Apple. Los productos se representaban mediante modelos tridimensionales a escala real, de forma que el usuario podía comprobar cómo encajaría un mueble en una habitación antes de comprarlo.
Se puede relacionar la aplicación con la captación, los sensores, el mapeo y el reconocimiento de superficies. El móvil actúa como interfaz física mediante la cámara y sensores obtiene información del espacio. Esta información es procesada por el sistema y permite determinar dónde situar los objetos.
ARKit dispone de mecanismos para detectar superficies del entorno y crear referencias espaciales sobre las que colocar contenido tridimensional. Esto permite que un objeto virtual permanezca asociado a una determinada zona del espacio mientras el usuario mueve el dispositivo.
Descripción
Para entender la tecnología detrás de IKEA Place, podemos recurrir al continuo de la realidad mixta definido por Milgram y Kishino. Este modelo teórico propone una línea continua que conecta el mundo físico con el entorno virtual. Dentro de este mapa, la aplicación de IKEA se sitúa exactamente en el área de la realidad aumentada, ya que toma como base el espacio real del usuario y se limita a superponer elementos digitales en este caso, muebles en 3D en tiempo real.
La aplicación permite seleccionar un producto del catálogo y colocarlo virtualmente dentro de una habitación. El objeto es una representación tridimensional generada por el sistema.
La imagen digital se superpone a la imagen procedente del mundo físico, incorporando elementos intangibles a una experiencia fundamentalmente tangible.
Uno de los aspectos más interesantes de IKEA Place es que el objeto virtual no se limita a aparecer como una imagen plana sobre la pantalla. El sistema intenta mantener una relación espacial coherente entre el mueble virtual y la habitación. Los productos se representan en tres dimensiones y a escala real. IKEA indicaba en el lanzamiento una precisión aproximada del 98% en la representación del tamaño.
Esto resulta importante desde el punto de vista del diseño de la experiencia. El usuario puede desplazarse alrededor del objeto y observarlo desde diferentes posiciones. Por tanto, existe una relación entre los movimientos físicos del usuario y la actualización de la representación digital.
La información captada por los sensores del dispositivo se relaciona con variables utilizadas por la interfaz lógica para actualizar la posición y orientación del objeto virtual. Si el usuario mueve el teléfono, el sistema modifica la representación digital para mantener el mueble situado en el espacio.
También interviene la correspondencia entre el entorno físico y el digital. Para que la experiencia resulte convincente, el mueble debe conservar una posición estable respecto al suelo y al resto de elementos de la habitación.
La aplicación presenta además una forma de interacción sencilla. El usuario selecciona un objeto del catálogo, lo coloca en el espacio y puede modificar su posición. La interfaz física es principalmente el teléfono, mientras que la pantalla constituye el medio de salida mediante el cual se observa la combinación entre el mundo físico y el objeto virtual.
Caso 2 – Robo3D Lab – Augmented Virtuality Training Scenario
Nombre de la aplicación: Robo3D Lab – Augmented Virtuality Training Scenario
Tipo de aplicación: Virtualidad aumentada (VA)
Autores: Tero Kaarlela, Paulo Padrão, Tomi Pitkäaho, Sakari Pieskä y Leonardo Bobadilla
Año de lanzamiento: 2023
Institución: Centria University of Applied Sciences / Florida International University
Tecnologías principales: Realidad virtual, realidad aumentada, digital twins, Unity3D, WebXR, MQTT y robot colaborativo
Publicación: Digital Twins Utilizing XR-Technology as Robotic Training Tools
Tecnología
El usuario se encuentra dentro de un entorno digital, pero hay algunos elementos procedentes del mundo real que se incorporan a la experiencia.
El sistema utiliza un modelo virtual del laboratorio Robo3D Lab creado a partir de información obtenida mediante un escáner láser tridimensional. La nube de puntos obtenida del mundo real se utiliza como referencia para crear un modelo tridimensional que posteriormente se procesa con Blender y se integra en Unity3D.
El entorno virtual permite realizar diferentes escenarios de entrenamiento relacionados con robótica. Uno de ellos es específicamente denominado por los autores Augmented Virtuality Training Scenario.
En este escenario hay un robot físico situado en el laboratorio que cuenta con una representación digital, conocida como gemelo digital. La información del robot físico y de su representación digital se intercambia mediante un servidor que utiliza el protocolo MQTT.
El sistema permite intercambiar información sobre aspectos como la posición y la velocidad del robot, así como el estado de su pinza.
Descripción
La virtualidad aumentada se produce cuando el entorno virtual tiene un peso predominante y se incorporan elementos procedentes del mundo físico.
Esta característica diferencia Robo3D Lab de un sistema de realidad aumentada convencional. En IKEA Place el usuario observa el mundo físico y añade muebles virtuales. En Robo3D Lab ocurre prácticamente lo contrario el usuario se introduce en un entorno digital y determinados elementos físicos son incorporados a la experiencia.
En este caso, el robot físico está conectado con su representación digital. El usuario puede interactuar con el entorno virtual mientras la información del robot se transmite al sistema.
Los autores describen el escenario de entrenamiento mediante un robot colaborativo equipado con una pinza de dos dedos. La posición, velocidad y estado de la pinza pueden comunicarse entre el sistema físico y el digital.
Intervienen sensores e interfaces físicas capaces de obtener información del mundo físico. Esta información llega posteriormente al sistema digital y se utiliza para actualizar el entorno virtual.
Los datos procedentes del sistema físico deben relacionarse con las variables utilizadas por la representación en digital. La correspondencia entre el robot real y el robot virtual tiene que mantenerse para que la experiencia resulte coherente.
También se utiliza una interfaz lógica que procesa las entradas procedentes del mundo físico y las convierte en cambios dentro del entorno virtual. A su vez, el entorno digital puede utilizarse como medio de interacción con el sistema físico.
La arquitectura emplea Unity3D para el entorno virtual y WebXR para facilitar la interacción con el espacio digital. Además, el protocolo MQTT permite establecer una comunicación bidireccional entre los gemelos digitales y los elementos físicos.
El objeto físico y su representación virtual no son dos elementos completamente independientes, sino que mantienen una relación dinámica. El modelo digital permite visualizar y manipular el comportamiento del robot dentro de un entorno inmersivo, mientras que la información del robot real puede alimentar la experiencia.
El entorno virtual puede representar situaciones que serían costosas de reproducir físicamente.
Robo3D Lab encaja de manera clara en la categoría de VA. El entorno que observa y experimenta el usuario es fundamentalmente virtual, pero existe una incorporación significativa de información procedente de objetos y sistemas físicos.
La principal dificultad de este tipo de sistemas está en mantener la correspondencia entre los dos mundos. Si el robot físico y su representación virtual dejan de estar sincronizados, la experiencia pierde coherencia. El sistema necesita, por tanto, una comunicación suficientemente rápida y precisa.
Caso 3 – Half-Life: Alyx
Nombre de la aplicación: Half-Life: Alyx
Tipo de aplicación: Realidad virtual (RV)
Autoría: Valve
Año de lanzamiento: 2020
Plataforma: SteamVR / Windows
Motor: Source 2
Página web: Half-Life: Alyx
Vídeo: Half-Life: Alyx Announcement Trailer
Tecnología
Half-Life: Alyx es un videojuego desarrollado por Valve para realidad virtual. Valve lo define como un juego creado desde cero para realidad virtual compatible con diferentes sistemas SteamVR.
El usuario utiliza un HMD (Head-Mounted Display) para visualizar el entorno virtual. Según el glosario, el HMD es un visor que coloca la salida visual del sistema cerca de los ojos y permite crear una experiencia estereoscópica.
La aplicación puede utilizar diferentes dispositivos de entrada, incluyendo controladores con seguimiento de movimiento. Valve desarrolló el juego conjuntamente con los controladores Valve Index, aunque también es compatible con otros sistemas como HTC Vive, Oculus Rift y Windows Mixed Reality.
El sistema permite diferentes formas de desplazamiento como el movimiento continuo y el teletransporte. También admite configuraciones de juego sentado, de pie y a escala de habitación.
Descripción
Dentro del continuo desarrollo de la realidad mixta de Milgram y Kishino, Half-Life: Alyx puede situarse en el extremo de la realidad virtual. La experiencia visual que recibe el usuario procede del sistema digital y no de una superposición sobre el entorno físico que está delante de él.
A diferencia de IKEA Place, donde sigues viendo tu habitación, en Half-Life: Alyx el visor te aísla por completo del exterior para meterte dentro de un mundo 3D creado por el ordenador.
El entorno virtual está formado por objetos, propiedades, comportamientos y reglas que determinan cómo funciona el mundo digital. Esto permite al usuario no limitarse a observar una escena, sino interactuar con numerosos elementos.
Una de las características más importantes de la aplicación es precisamente la interacción. El usuario puede coger objetos, manipular herramientas, abrir elementos del entorno, lanzar objetos o realizar acciones directamente mediante los controladores.
Esto permite aplicar el concepto de agencia y correspondencia del glosario. El usuario percibe una relación entre sus acciones físicas y las respuestas que tienen lugar dentro del entorno virtual.
El mapeo es fundamental en este proceso. Los movimientos y acciones captados por los dispositivos físicos se transforman en acciones dentro del entorno digital.
Los controladores funcionan como parte de la interfaz física. Captan acciones del usuario y permiten introducirlas en el sistema. El HMD actúa principalmente como dispositivo de salida visual, aunque los sistemas modernos incorporan también sensores y mecanismos de seguimiento.
La experiencia depende igualmente del tiempo real. El entorno tiene que responder con suficiente rapidez a los movimientos del usuario para evitar que exista una separación perceptible entre la acción física y la respuesta digital. En una experiencia de realidad virtual, esta correspondencia temporal resulta especialmente importante porque el usuario mueve la cabeza y las manos constantemente mientras observa el entorno.
La estereoscopia también tiene un papel importante. El sistema proporciona imágenes diferentes para cada ojo con el objetivo de generar una percepción de profundidad. Esto contribuye a que los objetos del entorno virtual parezcan ocupar posiciones tridimensionales.
La aplicación permite además utilizar diferentes métodos de locomoción. El teletransporte permite seleccionar una posición y trasladarse hasta ella, mientras que el movimiento continuo permite recorrer el espacio virtual de una forma más parecida a caminar.
Desde el punto de vista del diseño, esta variedad es relevante porque permite adaptar la interacción a diferentes condiciones físicas y preferencias de los usuarios. El sistema no depende de una única forma de desplazamiento.
Otro aspecto destacable es que el diseño de las interacciones está integrado en la propia estructura del juego. Manipular objetos, resolver determinados problemas y utilizar herramientas no son acciones externas al sistema, sino parte de la experiencia.
Esto hace que la realidad virtual no funcione únicamente como un mecanismo para mostrar imágenes tridimensionales. La aplicación utiliza la capacidad de interacción del entorno virtual como una parte esencial del diseño.
Half-Life: Alyx constituye un ejemplo claro de realidad virtual interactiva, el usuario recibe estímulos digitales en tiempo real, utiliza interfaces físicas para interactuar y percibe las consecuencias de sus acciones dentro de un entorno virtual tridimensional.
Bibliografía
Materiales de la UOC
- Ferrer, J. (2018). Realidad y virtualidad. Realidad mixta, UOC. Realidad y virtualidad – UOC
- UOC. El continuo de la realidad mixta. Materiales de la asignatura 76.540 – Realidad virtual.
- UOC. Realidad aumentada. Materiales de la asignatura 76.540 – Realidad virtual.
- UOC. Virtualidad aumentada. Materiales de la asignatura 76.540 – Realidad virtual.
- UOC. Realidad virtual. Materiales de la asignatura 76.540 – Realidad virtual.
- UOC. Tecnología. Materiales de la asignatura 76.540 – Realidad virtual.
- UOC. Glosario de realidad mixta. Materiales de la asignatura 76.540 – Realidad virtual.
IKEA Place
- IKEA. (2017). New collaboration between IKEA and Apple. IKEA Global. IKEA Global – New collaboration between IKEA and Apple
- IKEA. (2017). IKEA Place, a furniture-placement app with AR technology. IKEA Newsroom. IKEA Place – IKEA
- IKEA. (2018). IKEA Place app now on Android too. IKEA Global. IKEA Global – IKEA Place en Android
- IKEA. (2017). Say Hej to IKEA Place. YouTube. Vídeo oficial de IKEA – Say Hej to IKEA Place
- Apple. ARKit. Apple Developer Documentation. Apple Developer – ARKit
Robo3D Lab – Augmented Virtuality Training Scenario
- Kaarlela, T., Padrão, P., Pitkäaho, T., Pieskä, S., & Bobadilla, L. (2023). Digital Twins Utilizing XR-Technology as Robotic Training Tools. Machines, 11(1), 13. Artículo científico – MDPI
- Kaarlela, T., Padrão, P., Pitkäaho, T., Pieskä, S., & Bobadilla, L. (2023). Digital Twins Utilizing XR-Technology as Robotic Training Tools. European Robotics Forum 2023. European Robotics Forum – artículo/presentación
- Centria University of Applied Sciences. Robo3D Lab. Centria University of Applied Sciences.
- UOC. Virtualidad aumentada. Materiales de la asignatura – Realidad virtual.
Half-Life: Alyx
- Valve. (2020). Half-Life: Alyx. Valve. Página oficial de Half-Life: Alyx
- Steam. Half-Life: Alyx. Valve Corporation. Half-Life: Alyx en Steam
- Valve. Valve Index. Valve Corporation. Valve Index en Steam
Este es un espacio de trabajo personal de un/a estudiante de la Universitat Oberta de Catalunya. Cualquier contenido publicado en este espacio es responsabilidad de su autor/a.