Partículas, movimiento e interactividad

By 29 octubre, 2018Tecnología
motion capture tmtfactory

Últimamente, nos hemos visto experimentando con la tecnología por captura de movimiento, conocida como motion capture o motion tracking, y parece que ha llegado al retail para quedarse.

¿Te imaginas pasar por un escaparate y que este cree formas con partículas a partir de tu propio movimiento? O, mejor aún, ¿te imaginas que este emita un mensaje según el estado de ánimo que refleja tu propio rostro?

Sí, reconocemos que esto se parece a una de las míticas escenas de la película Minority Report pero la realidad en este caso ya supera a la ficción.

Qué es el motion capture

Es una tecnología capaz de medir el movimiento de las personas a través de marcadores que se sitúan en diferentes partes del cuerpo humano cuando una persona interactúa con esta. Es decir que es posible crear contenidos visuales en función de esos movimientos e incluso lanzar mensajes determinados por la información que se recibe del sujeto capturado.

En un lenguaje más técnico, con el motion tracking se fijan unas marcas que siguen al sujeto almacenando su posición a partir de fuentes de radiación -como rayos infrarrojos o ultrasonidos- que se reflejan hacia un detector. Este detector -hoy en día, cámaras full HD- capta las posiciones de estos rayos creando marcas individuales y almacenando sus coordenadas, pero no graban las imágenes. De este modo, al procesarse los datos se calculan todos esos parámetros cinemáticos capturados, principalmente, de las articulaciones o de los marcadores faciales del sujeto. Y así podremos identificar los distintos tipos de cuerpos (humanos, cánidos, equinos…), detectar las posturas y los rasgos faciales e interpolar las emociones a partir de ellas.

A continuación, un ejemplo:

De dónde viene su desarrollo

Las primeras experimentaciones se llevaron a cabo con Kinect y su línea de dispositivos con sensores de movimiento producidos por Microsoft para sus consolas de entretenimiento, pero lo que verdaderamente ha enriquecido esta tecnología a lo largo de estos años ha sido toda la comunidad de desarrolladores que se ha creado alrededor de este proyecto open source. Esta red global de colaboradores altruista ha ido mejorando y engrandeciendo esta tecnología -compartiendo librerías en plataformas colaborativas como GitHub o OpenProcessing– hasta el punto de hacerla asequible para cualquiera con un ordenador y ciertos conocimientos básicos de los lenguajes informáticos más comunes.

Ahora, además, con el auge de la inteligencia artificial y el machine learning esta tecnología no para de evolucionar hacia horizontes ilimitados, ya que puede llegar a separar los cuerpos de los planos y jugar con la profundidad de campo.

Cómo se puede aplicar

El motion capture ha sido el método más utilizado en la industria de los videojuegos para mejorar las dinámicas y el realismo de estos, y desde hace unos años ha aterrizado en el cine creando personajes imposibles desde el punto de vista de la veracidad.

Pero no hace falta ir tan lejos para aprovechar esta tecnología en el campo del retail. Se puede aplicar tanto en instalaciones multimedia como en stands o escaparates que detecten los movimientos de los consumidores solo con pasar por delante o al interactuar frente a ellos. O también podemos, simplemente, optimizarla para proyectos web y para ejecutar en aplicaciones en dispositivos móviles.

Toda una fuente de interactividad

Como lo primero que esta tecnología hace es una estimación de la postura a partir de detectar figuras humanas -en imágenes y videos- se podría determinar, por ejemplo, dónde aparece la mano y los dedos de una persona. De este modo, al iniciarse el movimiento de su mano, el usuario podría interactuar con la imagen que se crea a partir de este movimiento. Por poner un ejemplo sencillo, imaginemos un escaparate donde vemos una iluminada cortina de partículas de lluvia. El usuario se acerca y mueve sus manos frente al cristal apartando las partículas que detectan el movimiento de sus manos.

El uso de esta tecnología, por lo tanto, tiene tantas aplicaciones como nuestra capacidad creativa nos permita, desde instalaciones interactivas que reaccionen al cuerpo hasta proyectos de realidad aumentada, de animación y gamificación, o incluso de técnicas de fitness o rehabilitación deportiva -aquí una demo para probar desde el ordenador.

Para acabar, no debemos olvidar mencionar el reconocimiento facial que esta tecnología nos ofrece, tal y como avanzábamos al principio. Se han realizado ya algunas aplicaciones capaces de capturar las expresiones de las personas para así responder a esa información devolviéndoles mensajes afines a su estado de ánimo. Casi nada.