Interactive Avatar Transformation through Real-Time Skeleton Tracking for Virtual Embodiment

In the digital age, identity is no longer limited to the physical world but extends to the virtual spaces where we interact. From social media representation to the virtual universe of the metaverse, our digital self is fluid, dynamic, and increasingly shaped by technology. This thesis explores the concept of digital identity through an interactive application in Unity, reflecting on the transformation of the self within a virtual environment. The user is placed in front of a life-size screen or projector onto which the application is projected to create the illusion of a mirror. The application is based on a real-time skeleton tracking system that controls the movement and deformation of the user’s avatar. This avatar evolves beyond the human shape into inorganic, humanoid and non-humanoid shapes, made possible through the use of real-time visual effects. Motion tracking was achieved through both RGB and RGB-D technologies, including the use of a depth camera. This led to a comparison between Nuitrack, a proprietary solution designed for depth cameras, and MediaPipe, a Google-based open-source library that operates with RGB data. The purpose of the project is to develop an interactive experience in which users can explore different forms of digital representation through body movement, offering a fluid and open vision of what it means to be in the digital world.

Nell'era digitale, l'identità non è più limitata al mondo fisico, ma si estende agli spazi virtuali in cui interagiamo. Dalla rappresentazione sui social media all'universo virtuale del metaverso, il nostro sé digitale è fluido, dinamico e sempre più plasmato dalla tecnologia. Questa tesi esplora il concetto di identità digitale attraverso un'applicazione interattiva in Unity, riflettendo sulla trasformazione del sé all'interno dell'ambiente virtuale. L'utente viene posizionato di fronte a uno schermo o proiettore a grandezza naturale su cui viene proiettata l'immagine per creare l'illusione di uno specchio. L'applicazione si basa su un sistema di tracciamento dello scheletro in tempo reale il quale controlla il movimento e la deformazione dell'avatar dell'utente. Questo avatar si evolve oltre la forma umana in forme inorganiche, umanoidi e non umanoidi, rese anche possibili dall'utilizzo di effetti visivi in tempo reale. Il tracciamento del movimento è stato ottenuto tramite tecnologie RGB e RGB-D, includendo quindi l'utilizzo di una telecamera di profondità. Ciò ha portato ad un confronto tra Nuitrack, una soluzione proprietaria progettata per telecamere di profondità, e MediaPipe, una libreria open source creata da Google che opera con dati RGB. Lo scopo del progetto è sviluppare un'esperienza interattiva in cui gli utenti possano esplorare diverse forme di rappresentazione digitale attraverso il movimento del corpo, offrendo una visione ampia e fluida di cosa significhi essere nel mondo digitale.