Compositing real-time in live streaming 360 - Studio e applicazione di tecniche innovative per l’inserzione di oggetti sintetici su un flusso video livestream a 360° = Real-time compositing in a 360° live streaming - Study and application of innovative techniques for the insertion of synthetic objects on a live 360° video stream

“Presence. XR Live Experiences” è un long-term project prodotto da Officine Sintetiche e consiste in una serie di “esplorazioni” sull’identità e la moltiplicazione del sé in rete, nella virtualità e nei social media: queste ricerche sfociano in XR live experiences dove realtà e virtualità si mescolano, anche grazie a tecniche di embodied narrative e di scrittura transmediale/crossmediale. Per continuare a esplorare queste tematiche e concepire ulteriori sviluppi è stato intrapreso, attraverso questa tesi, un percorso di analisi e sperimentazione sulle possibilità di integrazione fra video live-action 360 e oggetti 3D. L’intento è stato quello di sfruttare appieno il flusso video in livestream, per carpire informazioni in tempo reale sull’ambiente e sfruttarle in modo interattivo all’interno della scena. E’ stato di conseguenza studiato un sistema per posizionare in modo coerente gli oggetti 3D nello spazio 360, attraverso la proiezione corretta delle ombre e mantenendo un corretto senso delle proporzioni. E’ stata inoltre implementata l’interazione in tempo reale dell’utente con l’ambiente circostante, attraverso il tracciamento delle mani: l’intento è quello di favorire una maggiore immersione per l’utente, grazie alla sensazione di stare imprimendo un cambiamento tangibile nella scena virtuale. Sono state anche sfruttate tecnologie di Computer Vision per il riconoscimento di corpi umani all’interno della scena, al fine di sfruttare i loro movimenti e azioni in modo interattivo. Per studiare gli effetti dell’embodiment e la moltiplicazione del proprio corpo, tematica fondamentale analizzata nelle esperienze targate “Presence”, è stata data la possibilità di impersonare un avatar virtuale, dotato di rig controllato dalle mani dell’utente. In conclusione, al fine di validare le scelte progettuali e implementative, sono stati condotti dei test con utenti, volti a raccogliere dati qualitativi e quantitativi.