ARTificial Synesthesia: progetto e realizzazione di un'installazione interattiva multimediale basata sul controllo oculare = ARTificial Synesthesia: design and construction of an interactive multimedia installation based on eye control

Il mondo dell'arte pubblica sta cambiando. Nelle ultime decadi la tendenza di musei e fondazioni si sta dirigendo verso la creazione di esperienze finalizzate a coinvolgere il pubblico.Questo progetto vuole realizzare un'installazione artistica multimediale che possa interagire con lo spettatore attraverso l'analisi del suo sguardo per generare dei contenuti audio: a seconda del punto dell'immagine osservato un suono verrà prodotto.Il primo passo è stato analizzare il contesto artistico contemporaneo e in particolare le pratiche di arte interattiva.Successivamente si è indagato sul sistema percettivo umano. Si sono cercate le intersezioni tra l'apparato visivo e uditivo per capire i limiti e le potenzialità di questa installazione. Il fenomeno della sinestesia naturale è stato trattato nel dettaglio.In seguito si sono trattate le pratiche comuni dell'eye tracking e i suoi modi di utilizzo nell'interazione uomo-macchina.Si è passati poi a discutere della realizzazione pratica dell'installazione.Sono state descritte le sue componenti. Arduino e un sensore per il rilevamento del peso sono stati utilizzati per individuare la presenza dello spettatore di fronte all'installazione. L'eye tracker 4C dell'azienda Tobii è stato usato per tracciarne lo sguardo sullo schermo che riproduceva l'immagine di un quadro di arte astratta. Questi elementi sono stati gestiti da un computer attraverso un'applicazione scritta in c#.Il codice dell'applicazione permette di gestire l'interazione con lo sguardo, grazie alla API fornita dal costruttore dell'eye tracker, e di riprodurre i contenuti audio utilizzando una libreria open source chiamata NAudio.Sono stati svolti cinque test per acquisire dati sulla user experience, in particolare l'influenza dell'udito durante la visione di immagini astratte.In seguito all'elaborazione dei dati ottenuti, l'interazione è stata perfezionata aggiungendo una soglia temporale per attivare l'interazione e la produzione stereoscopica dell'audio.Questa tesi si conclude ipotizzando scenari futuri in cui mostrare l'installazione.