Sviluppo di un sistema di analisi in tempo reale basato su IA e Computer Vision per la correzione della postura delle mani durante l'apprendimento della Lingua dei Segni Italiana LIS = Development of a real-time analysis system based on AI and Computer Vision for hand posture correction during Italian Sign Language LIS learning

Lo scopo di questa tesi è quello di sviluppare un sistema educativo virtuale in tempo reale basato su Intelligenza Artificiale e Computer Vision per consentire agli studenti della Lingua dei Segni Italiana (LIS) di esercitarsi in maniera individuale e autonoma a casa o, ovunque vogliano o possano, con la webcam del proprio computer e avere un feedback immediato su come stiano riproducendo il movimento, aiutandoli nella correzione della postura della mano per eseguire il segno in maniera precisa e comprensibile. Utilizzando gli strumenti offerti dall'IA lo studente viene accompagnato durante l'apprendimento di una nuova lingua, come altre applicazioni digitali fanno per le altre lingue scritte o parlate, promuovendo così la diffusione di una lingua che permette non solo ai Sordi e alle persone con problemi di udito di integrarsi nella società, ma anche alle persone udenti di poter comunicare liberamente con le persone sorde. Molti lavori in letteratura sono rivolti al solo riconoscimento delle varie lingue dei segni, oppure alla dimostrazione dei segni tramite avatar (spesso non accettati dalla comunità sorda in quanto poco espressivi) o video di esempio, ma pochi sono rivolti all'ambito educativo per favorirne realmente l'apprendimento con un sistema di controllo diretto dell'utente finale mentre si cimenta nell'esecuzione del segno. A causa della difficoltà nel ricevere un feedback diretto, individuale e personalizzato per uno studente che sta studiando, questo sistema mira a offrire istruzioni sul posizionamento corretto delle dita e della mano e a dare un feedback immediato sull'esecuzione del segno, favorendo un apprendimento dinamico e imitativo che contribuisce alla memorizzazione dei segni eseguiti e imparati, anziché essere solo visti eseguiti da altre persone segnanti. Oggi il sistema è limitato all'alfabeto della Lingua dei Segni Italiana (LIS) che è, principalmente, composto da segni statici. I segni che includono del movimento non sono ad ora inclusi, anche se alcune prove preliminari sul riconoscimento dei segni in movimento sono state fatte nel corso di questa tesi e una buona base della lingua, espandibile poi a tutte le altre innumerevoli lingue dei segni nel mondo, è raggiungibile. L'attenzione nel mondo della ricerca scientifica in questo ambito, infatti, sta crescendo sempre più negli ultimi decenni anche grazie all'avvento dei sistemi di tracciamento del corpo tramite Intelligenza Artificiale e Computer Vision, Machine Learning e Deep Learning, che permettono non solo il riconoscimento, la produzione e il monitoraggio delle lingue dei segni, ma possono trovare applicazione, con le dovute modifiche e attenzioni, anche in altri ambiti come, ad esempio, la riabilitazione del linguaggio (sia verbale sia mimico-gestuale) nei casi di gravi cerebrolesioni acquisite. Le possibilità in questo campo sono innumerevoli e questa tesi è un primo tentativo di esplorarne alcune.