Riconoscimento delle emozioni attraverso lo studio del volto umano = Recognition of emotions through the study of the human face

L'obiettivo di questa tesi è "riconoscere le emozioni facciali umane" allo scopo di classificare sette diverse espressioni facciali. La parte iniziale di questa tesi di laurea è di eseguire la preelaborazione dei dati e la convalida incrociata di k-fold per ricampionare il set di dati che aiuta a stimare in modo meno distorto l'abilità del modello. Inoltre, vengono implementate tecniche di aumento dei dati in tempo reale per massimizzare il set di dati. Trasformando il set di dati applicando queste tecniche, facilita il miglioramento dell'accuratezza nella classificazione delle diverse emozioni. Quindi il set di dati viene addestrato dalla rete neurale per la classificazione utilizzando i modelli Vgg, Inception e Resnet. Infine, vengono analizzate le prestazioni di tutti i modelli sopra elencati. In questa tesi, vengono considerate sette emozioni facciali: rabbia, felicità, disgusto, paura, neutralità, tristezza, sorpresa. Queste sono le sei emozioni di base definite da Ekman e Friesen più l'espressione neutra. Per questo progetto di tesi, abbiamo preso in considerazione le immagini RGB e le immagini di profondità. Queste immagini RGB e di profondità di tutte e sette le emozioni sono ottenute dal database Bosphorus. L'analisi viene eseguita individualmente per entrambe le immagini RGB e Depth da tutti e tre i modelli di rete neurale sopra menzionati. Quando il set di dati è pronto, viene eseguita la convalida incrociata di k-fold. In questo caso, stiamo dividendo i dati in cinque pieghe sia per le immagini RGB che per quelle della profondità. Per eseguire la convalida incrociata, è necessario mescolare il set di dati in modo casuale e dividere il set di dati in cinque gruppi. Per quanto riguarda le tecniche di aumento, viene eseguito l'aumento dei dati in tempo reale. Poiché il set di dati è grande, è preferibile un aumento in tempo reale. Con il nostro set di dati abbiamo definito intervallo di rotazione, riscalamento, spostamento di larghezza, spostamento di altezza, intervallo di spostamento e rotazione orizzontale. Durante l'esecuzione dell'addestramento, il set di dati di addestramento e convalida viene preso rispettivamente dalla prima piega del treno e dalla cartella di convalida. Man mano che l'addestramento procede, vengono salvati solo i valori migliori e migliorati. Il registro eventi e i valori di precisione della convalida sono memorizzati nelle rispettive cartelle. I valori di precisione della convalida vengono monitorati e il valore di pazienza viene assegnato come dieci, quindi l'arresto anticipato viene eseguito se i valori non migliorano anche dopo dieci epoche. Una volta completato l'addestramento, il modello viene salvato nella cartella assegnata. I risultati delle immagini RGB per Inception, Vgg e Resnet sono rispettivamente 0,8125,0,8667,0,8333.I risultati delle immagini di profondità per Inception, Vgg e Resnet sono 0,6750,0,8438,0,8396. Quindi il prossimo passo di questa tesi è analizzare i risultati ottenuti rispetto a ogni modello e anche trarre una conclusione sul perché un certo modello ha ottenuto risultati migliori dell'altro.