Sviluppo di un framework per la misurazione della qualità video: confronto tra VMAF e valutazioni soggettive = Development of a framework for video quality assessment: comparison between VMAF and subjective evaluations

Per garantire un'esperienza visiva di alta qualità, le piattaforme di streaming devono disporre di strumenti precisi per misurare la qualità percepita di un flusso video su larga scala. Nel corso degli anni sono stati sviluppati diversi approcci, basati su metodi soggettivi o oggettivi. La prima parte si concentra sull'analisi dei differenti metodi di valutazione. L'obiettivo centrale del lavoro è la creazione di un framework automatizzato per l'esecuzione di valutazioni di qualità su un insieme di dataset selezionati, garantendo la riproducibilità dei risultati. Il framework utilizza VMAF, un tool sviluppato da Netflix, considerato lo stato dell'arte nella valutazione della qualità video, che consente l'analisi e il confronto tra diverse metriche di valutazione. Inoltre, è stato adoperato anche il tool eSSIM, sviluppato da Meta, per effettuare valutazioni utilizzando la metrica oggettiva eSSIM. L'ultima parte dell'elaborato si concentra sull'analisi dei risultati, con particolare attenzione al confronto tra valutazioni oggettive e soggettive, quest'ultime fornite dal MOS (Mean Opinion Score), un indice che misura la qualità percepita dagli utenti in una scala che va da 1 a 5. Particolare attenzione è stata posta nel valutare l'efficacia di diversi metodi di temporal pooling, metodi che aggregano le valutazioni di qualità provenienti da singoli frame per ottenere un unico punteggio complessivo che rappresenta la qualità dell'intera sequenza video. VMAF si è confermato come la metrica migliore per le valutazioni oggettive, mentre eSSIM ha comunque dato risultati rilevanti. Si è osservato che, con il calo del MOS, aumenta l'incertezza nei valori di VMAF per i modelli analizzati. È emerso inoltre come la scelta del modello influenzi l'esito della valutazione. Infine, la media si è dimostrata un metodo efficace per l'aggregazione temporale dei dati.