From Visual To Textual: Exploring Video Summarization and QA Approaches for Multimedia Understanding

Ad oggi, la produzione dei contenuti multimediali ha raggiunto livelli sorprendenti. Uno dei formati principali in tal senso è il video, che rappresenta una forma essenziale di informazioni, sensibilizzazione, comunicazione e anche intrattenimento. Tuttavia, una tale mole di dati rappresenta una sfida significativa per le piattaforme di gestione di questi contenuti. E’ comune infatti per i media digitali avere un archivio ricco di informazioni, che però risultano difficilmente ricercabili e utilizzabili. In questa tesi verranno analizzati tutti gli step che portano all’elaborazione automatica di un video, e che permettono una migliore fruizione delle informazioni da parte di utenti ed operatori. Verranno inoltre comparati i modelli di Natural Language Processing più comuni, il cui impatto sulla comprensione del linguaggio naturale ha dato un forte contributo all’analisi del contenuto. Parallelamente, sarà effettuato un approfondimento sui principali servizi cloud proprietari che mettono a disposizione modelli pretrainati utili allo scopo.