Bidimensional Feature Extraction from an Audio Signal

Nell'industria musicale c'è un motore nascosto che produce ogni mese 1.7 Milioni di ore di contenuti. L'obiettivo della tesi proposta è quello di estrarre informazioni da questo generatore, il quale viene alimentato dai DJs durante tutto l'anno. Per dare un ordine di grandezza: l’archivio che potrà essere analizzato contiene circa 370 Milioni di ore di musica, mentre il totale di Spotify, la più grande app europea di streaming musicale, si attesta attorno ai 275 Milioni. Grazie ad un approccio analitico, che è il risultato della sintesi tra conoscenze e competenze ottenute durante gli anni di studi universitari, è stato ideato ed implementato un algoritmo che permetta di analizzare i DJ sets (i componenti di questa raccolta) dando a milioni di persone la possibilità di avere accesso a milioni di dati. Possiamo pensare ad ogni canzone come a degli ingredienti, appositamente selezionati dall'artista (chiamato infatti anche "selector"), per andare a formare un piatto, il nostro DJ set: la strumentazione che permette questo processo, ovvero la cucina, è chiamata mixer o console. Caratteristica fondamentale di ogni mixer è la possibilità di modulare i volumi e lo spettro di frequenza (cioè decidere di aumentare o diminuire l'energia dei suoni a determinate frequenze) di ogni canzone. Andando nel particolare: ogni console è sempre composta da vari canali di ingresso, ognuno avente la strumentazione necessaria ad applicare le modifiche sopra citate e sul quale può essere caricata una traccia alla volta; ed un solo canale di uscita da cui passa un nuovo segnale audio, composto dall'unione di quelli in ingresso, modificati. Ogni canale è formato sia da due amplificatori, che permettono il controllo del volume totale; sia da una serie di filtri, con diversi intervalli di lavoro, il cui compito è quello di permettere le modifiche in frequenza. L'algoritmo, partendo dalla misurazione dell'uscita, ovvero dal risultato del lavoro apportato dal DJ attraverso il mixer, e grazie alla conoscenza pregressa degli input, ovvero le canzoni non modificate, mira a risalire a come l'artista abbia deciso di lavorare per ottenere il prodotto finale. La tesi, posta in termini canonici, si può definire come un problema di reverse filtering non lineare tempo variante, applicato ad un sistema con multipli ingressi ed una sola uscita. Il lavoro, dopo aver accertato la fattibilità del progetto, si è sviluppato con un metodo induttivo: partendo dalla caratterizzazione di ogni singolo filtro, passando attraverso alla creazione di un modello per ogni canale, si è arrivati ad un algoritmo ricorsivo in grado di ottenere un'indicazione dello stato di ogni filtro e del volume del canale per ogni istante di campionamento. Il risultato ottenuto si ferma alla possibilità di analizzare il segnale ottenuto con l'utilizzo di un singolo canale, la prima prosecuzione dei lavori sarà il rendere l'algoritmo in grado di lavorare quando più canali contemporaneamente siano usati. Le applicazioni sono svariate, e alcune saranno presentate nella tesi, come un'interfaccia grafica che permetta agli utenti di vedere come il DJ stia usando il mixer. Un’altra interessante prosecuzione può essere quella di fornire i dati necessari ad un'intelligenza artificiale affinché riesca a generare un DJ set non più basandosi sul solo calcolo matematico fondato sulle forme d'onda, ma aggiungendo un tocco più umano.