Deep Information Networks: complexity, analysis and hardware implementation.

Deep Information Networks: complexity, analysis and hardware implementation. Le reti neurali profonde (DNNs) sono degli algoritmi ad elevata complessità computazionale operanti in diverse applicazioni di intelligenza artificiale tra le quali robotica, riconoscimento di immagini e riconoscimenti vocali. Il continuo investimento nel settore ha portato grandi sviluppi con annesse facilità nell’uso quotidiano merito della semplicità con le quali riescono ad assumere automaticamente delle decisioni sulla base di un apprendimento iniziale. Si tratta, infatti, di algoritmi sofisticati che permettono al sistema di imparare a comportarsi in un modo ben definito(training phase) qualora si presentassero delle situazioni da gestire autonomamente e non programmate precedentemente (test phase). Questo lavoro di tesi ha avuto come obiettivo quello di analizzare nel dettaglio un modello “esatto” di rete neurale descritto a livello software, realizzando successivamente una possibile implementazione hardware di un singolo processing element, effettuando opportuni confronti. A differenza dei classici algoritmi di deep learning, quali CNN (Convolutional Neural Network), il modello in esame si basa sulla teoria dell’informazione. In particolare, si tratta di un nuovo modello di classificatore avente una struttura ad albero, progettato e studiato mediante un particolare apprendimento statistico di una serie di dati in ingresso. La rete in questione prende il nome di DIN (Deep Information Network) ed è costituita da una serie di nodi disposti su diversi layer che contengono delle informazioni sulla base dei dati in ingresso, i quali verranno poi compressi e forniti ai nodi successivi e così via. L’elemento principale della rete DIN è dunque il “nodo informativo” che è in grado di comprimere i dati di ingresso mantenendo inalterate le informazioni elaborate. Una volta analizzato il comportamento dell’intero algoritmo ed ottenute le stime attese, è stato determinato il parallelismo interno dei dati realizzando un modello software prettamente in fixed point. Questa analisi è stata importante per il progetto hardware, lo dimostrano i confronti effettuati tra il modello esatto in floating point con il modello in fixed point, avente lo scopo di ottenere dei risultati quanto piu’ vicini al modello di riferimento, con conseguente riduzione dell’errore. La scelta ottimale del parallelismo, ha permesso di studiare dei criteri per la gestione ottimale dei numeri frazionari in un’implementazione hardware. Lo step successivo si è incentrato sulla realizzazione di un’architettura hardware che fosse in grado di seguire il flusso del modello esatto di un singolo processing element. In particolare ci si è limitati ad implementare l’algoritmo di gestione dei dati in ingresso ad un nodo. Oggetto di studio sono state le scelte effettuate dal punto di vista della gestione dell’hardware, passando da una struttura completamente seriale ad una parallela aumentando la velocita’ di esecuzione a discapito di un aumento dell’area. Non di minore importanza sono stati i confronti in termini di performance e speed-up rispetto al modello software. I risultati finali hanno mostrato che il tempo ciclo dell'architettura parallela ha portato miglioramenti in termini di speed up rispetto quella seriale con un risparmio sul tempo di circlo di circa 1/3. Infine sono state discusse le conclusioni, evidenziando anche altri accorgimenti implementativi, ed eventuali sviluppi futuri.