Training and Optimization of Neural Networks for Embedded Systems

Recenti pubblicazioni sulla ricerca automatizzata di reti neurali (NAS: Neural Architecture Search) hanno raggiunto prestazioni superiori allo stato dell’arte in molti problemi di Visione Artificiale (Computer Vision), come ad esempio il riconoscimento di immagini. Tuttavia, la maggior parte dei lavori esistenti esegue una ricerca ottimizzata solo per l'accuratezza del modello, ignorando le specifiche caratteristiche dell’hardware sul quale verrà eseguita l’inferenza, come spazio di archiviazione, latenza e consumo energetico. Spesso tali NAS richiedono una grande quantità di risorse computazionali per scoprire nuove architetture neurali, oppure limitano lo spazio di ottimizzazione per ridurre la complessità della ricerca. In questa tesi, viene inizialmente introdotto il problema della ricerca automatizzata di reti neurali (NAS) e viene fornita una rassegna delle pubblicazioni più recenti. Supportato da un rinnovato interesse nella comunità dei ricercatori, viene proposto un NAS basato sul network pruning (compressione di rete), che ottimizza sia per accuratezza che per dimensioni del modello. L’algoritmo di compressione all’interno del NAS viene utilizzato per riconfigurare la topologia di reti neurali esistenti, oppure può essere utilizzato per scoprire nuovi modelli all’interno uno spazio di ricerca proposto.