Tiny Machine Learning: dalla valutazione delle performance di dispositivi esistenti allo sviluppo di acceleratori ad-hoc su FPGA = Tiny Machine Learning: from the performance evaluation of existing devices to the development of custom accelerators on FPGA

L'edge computing sta rivoluzionando il modo in cui approcciamo il machine learning, portando l'intelligenza artificiale più vicino alla sorgente dei dati. Questo spostamento verso la periferia della rete offre numerosi vantaggi, tra cui una drastica riduzione della latenza, consentendo risposte in tempo reale cruciali per applicazioni come la guida autonoma o i sistemi di controllo industriale. Inoltre, l'edge computing alleggerisce il carico sui data center centralizzati, ottimizzando l'utilizzo delle risorse e migliorando la scalabilità. Un altro aspetto fondamentale è la maggiore privacy e sicurezza, poiché l'elaborazione avviene localmente, riducendo il rischio di violazioni durante la trasmissione dei dati. Infine, permette di operare in ambienti con connessioni limitate o instabili, rendendo possibile l'implementazione di soluzioni di intelligenza artificiale anche in aree remote. Questo nuovo approccio presenta però una serie di sfide e limitazioni che ne condizionano l'adozione su larga scala. Il principale ostacolo è rappresentato dalle limitazioni sulla potenza di calcolo e la capacità di memoria dei dispositivi edge. Questo limite rende difficile l'esecuzione di modelli di machine learning complessi e richiede che i modelli vengano scalati ed ottimizzati, spesso a discapito dell'acuratezza dei risultati. Un'altra sfida è costituita dalla gestione: mantenere aggiornato il firmware di un numero elevato di dispositivi distribuiti potenzialmente su vaste aree geografiche richiede una pianificazione accurata e la realizzazione di strumenti specializzati. Questa tesi si concentra sull'analisi delle prestazioni di diverse piattaforme hardware per l'edge computing nell'esecuzione di modelli di machine learning. Attraverso l'utilizzo del benchmark MLPerf-Tiny, verrà condotta una valutazione comparativa della latenza di inferenza, del consumo energetico e delle prestazioni computazionali di microcontrollori, librerie firmware e acceleratori hardware. L'obiettivo è quantificare l'impatto delle limitazioni hardware sulle metriche di performance. Per conseguire un ulteriore incremento delle prestazioni è necessario utilizzare acceleratori hardware specificamente progettati e ottimizzati per l'esecuzione dei modelli richesti. La tesi propone una metodologia per la progettazione di tali acceleratori su FPGA, prendendo in considerazione le specifiche di una rete neurale 1D e i vincoli imposti dall'architettura del dispositivo target. Tale metodologia rappresenta un primo passo verso lo sviluppo di acceleratori hardware più avanzati, in grado di ottimizzare l'inferenza di modelli di machine learning su dispositivi edge con risorse limitate.