DEEP LEARNING AT THE EDGE Optimizations of object detection models for embedded devices

Gli algoritmi di deep learning, nello specifico quelli relativi alla visione artificiale come gli object detector, sono sempre piu' usati per prendere decisioni in diverse discipline . Tuttavia questi modelli hanno un costo computazionale molto elevato ed e' una sfida eseguirli su dispositivi con risorse hardware limitate in tempo reale. l'approccio piu' semplice per portare l'intelligenza all'edge e' quello di usare il device solo per acquisizione dati e demandare al cloud la computazione, quest'approccio non e' utilizzabile per applicazioni near-real time per via della latenza e inoltre puo' portare a problemi di consumo e impatto ambientale dei datacenters . Lo scopo di questa tesi e' quello di analizzare, applicare e valutare le principali tecniche di ottimizzazione e compressione di modelli di object detection basati su reti neurali convoluzionali, per renderli adatti al deploy su dispositivi embedded con microprocessore. Nello specifico sono state analizzate due tecniche principali: Quantizzazione, il quale scopo e' migliorare le performance del modello in termini di velocita' di inferenza; e Knowledge Distillation che punta a migliorare le prestazioni del modello in termini di accuratezza. Sono stati effettuati diversi esperimenti con diversi modelli e metodi di ottimizzazione, alcuni valutati direttamente sul device. I risultati ci suggeriscono che con queste tecniche e' possibile ottimizzare modelli di object detector migliorandone il tempo di latenza ed accuratezza.