High-Performance Computing Techniques for Efficient Training and Inference of AI Models

Questa tesi analizza l’efficienza computazionale e la scalabilità di due architetture di reti neurali ispirate a modelli biologici—Liquid Time-Constant (LTC) e Closed-form Continuous-time (CfC)—sottoposte a differenti configurazioni di addestramento e hardware. Sebbene modelli sequenziali tradizionali come RNN, LSTM e Transformer abbiano mostrato buone prestazioni nei compiti temporali, essi presentano spesso costi computazionali elevati e limitata scalabilità. Le reti LTC e CfC si propongono come alternative promettenti grazie alla loro capacità di modellare dinamiche temporali in modo efficiente e con un numero ridotto di parametri, ma il loro comportamento in scenari reali di addestramento risulta ancora poco esplorato. Per valutare l’efficienza e il potenziale di parallelizzazione di questi modelli, sono stati condotti esperimenti su tre dataset con complessità crescente: un segnale sintetico seno-coseno, il dataset Human Activity Recognition (HAR) e il dataset Metro Interstate Traffic. Entrambi i modelli sono stati addestrati in diverse condizioni, incluse CPU singola, GPU singola e configurazioni distribuite multi-GPU, utilizzando il framework Distributed Data Parallel (DDP) di PyTorch. Sono stati raccolti e analizzati parametri quali tempo di addestramento, accuratezza, perdita, utilizzo della GPU e occupazione della memoria. I risultati mostrano che i modelli CfC presentano tempi di addestramento sistematicamente inferiori rispetto ai modelli LTC in tutti gli scenari, mantenendo o migliorando l’accuratezza, soprattutto nei dataset di dimensioni maggiori. Inoltre, l’addestramento distribuito riduce significativamente i tempi di training per entrambi i modelli, con un guadagno ottimale osservato con l’impiego di due GPU, oltre il quale l’overhead comunicativo inizia a limitarne l’efficacia. Questi risultati evidenziano i compromessi tra complessità architetturale ed efficienza computazionale, e suggeriscono l’impiego di modelli ispirati alla biologia in contesti di intelligenza artificiale ad alte prestazioni.