Mattia Gumina
High-Performance Computing Techniques for Efficient Training and Inference of AI Models.
Rel. Stefano Scanzio, Josep Ramon Herrero Zaragoza, Gianluca Cena, Gabriele Formis. Politecnico di Torino, Master of science program in Computer Engineering, 2025
|
Preview |
PDF (Tesi_di_laurea)
- Thesis
Licence: Creative Commons Attribution Non-commercial No Derivatives. Download (4MB) | Preview |
Abstract
Questa tesi analizza l’efficienza computazionale e la scalabilità di due architetture di reti neurali ispirate a modelli biologici—Liquid Time-Constant (LTC) e Closed-form Continuous-time (CfC)—sottoposte a differenti configurazioni di addestramento e hardware. Sebbene modelli sequenziali tradizionali come RNN, LSTM e Transformer abbiano mostrato buone prestazioni nei compiti temporali, essi presentano spesso costi computazionali elevati e limitata scalabilità. Le reti LTC e CfC si propongono come alternative promettenti grazie alla loro capacità di modellare dinamiche temporali in modo efficiente e con un numero ridotto di parametri, ma il loro comportamento in scenari reali di addestramento risulta ancora poco esplorato. Per valutare l’efficienza e il potenziale di parallelizzazione di questi modelli, sono stati condotti esperimenti su tre dataset con complessità crescente: un segnale sintetico seno-coseno, il dataset Human Activity Recognition (HAR) e il dataset Metro Interstate Traffic.
Entrambi i modelli sono stati addestrati in diverse condizioni, incluse CPU singola, GPU singola e configurazioni distribuite multi-GPU, utilizzando il framework Distributed Data Parallel (DDP) di PyTorch
Relators
Academic year
Publication type
Number of Pages
Course of studies
Classe di laurea
Ente in cotutela
Aziende collaboratrici
URI
![]() |
Modify record (reserved for operators) |
