Studio parametrico di un algoritmo di Deep Reinforcement Learning per la gestione energetica di un veicolo ibrido elettrico = Parametric study of a Deep Reinforcement Learning algorithm for the energy management of a hybrid electric vehicle

Nei veicoli ibridi elettrici (HEV) l’introduzione di una o più sorgenti di potenza, rispetto ad un veicolo convenzionale, aumentano la complessità del powertrain e di conseguenza il sistema di gestione energetica del veicolo. Pertanto, negli ultimi anni la ricerca sull’ energy management è diventata un’area sempre più importante negli studi degli HEV. All’interno di questo lavoro di tesi è stato applicato un algoritmo di Deep Reinforcement Learning, ossia il Deep Q-Network (DQN), che combina i concetti dell’apprendimento per rinforzo con l’utilizzo di reti neurali artificiali. Questo algoritmo è utilizzato per gestire la ripartizione dei flussi di potenza tra il motore termico (ICE) e la macchina elettrica (EM), controllando contemporaneamente i consumi di combustibile (FC) e lo stato di carica della batteria (SOC). Nel dettaglio il nostro caso studio è una passenger car ibrida con architettura parallela p2. Il sofware utilizzato si compone di tre ambienti: il Simulator, l’Environment e l’Agent. Il Simulator rappresenta il modello del veicolo e di tutti i suoi sottocomponenti, ed ha lo scopo di riprodurre una rappresentazione virtuale di un HEV e di fornire all’utente una valutazione realistica delle prestazioni dell’agente sull’attività di controllo dell’HEV. Il Simulator è completamente sviluppato in ambiente Matlab e comunica con un Master implementato in Python, in cui sono costruiti l’Agent e l’Environment. L’obbiettivo di questa tesi è quello di testare un algoritmo DQN al variare dei suoi principali parametri di training su ciclo omologativo WLTP. Dopo aver trovato una soluzione sub-ottimale, sono stati eseguiti dei test su altri cicli guida (cicli clust) per verificare la robustezza di un agente DQN al variare della missione di guida. I risultati ottenuti mostrano come tale strategia di gestione dell’energia possa ridurre notevolmente i consumi di carburante, ma al contempo evidenziano uno scarso adattamento dell’agente DQN al variare delle condizioni di guida, pertanto è richiesta una calibrazione dei principali parametri di addestramento al variare dell’ambiente.