Ottimizzazione di un agente di Q-learning per il controllo di veicoli ibridi elettrici = Optimization of a Q-learning control agent for hybrid electric vehicles

Un’efficace strategia di gestione dell’energia (Energy management strategy, EMS) influisce in modo importante sulle prestazioni e sul controllo delle emissioni inquinati di veicoli ibridi. Mentre la maggior parte degli EMS utilizzati fino a questo momento seguono algoritmi basati su regole fisse (rule-based), recentemente sono stati sperimentati con successo algoritmi di ottimizzazione, come algoritmi di Reinforcement Learning. Nonostante gli ottimi risultati ottenuti con questi recenti metodi manca ancora uno studio specifico sulla scelta della funzione reward da utilizzare. L’obiettivo principale della tesi è quindi quello di trovare una funzione di reward per algoritmi di Q-learning che permetta di controllare efficacemente sia lo stato di carica della batteria (State of charge SOC) che il consumo di carburante (fuel consumption FC): un coefficiente di peso beta è utilizzato per decidere su quale delle due grandezze concentrarsi maggiormente. Inoltre, viene svolta un’analisi parametrica sul rapporto exploration-exploitation e sul learning rate in relazione al beta utilizzato. Infine viene svolto un lavoro di miglioramento dell'agente utilizzato. Mentre nella prima parte del lavoro l'agente impara solo dalle fasi di trazione del veicolo, nella seconda parte vengono sviluppati agenti in grado di gestire sia la trazione che la frenata.