Pianificazione di traiettorie adattative di un robot collaborativo con tecniche di Reinforcement Learning = Planning of adaptive trajectories of a collaborative robot through reinforcement learning

La robotica collaborativa, introdotta con l’Industria 4.0, trova la sua massima espressione con l’avvento dell’Industria 5.0, la cui filosofia è basata sulla stretta collaborazione uomo-robot. I cobot offrono numerosi benefici, migliorando la produttività, garantendo una maggiore sicurezza sul posto di lavoro ed una riduzione della fatica fisica degli operatori. Un aspetto fondamentale per questi dispositivi è rappresentato dalla pianificazione della traiettoria, che assicura un movimento sicuro, efficiente e preciso, all’interno di ambienti complessi. Ciò fa della pianificazione della traiettoria un campo della robotica di grande interesse, in continuo studio e sviluppo, con introduzione di tecniche innovative, anche grazie al recente apporto dell’intelligenza artificiale. Lo scopo dell’elaborato consiste nell’analisi delle possibilità e dei limiti del Reinforcement Learning, applicato per la realizzazione di un pianificatore di traiettoria per robot antropomorfi che si adatti alle condizioni dinamiche di lavoro. In particolare, si vuole realizzare un pianificatore che segua una primitiva di movimento imposta, ma dalla quale possa discostarsi, sia in termini di percorso che di traiettoria, per adattarsi all’ambiente in cui si trova, ottimizzando l’efficienza di movimento pur garantendo la sicurezza dell’operatore. Si è scelto di utilizzare il Reinforcement Learning per il suo paradigma di ottimizzazione, con potenzialità nella risoluzione di problemi di pianificazione complessi, tenendo conto anche delle esigenze espresse dal singolo operatore. Questo approccio sfrutta interazioni di tipo trial-and-error per generare una Intelligenza Artificiale che ottimizzi il comportamento desiderato del pianificatore, rappresentato dalla funzione di reward. La prima parte dell’elaborato tratta il collegamento necessario per la comunicazione tra il cobot UR3 e l’ambiente di programmazione Matlab/Simulink, realizzato mediante l’utilizzo di Toolbox annessi ed il software ROS. Si è poi verificato l’avvenuto collegamento con l’esecuzione di prove di pianificazione di traiettoria, per poi eseguire un’analisi dei feedback ricevuti dal robot. La seconda parte della tesi ha riguardato l’implementazione dell’architettura del Reinforcement Learning. Sono stati progettati più Environment tramite la costruzione in Simulink di modelli rappresentativi del robot e del suo ambiente di lavoro. Si è costruito un primo Environment ad alta complessità che considerasse una situazione molto generale come la presenza di un operatore e l’eventualità di collisioni interne ed esterne. In seguito, per permettere un allenamento progressivo, si è analizzata una condizione in cui il robot dovesse apprendere unicamente una traiettoria specifica, per poi inserire gradualmente fattori relativi a situazioni di maggiore complessità. Si è passati poi alla fase di Training, con la definizione delle fasi di allenamento e dei relativi parametri. Infine, è stato eseguito lo studio dei risultati, con riflessioni riguardanti le potenzialità e le limitazioni dell’applicazione del Reinforcement Learning nell’ambito della pianificazione di traiettoria.