Programmazione robotica per imitazione: dispositivi aptici e machine learning per riconoscere le azioni dell’utente = Robotic programming by imitation: haptic devices and machine learning to recognize user actions

Uno degli approcci più moderni per programmare robot collaborativi è la programmazione per imitazione, che consente di far comprendere e replicare i movimenti della mano al robot semplicemente osservando l’operatore umano. Questa metodologia riduce la necessità di di programmazione esplicita, rendendo i robot più adattabili, intuitivi e facilmente integrabili in ambienti industriali e produttivi. Tradizionalmente il riconoscimento delle azioni umane è stato affrontato con tecniche basate su computer vision, che analizzano immagini RGB o RGB-D per estrarre informazioni sulla posizione e il movimento delle mani. Tuttavia, questi metodi presentano limitazioni tra cui occlusioni, sensibilità all’illuminazione e dipendenza dalla posizione della telecamera. Per affrontare e superare queste problematiche, questo studio propone un approccio innovativo basato sulle informazioni dei giunti della mano ricavati da un dispositivo aptico. Questa soluzione permette un’acquisizione più precisa e indipendente dalle condizioni ambientali, migliorando la robustezza del sistema nel riconoscimento delle azioni della mano. Il sistema proposto riconosce e classifica un insieme di azioni predefinite, selezionate per rappresentare attività semplici e ricorrenti in un tipico ambiente collaborativo con un braccio robotico: push, pull, upside down, screw, unscrew, plug, e unplug. Oltre alla classificazione, il sistema determina la posizione dei giunti della mano nello spazio tramite telecamere a infrarossi HTC Vive Base Station e HTC tracker Vive 3.0; e previa mappatura della posizione degli oggetti nell’area di lavoro, sfrutta i dati di posizione per determinare gli oggetti coinvolti nell’azione. La pipeline proposta si articola in diverse fasi. Dopo l’acquisizione e pre-processamento dei dati, l’analisi avviene tramite un modello basato sulla Temporal Convolutional Network, adattato dal framework Domain and View-point Agnostic Hand Action Recognition, sostituendo gli input visivi RGB-D con dati provenienti dal dispositivo aptico. Il processo si conclude con il tracciamento delle coordinate finali dell’oggetto manipolato, essenziali per la replica delle azioni da parte di un sistema robotico. Un altro contributo di questa tesi è la creazione di un dataset specifico, che contiene i dati scheletrici della posa della mano, rappresentata dalle coordinate spaziali dei giunti durante l’azione. La registrazione di questi dati è stata condotta con l’utilizzo dei guanti aptici MANUS Prime 3 XR, seguendo una metodologia precisa per garantire variabilità e generalizzazione. I risultati sperimentali dimostrano che l’utilizzo di dati sensoriali consente di superare i limiti delle tecniche basate esclusivamente su immagini. Inoltre, l’integrazione di questa tipologia di dati porta a un sistema più robusto, capace di classificare correttamente anche azioni non presenti nel dataset di addestramento, dimostrando buone capacità di generalizzazione. Le future evoluzioni di questa ricerca potranno concentrarsi sull’ampliamento del dataset con nuove azioni, permettendo al sistema di riconoscere un insieme più ampio e diverso di azioni. Parallelamente, un aumento del numero di registrazioni per le singole azioni potrebbe migliorare ulteriormente l’accuratezza e la robustezza del sistema.