Natural Language Control of Robotic Arms Using Large Language Models and ROS2

Tesi presso reply: Questa tesi esplora l'integrazione di modelli linguistici di grandi dimensioni (LLM) nel controllo di bracci robotici tramite comandi in linguaggio naturale. Utilizzando ROS2 Jazzy, O3DE e la piattaforma di intelligenza artificiale robotica (RAI), è stato implementato un sistema in grado di ricevere istruzioni testuali e tradurle in azioni eseguibili da manipolatori robotici. Dopo una fase iniziale di sperimentazione con il framework RAI, il sistema è stato esteso per supportare un braccio robotico UR10e con una pinza Robotiq 2F-140. L'integrazione con Ollama ha permesso l'utilizzo di diversi LLM per l'interpretazione dei comandi. Infine, è stata effettuata una valutazione comparativa delle prestazioni dei diversi modelli linguistici nel contesto del controllo robotico, con particolare attenzione all'accuratezza e all'affidabilità nell'esecuzione dei task. Per aumentare la portabilità, la scalabilità e la facilità di distribuzione del sistema, l'intero sistema è stato dockerizzato. La containerizzazione ha semplificato la gestione delle dipendenze, ridotto i problemi di compatibilità tra gli ambienti e reso possibile una rapida implementazione su macchine diverse, facilitando così lo sviluppo, il test e il riutilizzo del sistema in contesti eterogenei.