Agenti conversazionali per applicazioni di Realtà Virtuale: Un confronto tra approcci di tipo Rule-Based, LLM e soluzioni ibride = Conversational Agents for Virtual Reality Applications: A Comparison of Rule-Based, LLM-Based, and hybrid approaches

Un agente conversazionale è un sistema in grado di comprendere il messaggio fornito, in forma testuale o vocale, da un utente e genera una risposta coerente con esso. Negli ultimi anni questi sistemi sono diventati sempre più comuni e vengono utilizzati in diversi contesti come l’assistenza clienti, l’intrattenimento, l’educazione e stanno prendendo sempre più piede come assistenti personali nella vita quotidiana. Questo lavoro di tesi presenta lo sviluppo di un’applicazione di Realtà Virtuale (VR) in Unity per la realtà virtuale nella quale sono state implementate tre versioni distinte di un agente conversazionale impersonato da un avatar, ognuna con i propri punti di forza e limitazioni. L’obiettivo è quello di confrontare le diverse versioni, per determinare quale possa essere più adatta nel contesto di interazioni virtuali. Tutte le versioni sono eseguite localmente: una si basa su RASA (framework per lo sviluppo di chatbot rule-based), un’altra su Ollama (piattaforma per l’esecuzione di LLM in locale), e infine una versione ibrida che combina le due tecnologie. L’interazione vocale è resa possibile con librerie e servizi di riconoscimento vocale (Speech-to-Text) e di sintesi vocale (Text-to-Speech). Inoltre, per rendere l’interazione più coinvolgente e realistica, l’avatar presenta animazioni che gli rendono possibile il movimento nell’ambiente virtuale con l’utente e animazioni facciali che migliorano la sensazione di presenza e rendono la comunicazione più naturale e immersiva. L’esperienza presenta due fasi: una prima fase che prevede una conversazione più libera con l’avatar, nella quale l’utente può esplorare l’ambiente virtuale e fare riferimento agli oggetti che lo circondano; la seconda fase è invece più strutturata e l’avatar farà da guida all’utente fornendo istruzioni per svolgere un determinato compito. Questo approccio permette di effettuare un confronto equo tra le diverse versioni dell’agente conversazionale, fornendo situazioni in cui tutte possono esprimere le loro potenzialità. All’interno del progetto europeo PACTESUR 2, che ha fornito la motivazione per questo lavoro di tesi, è stata implementata solo la versione ritenuta più adatta per il particolare contesto. La valutazione delle tre versioni è stata condotta sia attraverso analisi delle prestazioni dei diversi approcci che mediante esperimenti con utenti, che hanno permesso di analizzare la qualità dell’interazione, l’accuratezza delle risposte ed il realismo percepito. I risultati ottenuti offrono uno spunto concreto per riflettere sull’efficacia e le limitazioni delle tecnologie per agenti conversazionali eseguiti in locale.