Analisi comparativa e valutazione di sistemi LLM nella generazione di diagrammi delle classi UML = Comparative Analysis and Evaluation of LLM Systems in the Generation of UML Class Diagrams

La diffusione dei Large Language Models (LLM), modelli linguistici avanzati basati su architetture Transformer, ha rivoluzionato diversi settori, tra cui l’ingegneria del software e i sistemi informativi. In questi settori si è infatti palesata la possibilità, tra le tante, di utilizzare i LLM per automatizzare la modellazione concettuale. In particolare, la generazione automatica di diagrammi UML delle classi a partire da requisiti testuali rappresenta un’opportunità ancora poco esplorata. Questa tesi si propone di colmare questa lacuna attraverso un’analisi comparativa delle prestazioni di quattro LLM di ultima generazione (GPT-4o, Gemini 2.5 Pro, Qwen 3, DeepSeek v3) nella generazione di diagrammi UML a partire dalla descrizione del sistema scritta in linguaggio naturale. Questo argomento risulta interessante sia per il mondo industriale, dove automatizzare la modellazione concettuale potrebbe rendere più efficienti le prime fasi dello sviluppo software, sia in ambito didattico, dove strumenti basati su intelligenza artificiale possono aiutare gli studenti a capire e applicare meglio i concetti della modellazione. Tuttavia, passare da una descrizione testuale a un diagramma UML formale non è un processo semplice. Richiede infatti la capacità di interpretare correttamente il testo, individuare le informazioni rilevanti e rispettare regole sintattiche ben precise, aspetti che ad oggi mettono in difficoltà anche i modelli più evoluti. Il lavoro di tesi ha previsto la costruzione di un dataset di 15 esercizi realistici di modellazione concettuale, redatti in italiano, con livelli di difficoltà differenti. Ogni esercizio è stato classificato secondo criteri di complessità sintattica, ambiguità semantica e presenza di vincoli impliciti. I modelli sono stati guidati tramite prompt standardizzati, costruiti con tecniche di prompt engineering (few-shot, role prompting, output-constrained) per produrre output in formato JSON compatibile con un UML Modeler, uno strumento accademico per la modellazione UML. La valutazione è stata condotta tramite una griglia a sei criteri (conformità UML, validità JSON, validità semantica, completezza, chiarezza grafica, comprensibilità), assegnando un punteggio da 0 a 2 per ciascun aspetto. I risultati ottenuti mostrano che tutti i modelli sono in grado di generare file JSON formalmente validi nella maggior parte dei casi, ma emergono differenze significative in termini di completezza e interpretazione semantica. GPT-4o e Gemini si sono dimostrati i modelli più accurati nella traduzione dalle tracce testuali ai modelli, mentre Qwen e DeepSeek hanno introdotto errori più frequenti nella rappresentazione delle relazioni e nell’uso delle generalizzazioni. Le difficoltà maggiori per tutti i modelli sono emerse nei casi ad alta ambiguità semantica, dove era necessario inserire relazioni o entità non esplicitamente descritte. Nonostante ciò i modelli hanno mostrato buone prestazioni in contesti a bassa complessità e in esercizi con vincoli ben strutturati, evidenziando il ruolo cruciale di progettazione del prompt e chiarezza della traccia. Lo studio conferma il potenziale dei LLM come strumenti di supporto alla modellazione UML, soprattutto in ambito didattico. Ne evidenzia tuttavia i limiti attuali, proponendo come sviluppi futuri l’adozione di prompt modulari e l’integrazione dei LLM in ambienti educativi dove il modello possa aiutare lo studente nella costruzione del diagramma.