Valutazione di Query SQL tramite l’utilizzo di Large Language Models = Evaluation of SQL exercises using Large Language Models

Negli ultimi anni, i Large Language Models (LLM), come ChatGPT, hanno dimostrato notevoli capacità nella comprensione e generazione del linguaggio naturale, aprendo nuove prospettive nell’automazione di compiti complessi. Questa tesi esplora l'applicazione degli LLM nella valutazione automatizzata delle query SQL, con l'obiettivo di supportare il processo di correzione e feedback in contesti educativi. SQL è un linguaggio fondamentale per la gestione dei database, ampiamente utilizzato sia in ambito accademico che professionale; tuttavia, la sua valutazione risulta impegnativa a causa della varietà di errori che possono emergere. Per affrontare tale sfida, la ricerca ha esaminato l’efficacia di modelli come ChatGPT, Gemma2B, CodeStral e Llama 3.1 Sonar, analizzando la loro precisione nel riconoscere errori sintattici, semantici e logici nelle query SQL prodotte dagli studenti. Durante la sperimentazione, sono stati utilizzati dataset di esercizi SQL e i modelli sono stati valutati in modalità few-shot e zero-shot. I risultati evidenziano una correlazione tra le valutazioni fornite dai LLM e quelle umane, con prestazioni notevoli nel riconoscimento degli errori sintattici. Tuttavia, i modelli hanno mostrato difficoltà nell’identificazione di errori semantici complessi e nella comprensione delle intenzioni sottostanti alle query. Inoltre, la ricerca ha analizzato i costi di inferenza associati ai vari modelli, confrontando i modelli open-source con quelli proprietari in termini di efficienza e di costi operativi. Il confronto ha mostrato che, sebbene i modelli proprietari presentino vantaggi in termini di prestazioni, le opzioni open-source rappresentano soluzioni valide ed economiche in contesti con risorse limitate. In conclusione, la tesi conferma che gli LLM possiedono un significativo potenziale come supporto alla valutazione delle query SQL, pur evidenziando la necessità di ulteriori ottimizzazioni per migliorare il riconoscimento degli errori semantici e logici. La ricerca rappresenta un contributo rilevante nel campo dell'educazione supportata dall’intelligenza artificiale e suggerisce l'integrazione di modelli LLM come strumenti per facilitare l'apprendimento e la pratica di SQL, fornendo feedback personalizzato e immediato agli studenti.