Q&A Information Retrieval - Progettazione, osservazione ed analisi di una sperimentazione didattica sull’intelligenza artificiale generativa nell'ambito di un corso di Basi di Dati = Q&A Information Retrieval - Design, Observation, and Analysis of an Educational Experiment on Generative Artificial Intelligence within a Database Course

Il presente lavoro di tesi descrive e analizza la prima edizione del progetto didattico “Q&A Information Retrieval” sull’intelligenza artificiale generativa, svolto nell’ambito di un insegnamento di Basi di Dati. Gli studenti coinvolti sono iscritti al terzo anno del corso di laurea in Ingegneria del Cinema e dei Mezzi di Comunicazione del Politecnico di Torino. L’obiettivo è quello di presentare un metodo di insegnamento che adotta questa tecnologia all’avanguardia per stimolare la consapevolezza degli studenti riguardo all’affidabilità dei modelli linguistici. Infatti, il progetto consiste nello sviluppo di un’applicazione in grado di rispondere a delle domande su un argomento specifico e nella valutazione dell’output ottenuto. Nello specifico, gli studenti hanno svolto le seguenti attività: •??Selezionare un argomento specifico, raccogliere una serie di documenti che servano da base di conoscenza per l’applicazione da sviluppare e definire 10 domande di prova per testarla. •??Creare una prima versione del chatbot a partire dalla LangChain, un pacchetto Python per lo sviluppo di applicazioni che si basano su modelli linguistici. •??Cambiare alcune variabili del modello, confrontare le diverse configurazioni ottenute attraverso delle metriche di valutazione e selezionare la migliore. •??Collegare la configurazione scelta ad un canale Telegram per facilitarne l’utilizzo. •??Valutare le prestazioni del chatbot rispetto ai risultati ottenuti con ChatGPT, che al momento rappresenta il modello di intelligenza artificiale generativa più utilizzato. I modelli linguistici su cui si basano le applicazioni come ChatGPT negli ultimi mesi hanno dimostrato di essere estremamente utili in vari contesti. Tuttavia, essi sono caratterizzati dal rischio di fornire informazioni inaccurate a causa dell'imprecisione intrinseca degli algoritmi che ne regolano il funzionamento. Per assumere consapevolezza riguardo a questa realtà, agli studenti è stato chiesto specificamente di eseguire una fase di valutazione per mitigare il rischio di disinformazione. L'obiettivo di apprendimento di questa esperienza pratica è quindi duplice: da un lato, esercitarsi con le tecnologie emergenti e, dall'altro, valutare l’affidabilità dei risultati con uno spirito critico. L’elaborato inizia con una panoramica di alto livello sui modelli conversazionali e il loro utilizzo nell’ambito della formazione universitaria. A seguire verrà introdotta la LangChain e i componenti facenti parte dell’architettura del chatbot. Verranno illustrate le singole fasi dell’esperienza e presentate varie analisi dei risultati ottenuti. Infine, saranno discusse alcune proposte di miglioramento per lo svolgimento di eventuali edizioni future del progetto.