Sistema di monitoraggio applicato ai processi ETL: sviluppo di una soluzione per l’integrazione e la visualizzazione dei log di esecuzione = Monitoring system applied to ETL processes: development of a solution for the integration and visualization of execution logs

Nel contesto aziendale moderno, il monitoraggio dei processi ETL (Extract, Transform, Load) è un elemento cruciale per garantire contemporaneamente qualità, affidabilità e prestazioni dei flussi di integrazione dei dati. La presente tesi, svolta in collaborazione con Mediamente Consulting srl, affronta il problema del monitoraggio delle esecuzioni di tali flussi implementati in SSIS (SQL Server Integration Services) e propone un sistema di analisi e visualizzazione basato su un'architettura dimensionale e una dashboard interattiva in Power BI. L’analisi parte dallo studio del catalogo SSISDB, evidenziandone le principali limitazioni tra cui la complessità nell'interrogazione diretta, la frammentazione dell'informazione disponibile, l'assenza di una reportistica efficace. Per rispondere a queste criticità, è stato progettato un modello dati ottimizzato per la raccolta e l’analisi delle informazioni sulle esecuzioni, con l'obiettivo di migliorarne l'accessibilità e la fruibilità per gli utenti. Il processo di sviluppo ha seguito un approccio strutturato che viene articolato in più fasi. In primo luogo, è stato condotto uno studio approfondito dei progetti analizzati, al fine di identificare i principali KPI da monitorare e i requisiti specifici per l’analisi delle esecuzioni. Successivamente, è stato definito un modello dati dimensionale che è stato popolato mediante un flusso ETL in SSIS, realizzato in base alle esigenze specifiche. Infine, il sistema è stato integrato con Power BI, permettendo la visualizzazione dei principali indicatori di performance e l’individuazione tempestiva di anomalie nelle esecuzioni dei pacchetti SSIS. I risultati ottenuti dimostrano come un approccio metodico al monitoraggio possa migliorare significativamente la gestione operativa dei processi ETL, fornendo agli utenti uno strumento più efficace per l'analisi e la diagnostica degli errori.