Realizzazione di un workflow di elaborazione dati con lineage end-to-end = Development of a data processing pipeline with end-to-end lineage

Mattia Domizio

Realizzazione di un workflow di elaborazione dati con lineage end-to-end = Development of a data processing pipeline with end-to-end lineage.

Rel. Marco Torchiano. Politecnico di Torino, Corso di laurea magistrale in Ingegneria Informatica (Computer Engineering), 2026

Abstract

La crescente complessità degli stack dati aziendali rende sempre più difficile sapere da dove provengono i dati, come vengono trasformati e dove vengono utilizzati. In assenza di un catalogo unificato, l'eterogeneità di data warehouse, strumenti di trasformazione e piattaforme di business intelligence genera frammentazione informativa, duplicazione semantica e lineage incompleto, con impatti diretti su impact analysis, governance e affidabilità dei processi decisionali. Questa tesi documenta la progettazione, l'implementazione e la valutazione di Teseo, una piattaforma di metadata governance AI-powered sviluppata presso Target Reply nell'ambito di un progetto per un cliente internazionale del settore retail (apparecchi acustici). Teseo è costruita su DataHub Core (un catalogo di metadati open-source) ed è progressivamente estesa con componenti di intelligenza artificiale basati sul Model Context Protocol (MCP).

Il lavoro affronta quattro direttrici: - la prima è l'ingestion multi-source dei metadati: una pipeline integra Snowflake, dbt e Power BI e costruisce un lineage end-to-end navigabile sia a livello di tabella sia a livello di colonna, dalla sorgente fisica fino al report di consumo; - la seconda è la data governance operativa, con tag, ownership, domini, glossary term, structured properties, assertion di qualità e gestione degli incidenti, tutti insistenti sullo stesso grafo di metadati; - la terza è l'integrazione di agenti AI tramite un server MCP: oltre agli strumenti ufficiali read-oriented di DataHub, è stato sviluppato un server MCP custom con strumenti write-oriented per l'arricchimento semantico e la gestione di lineage e lifecycle degli asset, progettati secondo i principi di merge non distruttivo, idempotenza e operazioni in batch; - la quarta è una pipeline BI-as-code che, a partire dallo schema registrato in Teseo, genera automaticamente progetti Power BI versionabili (PBIP), convertibili in PBIX e pubblicabili sul Power BI Service tramite Service Principal