Parallelizzazione di algoritmi di previsione dell’irraggiamento solare tramite Hadoop e Rasterframes = Parellelization of algorithms for solar radiation prediction by Hadoop and RasterFrames

Nell'ambito del progetto di realizzazione di un framework software per la progettazione e simulazione di impianti fotovoltaici del dipartimento di Ingegneria Energetica, si è reso necessario individuare nuove metodologie per implementare gli algoritmi basati su modelli sempre più raffinati. Ciò ha comportato un maggiore carico dal punto di vista dell'elaborazione e dello spazio di memorizzazione per le sorgenti di dati. Le sorgenti dei dati su cui si basano questi algoritmi sono cosiddetti big data che sono accomunati da caratteristiche riassumibili tramite le "tre V": "Volume", "Velocità" e "Varietà". Volume riferito alla quantità di dati in ingresso o uscita, Velocità riferito alla frequenza con la quale sono generati e Varietà riferito alla non omogeneità del formato. In particolare i dati utilizzati dagli algoritmi in esame prevedono sia una fitta scala temporale (un dato ogni 15min o meno), sia un'alta risoluzione dei dati Raster (0.5m per pixel). Il progetto di questa tesi è basato sul simulatore presentato nell'articolo "A Microservices-based Framework for Smart Design and Optimization of PV Installations" in cui viene proposto un sistema per la stima della produzione di energia di pannelli fotovoltaici in ambiente urbano. In particolare il simulatore identifica le aree adatte all'installazione di pannelli fotovoltaici, verifica se queste aree presentano delle ombre e quindi stimare l'irraggiamento di tali aree con un'alta precisione e una fitta scala temporale con un dato ogni 15 minuti. Infine deve sia produrre statistiche utili al progetto del posizionamento dei pannelli fotovoltaici stessi sia fungere da backup nel caso di monitoraggio online della produzione istantanea andando quindi a riempire i vuoti dovuti ad eventuali interruzioni del flusso dati proveniente dai singoli pannelli solari o gruppi di essi. Con l'obiettivo di ridurre i tempi di elaborazione si è sviluppata una possibile soluzione senza utilizzare conversioni e facendo in modo che sia possibile eseguire l'operazione in parallelo in un sistema cluster. Per fare ciò si è scelto di creare un sistema basato su Docker Swarm per quanto riguarda la gestione dei container all'interno del cluster. Per l'archiviazione dei dati in ambiente distribuito l'uso del file system HDFS messo a disposizione da Apache Hadoop è di fatto uno standard. Mentre per la parte di elaborazione si è scelto Apache Spark unito al framework RasterFrames. RasterFrames aggiunge ad Apache Spark la compatibilità con i dati Raster e con i dati Vettoriali, necessaria per il progetto. La tesi prosegue con brevi cenni sul funzionamento degli impianti fotovoltaici, delle modalità di stima della produzione di energia e della struttura dei dati utilizzati per i calcoli nel capitolo 2. Nel capitolo 3 si analizzano gli strumenti utilizzati per l'architettura proposta e il loro funzionamento. Nel capitolo 4 è descritto nel dettaglio il codice Python per effettuare i calcoli richiesti tramite la nuova architettura. Nel capitolo 5 è poi descritto come replicare la stessa configurazione di laboratorio usata per i test. I risultati sperimentali sono inseriti nel capitolo 6. In conclusione l'architettura è molto promettente, ma necessita di un grande numero di CPU per avere tempi di elaborazione accettabili per applicazioni destinate a funzionare in ambiente Web, che richiede tempi nell'ordine di pochi minuti al massimo.