Creation of a web platform for event-flow visualization

Contesto: Big Data sta diventando giorno dopo giorno uno degli argomenti più cruciali nel mondo del business. Un esempio ne sono le aziende che raccolgono una grande quantità di dati di qualsiasi tipo. Tuttavia, avere queste grandi basi di dati significa anche che la loro gestione è importante, soprattutto quando il successo dell'azienda si basa su di esse. Molti strumenti permettono un'analisi approfondita come l'uso di semplici grafici o software più complessi come Tableau. Tuttavia, i dati dipendenti dal tempo, come ad esempio i logs, sono più complicati da analizzare con gli strumenti già disponibili. Quindi, la creazione di uno strumento per questo caso specifico era necessaria per includere un'ulteriore variabile nell'analisi, il tempo. Obiettivi: L'analisi dei dati sta iniziando ad essere un settore principale. Infatti, può essere utilizzata per aumentare gli introiti di una piccola o grande azienda. Inoltre, può essere adoperata per qualsiasi modello di apprendimento automatico, poiché quest'ultimo ha bisogno di essere allenato da una fonte di dati affidabile. Questo processo non è facile e l'allenamento potrebbe non essere perfetto a causa del rumore sui dati o dei parametri di configurazione errati utilizzati. Per questo motivo, è importante analizzare i dati e capirne il significato. Anche se ci sono diversi strumenti per questo, è stata necessaria la realizzazione di un'applicazione specifica per gestire i dati basati sul tempo. L'obiettivo è quello di creare una nuova piattaforma web in grado di mostrare un flusso di eventi attraverso una linea temporale. Inoltre, deve permettere di modificare ciascun aspetto di visualizzazione per un'analisi più approfondita. La soluzione: Questa applicazione è stata sviluppata utilizzando le ultime tecnologie disponibili. In particolare, il front-end è basato sul framework D3JS e React che permette di aggiornare automaticamente l'interfaccia se i dati subiscono una modifica. In secondo luogo, il back-end basato su Scala permette all'applicazione di contattare il DBMS in un ambiente controllato. Poiché la quantità di dati è molto grande ed è necessario una grande quantità di calcoli per ricreare una linea temporale, il DBMS utilizzato è Vertica, uno dei DBMS più veloci al mondo in termini di tempo di esecuzione delle queries. Tuttavia, una linea temporale potrebbe essere molto lunga e il browser potrebbe a non riuscire a gestire così tante informazioni, soprattutto perché la memoria è limitata e ogni richiesta è limitata da un timeout. Quindi, è stato necessario trovare un compromesso tra funzionalità e complessità per consentire una sufficiente personalizzazione dell'analisi e velocità di esecuzione. Per questo motivo, ogni linea temporale è costruita su richiesta. In altre parole, tutto ciò che è visibile viene richiesto su Vertica e salvato in memoria, il resto non viene affatto visualizzato in modo da ridurre i requisiti richiesti dall'applicazione. Conclusioni: Il software è stato sviluppato con l'obiettivo di soddisfare ogni requisito funzionale e non funzionale. Non solo è possibile visualizzare i dati sotto forma di linee temporali, ma ci sono anche caratteristiche che aiutano l'utente a capire cosa viene mostrato e qual è il loro significato. Inoltre, gran parte di questo progetto è stato sviluppato con l'idea di renderlo modulare cercando di automatizzare gli steps richiesti. Ciò renderà ogni nuova funzione facile da implementare.