Design e implementazione di una streaming platform con strumenti OpenSource = Design and implementation of a streaming platform with OpenSource tools

La crescente diffusione dell’IoT sta producendo una notevole quantità di dati per i quali, nella maggior parte dei casi, è necessaria un'analisi in tempo reale. Ne sono un esempio l'ambiente della sicurezza stradale con telematics box pronte ad avvisarci in caso di incidenti per poter avviare protocolli di emergenza, l'ambito bancario dove qualunque transazione necessita di essere tracciata e validata nel minor tempo possibile, l'ambito industriale dove i dati dei vari sensori consentono di comprendere in tempo reale l'andamento della produzione ed evitare possibili guasti. Gli esempi possono essere tanti e, nella maggior parte dei casi, oltre ad elaborare un'enorme quantità di dati è necessario farlo nel minor tempo possibile. Inoltre, queste tecniche di elaborazione da sole non bastano per realizzare un sistema per l’analisi di dati in tempo reale ma bisogna anche possedere un sistema di storage adeguato. Questo sistema deve consentire di memorizzare, aggiornare e interrogare i dati con il più basso ritardo possibile. La vera sfida oggi, è riuscire ad essere pronti a gestire un aumento inatteso del traffico. Da qui, la necessità di realizzare una streaming platform altamente scalabile e performante per soddisfare queste necessità. Questa piattaforma deve consentire di acquisire dati da sorgenti esterne, elaborarli in tempo reale e fornire ottimi risultati nel più breve tempo possibile. Il progetto prevede l’utilizzo di framework di comunicazione (e.g. Kafka) e di strumenti di analytics (e.g. Flink) con lo scopo di realizzare un ambiente altamente affidabile e facilmente scalabile per soddisfare le richieste d’uso. Durante lo svolgimento del progetto si è entrati in una fase di design della piattaforma fino alla realizzazione di una Proof of Concept (PoC) che ha dimostrato l’effettivo utilizzo della piattaforma e l’adattamento della stessa ai requisiti dello use case. L’utilizzo della piattaforma è stato applicato alla cattura e classificazione del traffico dati real-time trasportato da flussi RTP che viene osservato in una rete in una delle seguenti classi: Audio, Low Quality (LQ) Video – 180, Medium Quality (MQ) Video – 360p, High Quality (HQ) Video - 720p e Screen Sharing. Il sistema sviluppato parte analizzando il traffico dati real-time che, mediante tecniche basate su DPI (deep packet inspection), seleziona solo i flussi RTP. Per ogni flusso vengono estratte delle features che servono come input al classificatore, che con alta precisione è in grado di identificare il tipo di sorgente multimediale. Agire a livello di rete e classificare il traffico dati è il passo più importante verso la gestione efficace del traffico e se la classificazione viene effettuata in tempo reale, si possono intraprendere azioni adeguate per massimizzare la Quality of Experience (QoE) percepita dagli utenti.