Big Data, organizzazione in Data Warehouse e Data Lake

Obiettivo del corso

Le tecnologie e le fonti dati sono ormai innumerevoli: DataBase, File di Log applicativo, software per documenti di testo, Social Media, Sensori IoT e wareable in generale, Telecamere e così via.

Perché i dati sono importanti? Partendo dal dato grezzo rilevato da un sensore di temperatura, ad esempio, riusciamo ad avere un’informazione e quindi ad iniziare a ricavarne valore. Il dato è "0", quindi il valore è "è freddo"!

Per un'azienda i dati sono fondamentali: hanno a che fare con il contesto e le esigenze di business. Ma... come vengono trattati? Con quali tecnologie? Ricordiamo i Data Warehouse, utile a migliorare il proprio business e capace di offrire reportistica, possibilità di analisi e supporto decisionale. Il che si traduce in un sistema progettato per raccogliere, conservare e rendere disponibili informazioni provenienti da diverse fonti dati all'interno di un'organizzazione.

La caratteristica principale è che contiene dati storici, rappresentando per le aziende il sistema abilitante per analizzare tendenze e pattern nel tempo, offrendo così una visione completa e a lungo termine del proprio business.

A questo si collegano i Big Data, cioè un sistema in grado di raccogliere, archiviare, manipolare e mettere a disposizione, grandi quantità di dati (Volume), di natura differente (Varietà), che vengono prodotti e trasmessi a grande Velocità, che siano affidabili, accurati e coerenti (Veridicità) e che al contempo siano di Valore per le specifiche esigenze di business.

Questa evoluzione del dato e la relativa implementazione delle nuove tecnologie sono state giustamente viste come opportunità; infatti, essendo in grado di gestire grandi quantità di dati eterogenei sia in termini funzionali che tecnici e soprattutto il poter effettuare analisi in tempo reale, si è dimostrato abilitante per nuove tecniche di analisi, democratizzando così l’uso di algoritmi e metodologie un tempo a disposizione solo di enti di ricerca o di aziende di caratura enterprise.

Di fatto il concetto di Data Warehouse si è evoluto e, quella che una volta poteva rappresentare una sorta di competizione tecnologica, oggi sempre più è diventata sinergia con il Data Lake: lavorando in sinergia, offrono una piattaforma solida che consente alle aziende di gestire l'intera gamma di dati a loro disposizione, ottimizzando il potenziale dell'analisi e delle decisioni basate sui dati.