La gestione dei big data rappresenta una delle sfide più ardue per le organizzazioni, specialmente quando si tratta di volumi elevati di dati in tempo reale.
In questo articolo, analizzeremo il concetto di elaborazione dei big data, il suo funzionamento e le caratteristiche di Apache Kafka e Spark, due tra le piattaforme più rinomate nel settore.
Cosa si intende per elaborazione dei dati e come funziona?
L’elaborazione dei dati si riferisce a qualsiasi operazione, automatizzata o meno, che abbia lo scopo di raccogliere, ordinare e organizzare le informazioni in modo logico e significativo per l’interpretazione.
Quando un utente interroga un database e riceve risultati pertinenti, è l’elaborazione dei dati che permette la restituzione di tali informazioni. I risultati ottenuti sono frutto di questo processo, rendendo l’elaborazione dei dati un pilastro fondamentale dell’informatica.
L’elaborazione tradizionale dei dati avveniva tramite software di base. Tuttavia, l’avvento dei big data ha trasformato questo scenario. I big data, infatti, comprendono informazioni che possono superare i cento terabyte o addirittura i petabyte.
Questi dati sono in costante aggiornamento, con esempi come quelli provenienti da contact center, social media, o dati di borsa. In alcuni casi, questi dati vengono definiti “flusso di dati”, un flusso continuo e inarrestabile. La loro particolarità è l’assenza di confini definiti, rendendo difficile identificare l’inizio e la fine del flusso.
I dati vengono elaborati non appena arrivano a destinazione. Questo approccio è spesso denominato elaborazione in tempo reale o online. Un’alternativa è l’elaborazione batch o offline, dove i dati vengono elaborati a blocchi in intervalli di tempo che possono variare da ore a giorni. Spesso, l’elaborazione batch viene eseguita durante la notte per consolidare i dati della giornata. Esistono anche casi di elaborazioni settimanali o mensili che generano report meno aggiornati.
Le principali piattaforme per l’elaborazione di big data in streaming sono open source, come Kafka e Spark. Queste piattaforme possono essere utilizzate insieme ad altri strumenti complementari. Essendo open source, evolvono rapidamente e integrano un’ampia gamma di strumenti. Questo consente di ricevere flussi di dati da diverse fonti, a velocità variabili e senza interruzioni.
Ora, analizzeremo più da vicino due degli strumenti di elaborazione dati più popolari e li metteremo a confronto:
Apache Kafka
Apache Kafka è un sistema di messaggistica progettato per lo sviluppo di applicazioni di streaming con un flusso di dati ininterrotto. Creato inizialmente da LinkedIn, Kafka si basa su un sistema di log, dove ogni nuova informazione viene aggiunta alla fine del file.
Una delle caratteristiche principali di Kafka, che lo rende una soluzione eccellente per i big data, è la sua elevata capacità di throughput. Inoltre, Apache Kafka consente di trasformare l’elaborazione batch in tempo reale.
Apache Kafka è un sistema di messaggistica di tipo publish-subscribe, in cui un’applicazione pubblica messaggi e un’altra, iscritta, li riceve. Il lasso di tempo tra la pubblicazione e la ricezione di un messaggio può essere di pochi millisecondi, garantendo una bassa latenza.
Funzionamento di Kafka
L’architettura di Apache Kafka si compone di produttori, consumatori e il cluster stesso. Un produttore è un’applicazione che pubblica messaggi nel cluster, mentre un consumatore è un’applicazione che riceve messaggi da Kafka. Il cluster Kafka è un insieme di nodi che operano come un’unica entità di messaggistica.
Un cluster Kafka è formato da diversi broker. Un broker è un server Kafka che riceve i messaggi dai produttori e li salva su disco. Ogni broker gestisce una lista di topic, e ogni topic è suddiviso in partizioni.
Una volta ricevuti i messaggi, il broker li inoltra ai consumatori iscritti a ciascun topic.
Le impostazioni di Apache Kafka sono gestite da Apache Zookeeper, che memorizza i metadati del cluster, come la posizione delle partizioni, la lista dei nomi, la lista dei topic e i nodi disponibili. Zookeeper, quindi, garantisce la sincronizzazione tra i diversi elementi del cluster.
Zookeeper è essenziale poiché Kafka è un sistema distribuito: scrittura e lettura vengono eseguite da più client contemporaneamente. In caso di guasto, Zookeeper nomina un sostituto e ripristina l’operazione.
Casi d’uso
Kafka è diventato popolare, soprattutto per la sua funzione di strumento di messaggistica, ma la sua versatilità consente di utilizzarlo in una varietà di scenari, come quelli che seguono:
Messaggistica
Una forma di comunicazione asincrona che disaccoppia le parti comunicanti. In questo modello, una parte invia i dati come messaggio a Kafka, e un’altra applicazione li consuma in un secondo momento.
Monitoraggio delle attività
Consente di memorizzare ed elaborare dati relativi all’interazione di un utente con un sito web, come visualizzazioni di pagine, click, inserimento di dati. Questo tipo di attività genera solitamente un grande volume di dati.
Metriche
Implica l’aggregazione di dati e statistiche provenienti da diverse fonti per generare un report centralizzato.
Aggregazione log
Consiste nell’aggregare e archiviare in modo centralizzato i file di log provenienti da diversi sistemi.
Elaborazione del flusso
L’elaborazione delle pipeline di dati comprende diverse fasi in cui i dati grezzi vengono consumati dai topic, aggregati, arricchiti o trasformati in altri topic.
Per supportare queste funzionalità, la piattaforma fornisce principalmente tre API:
- Streams API: Funziona come processore di stream che consuma dati da un topic, li trasforma e li scrive in un altro.
- Connectors API: Permette di collegare i topic a sistemi esistenti, come database relazionali.
- API di produttori e consumatori: Consente alle applicazioni di pubblicare e utilizzare dati in Kafka.
Vantaggi
Replicato, partizionato e ordinato
I messaggi in Kafka vengono replicati tra le partizioni nei nodi del cluster, nell’ordine in cui arrivano, per garantire sicurezza e velocità di consegna.
Trasformazione dei dati
Con Apache Kafka, è possibile trasformare l’elaborazione batch in tempo reale tramite l’API di flussi ETL batch.
Accesso sequenziale al disco
Apache Kafka mantiene i messaggi sul disco e non nella memoria, in quanto ciò dovrebbe risultare più veloce. L’accesso alla memoria è generalmente più rapido, ma Kafka effettua un accesso sequenziale, e in questo caso il disco risulta più efficiente.
Apache Spark
Apache Spark è un motore per l’elaborazione di big data e un set di librerie per l’elaborazione parallela dei dati tra cluster. Spark rappresenta un’evoluzione di Hadoop e del paradigma di programmazione Map-Reduce. La sua capacità di sfruttare efficientemente la memoria, senza persistere i dati sui dischi durante l’elaborazione, lo rende fino a 100 volte più veloce.
Spark è organizzato su tre livelli:
- API di basso livello: Questo livello contiene le funzionalità di base per l’esecuzione dei lavori e altre funzioni necessarie agli altri componenti. Altre importanti funzioni di questo livello sono la gestione della sicurezza, della rete, della pianificazione e dell’accesso logico ai file system HDFS, GlusterFS, Amazon S3 e altri.
- API strutturate: Il livello API strutturato si occupa della manipolazione dei dati tramite DataSet o DataFrame, che possono essere letti in formati come Hive, Parquet, JSON e altri. Utilizzando SparkSQL (API che consente di scrivere query in SQL), è possibile manipolare i dati nel modo desiderato.
- Alto livello: Nel livello più alto, si trova l’ecosistema Spark con varie librerie, tra cui Spark Streaming, Spark MLlib e Spark GraphX. Queste librerie gestiscono lo streaming e i processi correlati, come il ripristino da crash, la creazione e la convalida di modelli di machine learning e la gestione di grafici e algoritmi.
Funzionamento di Spark
L’architettura di un’applicazione Spark è composta da tre parti principali:
Programma driver: È responsabile dell’orchestrazione dell’esecuzione dell’elaborazione dei dati.
Cluster Manager: È il componente responsabile della gestione delle diverse macchine in un cluster. È necessario solo se Spark è distribuito.
Nodi di lavoro: Sono le macchine che eseguono le attività di un programma. Se Spark viene eseguito localmente sul tuo computer, questo svolgerà sia il ruolo di programma driver che quello di worker. Questa modalità di esecuzione di Spark è chiamata Standalone.
Il codice Spark può essere scritto in diverse lingue. La console Spark, denominata Spark Shell, è interattiva e ideale per l’apprendimento e l’esplorazione dei dati.
Un’applicazione Spark è composta da uno o più Job, supportando l’elaborazione dati su larga scala.
Per quanto riguarda l’esecuzione, Spark prevede due modalità:
- Client: Il driver viene eseguito direttamente sul client, senza passare attraverso il Resource Manager.
- Cluster: Il driver viene eseguito sull’Application Master tramite il Resource Manager (in modalità Cluster, se il client si disconnette, l’applicazione continua a funzionare).
È essenziale utilizzare Spark in modo corretto affinché i servizi collegati, come il Resource Manager, possano identificare le necessità di ogni esecuzione, garantendo le migliori prestazioni. Lo sviluppatore deve conoscere il modo ottimale per eseguire i propri lavori Spark, strutturando la chiamata effettuata. A tale scopo, è possibile configurare gli esecutori Spark nel modo desiderato.
I processi Spark utilizzano principalmente la memoria, quindi è comune regolare i valori di configurazione Spark per gli esecutori dei nodi di lavoro. A seconda del carico di lavoro, è possibile determinare se una configurazione Spark non standard fornisce prestazioni migliori. A tal fine, è utile eseguire test comparativi tra le varie opzioni di configurazione disponibili e la configurazione predefinita di Spark.
Casi d’uso
Apache Spark è utile per l’elaborazione di grandi quantità di dati, in tempo reale o archiviati, strutturati o non strutturati. Di seguito sono riportati alcuni dei suoi casi d’uso più comuni:
Arricchimento dei dati
Spesso le aziende combinano dati storici sui clienti con dati comportamentali in tempo reale. Spark può facilitare la creazione di una pipeline ETL continua per convertire i dati degli eventi non strutturati in dati strutturati.
Rilevamento di eventi
Spark Streaming consente di rilevare e rispondere rapidamente a comportamenti insoliti o sospetti che potrebbero indicare potenziali problemi o frodi.
Analisi di sessioni complesse
Utilizzando Spark Streaming, è possibile raggruppare e analizzare gli eventi relativi alla sessione di un utente, come le sue attività dopo l’accesso all’applicazione. Queste informazioni possono essere utilizzate per aggiornare i modelli di machine learning.
Vantaggi
Elaborazione iterativa
Se l’attività consiste nell’elaborare ripetutamente i dati, i set di dati distribuiti (RDD) resilienti di Spark permettono più operazioni di mapping in memoria, senza dover scrivere i risultati provvisori su disco.
Elaborazione grafica
Il modello computazionale di Spark con l’API GraphX è ideale per i calcoli iterativi tipici dell’elaborazione grafica.
Apprendimento automatico
Spark include MLlib, una libreria di machine learning integrata con algoritmi già pronti che vengono eseguiti in memoria.
Confronto tra Kafka e Spark
Nonostante l’interesse verso Kafka e Spark sia simile, esistono alcune differenze fondamentali. Analizziamole:
#1. Elaborazione dati
Kafka è uno strumento per lo streaming e l’archiviazione di dati in tempo reale, responsabile del trasferimento di dati tra applicazioni, ma da solo non è sufficiente per una soluzione completa. Per attività che Kafka non può svolgere, come l’elaborazione dei dati, sono necessari strumenti come Spark. Quest’ultimo è una piattaforma di elaborazione dati, che estrae dati dai topic Kafka e li trasforma in schemi combinati.
#2. Gestione della memoria
Spark utilizza Robust Distributed Datasets (RDD) per la gestione della memoria. Anziché tentare di elaborare enormi set di dati, li distribuisce su più nodi in un cluster. Kafka, al contrario, utilizza un accesso sequenziale simile a HDFS e archivia i dati in una memoria buffer.
#3. Trasformazione ETL
Sia Spark che Kafka supportano il processo di trasformazione ETL, che copia i record da un database all’altro, in genere da una base transazionale (OLTP) a una base analitica (OLAP). Tuttavia, a differenza di Spark, che ha una capacità integrata per il processo ETL, Kafka si affida all’API Streams per supportarlo.
#4. Persistenza dei dati
L’uso di RRD da parte di Spark permette di archiviare i dati in diverse posizioni per un utilizzo successivo, mentre in Kafka è necessario definire gli oggetti del set di dati nella configurazione per rendere persistenti i dati.
#5. Difficoltà
Spark è una soluzione completa e più facile da apprendere, grazie al supporto per vari linguaggi di programmazione di alto livello. Kafka dipende da una serie di API e moduli di terze parti, rendendone l’utilizzo più complesso.
#6. Recupero
Sia Spark che Kafka offrono opzioni di recupero. Spark utilizza RRD, che permette di salvare i dati continuamente e ripristinarli in caso di errore del cluster.
Kafka replica continuamente i dati all’interno del cluster e tra i broker, consentendo di passare a diversi broker in caso di errore.
Somiglianze tra Spark e Kafka
| Apache Spark | Apache Kafka | |
| Open Source | ✅ | ✅ |
| Crea applicazioni di streaming dati | ✅ | ✅ |
| Supporta l’elaborazione con stato | ✅ | ✅ |
| Supporta SQL | ✅ | ✅ |
Considerazioni finali
Kafka e Spark sono entrambi strumenti open source, scritti in Scala e Java, che permettono di creare applicazioni di streaming di dati in tempo reale. Hanno in comune diverse caratteristiche, tra cui l’elaborazione con stato, il supporto per SQL e ETL. Kafka e Spark possono essere utilizzati come strumenti complementari per risolvere le difficoltà legate al trasferimento di dati tra applicazioni.