Apache Kafka è un servizio di streaming di messaggi che consente a diverse applicazioni in un sistema distribuito di comunicare e condividere dati tramite messaggi.
Funziona come un pub/sottosistema in cui le applicazioni producer pubblicano messaggi e i sistemi consumer li sottoscrivono.
Apache Kafka ti consente di adottare un’architettura liberamente accoppiata tra le parti del tuo sistema che producono e consumano dati. Ciò semplifica la progettazione e la gestione del sistema. Kafka si affida a Zookeeper per la gestione dei metadati e la sincronizzazione dei diversi elementi del cluster.
Sommario:
Caratteristiche di Apache Kafka
Apache Kafka è diventato popolare, tra le altre ragioni, per essere
- Scalabile tramite cluster e partizioni
- Veloce in grado di eseguire 2 milioni di scritture al secondo
- Mantiene l’ordine in cui i messaggi vengono inviati
- Affidabile grazie al suo sistema di repliche
- Può essere aggiornato senza tempi di inattività
Ora, esploriamo alcuni dei casi d’uso comuni di Kafka.
Casi d’uso comuni di Apache Kafka
Kafka viene spesso utilizzato per l’elaborazione di big data, la registrazione e l’aggregazione di eventi come i clic sui pulsanti per l’analisi e la combinazione di registri da diverse parti di un sistema in un’unica posizione centrale.
Aiuta a consentire la comunicazione tra diverse applicazioni in un sistema e l’elaborazione in tempo reale dei dati dai dispositivi IoT.
Ora, diamo un’occhiata ai passaggi dettagliati per installare Kafka su Windows e Linux.
Installazione di Kafka su Windows
Innanzitutto, controlla se Java è installato sul tuo computer per installare Apache Kafka su Windows. Apri il prompt dei comandi in modalità amministratore e inserisci il comando:
java --version
Se Java è installato, dovresti ottenere il numero di versione JDK attualmente installato.
Se ricevi un messaggio di errore che dice che il comando non è stato riconosciuto, Java non è stato installato ed è necessario installare Java. Per installare Java, vai su Adoptium.net e fai clic sul pulsante di download.
Questo dovrebbe scaricare il file di installazione di Java. Al termine del download, eseguire il programma di installazione. Questo dovrebbe aprire il prompt di installazione.
Premere ripetutamente Avanti per scegliere le opzioni predefinite. L’installazione dovrebbe quindi iniziare. Verificare l’installazione chiudendo il prompt dei comandi, riaprendo un altro prompt dei comandi in modalità amministratore e immettendo il comando:
java --version
Questa volta, dovresti ottenere la versione JDK che hai appena installato. Al termine dell’installazione, possiamo iniziare a installare Kafka.
Per installare Kafka, vai prima sul sito web di Kafka.
Fai clic sul collegamento e dovrebbe portarti alla pagina dei download. Scarica gli ultimi binari disponibili.
Questo scaricherà gli script ei binari di Kafka impacchettati nel file .tgz. Dopo il download, è necessario estrarre i file dall’archivio .tgz. Per estrarre, userò WinZip, che può essere scaricato dal sito web di WinZip.
Dopo aver estratto il file, spostalo in C: in modo tale che il percorso del file diventi C:kafka
Quindi apri il prompt dei comandi in modalità amministratore e avvia Zookeeper navigando prima nella directory di Kafka. Ed eseguendo il file zookeeper-server-start.bat con zookeeper.properties come file di configurazione
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Con Zookeeper in esecuzione, dobbiamo aggiungere il file eseguibile wmic che Kafka utilizza nel nostro PATH di sistema,
set PATH=C:WindowsSystem32wbem;%PATH%;
Successivamente, avvia il server Apache Kafka aprendo un’altra sessione del prompt dei comandi in modalità amministratore e navigando nella cartella C: kafka
cd C:kafka
Quindi avvia Kafka correndo
binwindowskafka-server-start.bat configserver.properties
Con questo, Kafka dovrebbe correre. È possibile personalizzare le proprietà del server, ad esempio dove vengono scritti i log nel file server.properties.
Installazione di Kafka su Linux
Innanzitutto, assicurati che il tuo sistema sia aggiornato aggiornando tutti i pacchetti
sudo apt update && sudo apt upgrade
Quindi, controlla se Java è installato sul tuo computer eseguendo
java --version
Se java è installato, vedrai il numero di versione. Tuttavia, se non lo è, puoi installarlo usando apt.
sudo apt install default-jdk
Successivamente, possiamo installare Apache Kafka scaricando i binari dal sito web.
Apri il tuo terminale e vai alla cartella in cui è stato salvato il download. Nel mio caso, devo accedere alla cartella Download.
cd Downloads
Una volta nella cartella dei download, estrai i file scaricati usando tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Passare alla cartella estratta
cd kafka_2.13-3.3.1.tgz
Elenca le directory e i file.
Una volta nella cartella, avvia un server Zookeeper eseguendo lo script zookeeper-server-start.sh che si trova nella directory bin della cartella estratta.
Lo script richiederà un file di configurazione Zookeeper. Il file predefinito si chiama zookeeper.properties e si trova nella sottodirectory config.
Quindi per avviare il server, usa il comando:
bin/zookeeper-server-start.sh config/zookeeper.properties
Con Zookeeper in esecuzione, possiamo avviare il server Apache Kafka. Anche lo script kafka-server-start.sh si trova nella directory bin. Il comando prevede anche un file di configurazione. Quello predefinito è server.properties memorizzato nel file di configurazione.
bin/kafka-server-start.sh config/server.properties
Questo dovrebbe far funzionare Apache Kafka. All’interno della directory bin troverai molti script per fare cose come creare argomenti, gestire i produttori e gestire i consumatori. È inoltre possibile personalizzare le proprietà del server nel file server.properties.
Parole finali
In questa guida, abbiamo esaminato come installare Java e Apache Kafka. Mentre puoi installare e gestire i cluster Kafka manualmente, puoi anche utilizzare opzioni gestite come Amazon Web Services e Confluent.
Successivamente, puoi imparare l’elaborazione dei dati con Kafka e Spark.