Herunterladen und Installieren von Apache Kafka [Windows und Linux]

Apache Kafka ist ein Nachrichten-Streaming-Dienst, der es verschiedenen Anwendungen in einem verteilten System ermöglicht, über Nachrichten zu kommunizieren und Daten auszutauschen.

Es fungiert als Pub/Subsystem, in dem Producer-Anwendungen Nachrichten veröffentlichen und Consumer-Systeme diese abonnieren.

Mit Apache Kafka können Sie eine lose gekoppelte Architektur zwischen den Teilen Ihres Systems übernehmen, die Daten produzieren und verbrauchen. Dies vereinfacht das Entwerfen und Verwalten des Systems. Kafka verlässt sich auf Zookeeper für die Verwaltung von Metadaten und die Synchronisierung verschiedener Elemente des Clusters.

Funktionen von Apache Kafka

Apache Kafka ist unter anderem wegen seines Seins populär geworden

• Skalierbar durch Cluster und Partitionen
• Schnell in der Lage, 2 Millionen Schreibvorgänge pro Sekunde auszuführen
• Behält die Reihenfolge bei, in der Nachrichten gesendet werden
• Zuverlässig durch sein Replikatsystem
• Es kann ohne Ausfallzeit aufgerüstet werden

Sehen wir uns nun einige der häufigsten Anwendungsfälle von Kafka an.

Häufige Anwendungsfälle von Apache Kafka

Kafka wird häufig bei der Verarbeitung von Big Data, der Aufzeichnung und Zusammenfassung von Ereignissen wie Schaltflächenklicks für Analysen und der Kombination von Protokollen aus verschiedenen Teilen eines Systems an einem zentralen Ort verwendet.

Es hilft bei der Ermöglichung der Kommunikation zwischen verschiedenen Anwendungen in einem System und der Echtzeitverarbeitung von Daten von IoT-Geräten.

Sehen wir uns nun die detaillierten Schritte zur Installation von Kafka unter Windows und Linux an.

Installing Kafka on Windows

Überprüfen Sie zunächst, ob Java auf Ihrem Computer installiert ist, um Apache Kafka unter Windows zu installieren. Öffnen Sie die Eingabeaufforderung im Administratormodus und geben Sie den Befehl ein:

java --version

Wenn Java installiert ist, sollten Sie die aktuell installierte JDK-Versionsnummer erhalten.

Wenn Sie eine Fehlermeldung erhalten, dass der Befehl nicht erkannt wurde, wurde Java nicht installiert und Sie müssen Java installieren. Um Java zu installieren, gehen Sie zu Adoptium.net und klicken Sie auf den Download-Button.

Dies sollte die Java-Installationsdatei herunterladen. Führen Sie nach Abschluss des Downloads das Installationsprogramm aus. Dies sollte die Installationsaufforderung öffnen.

Drücken Sie wiederholt Weiter, um die Standardoptionen auszuwählen. Anschließend sollte die Installation beginnen. Überprüfen Sie die Installation, indem Sie die Eingabeaufforderung schließen, eine andere Eingabeaufforderung im Administratormodus erneut öffnen und den folgenden Befehl eingeben:

java --version

Dieses Mal sollten Sie die JDK-Version erhalten, die Sie gerade installiert haben. Nachdem die Installation abgeschlossen ist, können wir mit der Installation von Kafka beginnen.

Um Kafka zu installieren, gehen Sie zuerst zu Kafka-Website.

Klicken Sie auf den Link und Sie sollten zur Download-Seite gelangen. Laden Sie die neuesten verfügbaren Binärdateien herunter.

Dadurch werden die darin enthaltenen Kafka-Skripte und Binärdateien heruntergeladen .tgz Datei. Nach dem Download müssen Sie die Dateien aus dem .tgz-Archiv extrahieren. Zum Extrahieren werde ich verwenden WinZip, die von heruntergeladen werden kann WinZip Webseite.

Verschieben Sie die Datei nach dem Extrahieren in die C:\ so dass der Dateipfad wird C:\kafka

Öffnen Sie dann die Eingabeaufforderung im Administratormodus und starten Sie Zookeeper, indem Sie zuerst in das Kafka-Verzeichnis navigieren. Und führen Sie die Datei zookeeper-server-start.bat mit zookeeper.properties als Konfigurationsdatei aus

cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

Wenn Zookeeper läuft, müssen wir die hinzufügen wmic ausführbare Datei, die Kafka in unserem System PATH verwendet,

set PATH=C:\Windows\System32\wbem\;%PATH%;

Starten Sie danach den Apache Kafka-Server, indem Sie eine weitere Eingabeaufforderungssitzung im Administratormodus öffnen und zu navigieren C:\kafka Mappe

cd C:\kafka

Starten Sie dann Kafka durch Ausführen

bin\windows\kafka-server-start.bat config\server.properties

Damit sollte Kafka laufen. Sie können Servereigenschaften anpassen, z. B. wo die Protokolle in die geschrieben werden server.properties Datei.

Installing Kafka on Linux

Stellen Sie zunächst sicher, dass Ihr System auf dem neuesten Stand ist, indem Sie alle Pakete aktualisieren

sudo apt update && sudo apt upgrade

Überprüfen Sie als Nächstes, ob Java auf Ihrem Computer installiert ist, indem Sie es ausführen

java --version

If java installiert ist, sehen Sie die Versionsnummer. Ist dies jedoch nicht der Fall, können Sie es mit installieren apt.

sudo apt install default-jdk

Danach können wir Apache Kafka installieren, indem wir die Binärdateien von herunterladen die Webseite.

Öffnen Sie Ihr Terminal und navigieren Sie zu dem Ordner, in dem der Download gespeichert wurde. In meinem Fall muss ich zum Download-Ordner navigieren.

cd Downloads

Sobald Sie sich im Download-Ordner befinden, extrahieren Sie die heruntergeladenen Dateien mit tar:

tar -xvzf kafka_2.13-3.3.1.tgz

Navigieren Sie zum extrahierten Ordner

cd kafka_2.13-3.3.1.tgz

Listen Sie die Verzeichnisse und Dateien auf.

Sobald Sie sich im Ordner befinden, starten Sie einen Zookeeper-Server, indem Sie die zookeeper-server-start.sh Skript befindet sich in der bin Verzeichnis des extrahierten Ordners.

Das Skript erfordert eine Zookeeper-Konfigurationsdatei. Die Standarddatei wird aufgerufen zookeeper.properties und befindet sich in der config Unterverzeichnis.

Um den Server zu starten, verwenden Sie also den Befehl:

bin/zookeeper-server-start.sh config/zookeeper.properties

Wenn Zookeeper läuft, können wir den Apache Kafka-Server starten. Das kafka-server-start.sh Skript befindet sich auch in der bin Verzeichnis. Der Befehl erwartet außerdem eine Konfigurationsdatei. Die Standardeinstellung ist server.properties gespeichert in der config Datei.

bin/kafka-server-start.sh config/server.properties

Dies sollte Apache Kafka zum Laufen bringen. Im Inneren des bin Verzeichnis finden Sie viele Skripte, um Dinge wie das Erstellen von Themen, das Verwalten von Produzenten und das Verwalten von Verbrauchern zu tun. Sie können die Servereigenschaften auch in der anpassen server.properties Datei.

Final Words

In diesem Handbuch haben wir die Installation von Java und Apache Kafka beschrieben. Während Sie Kafka-Cluster manuell installieren und verwalten können, können Sie auch verwaltete Optionen wie z Amazon Webdienste und Confluent.

Als nächstes können Sie lernen Datenverarbeitung mit Kafka und Spark.