Apache Kafka est un service de diffusion de messages qui permet à différentes applications d'un système distribué de communiquer et de partager des données via des messages.
Il fonctionne comme un pub/sous-système où les applications productrices publient des messages et les systèmes consommateurs y souscrivent.
Apache Kafka vous permet d'adopter une architecture faiblement couplée entre les parties de votre système qui produisent et consomment des données. Cela simplifie la conception et la gestion du système. Kafka s'appuie sur Zookeeper pour la gestion des métadonnées et la synchronisation des différents éléments du cluster.

Caractéristiques d'Apache Kafka
Apache Kafka est devenu populaire, entre autres raisons, pour être
- Évolutivité via des clusters et des partitions
- Rapide capable d'effectuer 2 millions d'écritures par seconde
- Maintient l'ordre dans lequel les messages sont envoyés
- Fiable grâce à son système de répliques
- Il peut être mis à niveau sans aucun temps d'arrêt
Explorons maintenant quelques-uns des cas d'utilisation courants de Kafka.
Cas d'utilisation courants d'Apache Kafka
Kafka est souvent utilisé dans le traitement du Big Data, l'enregistrement et l'agrégation d'événements tels que les clics de bouton pour l'analyse, et la combinaison de journaux de différentes parties d'un système dans un emplacement central.
Il aide à permettre la communication entre différentes applications dans un système et le traitement en temps réel des données des appareils IoT.
Voyons maintenant les étapes détaillées pour installer Kafka sur Windows et Linux.
Installing Kafka on Windows
Tout d'abord, vérifiez si Java est installé sur votre machine pour installer Apache Kafka sous Windows. Ouvrez l'invite de commande en mode administrateur et saisissez la commande :
java --version
Si Java est installé, vous devriez obtenir le numéro de version du JDK actuellement installé.
Si vous obtenez un message d'erreur indiquant que la commande n'a pas été reconnue, Java n'a pas été installé et vous devez installer Java. Pour installer Java, rendez-vous sur Adoptium.net et cliquez sur le bouton de téléchargement.

Cela devrait télécharger le fichier d'installation Java. Une fois le téléchargement terminé, exécutez le programme d'installation. Cela devrait ouvrir l'invite d'installation.

Appuyez plusieurs fois sur Suivant pour choisir les options par défaut. L'installation devrait alors commencer. Vérifiez l'installation en fermant l'invite de commande, en rouvrant une autre invite de commande en mode administrateur et en saisissant la commande :
java --version
Cette fois, vous devriez obtenir la version JDK que vous venez d'installer. Une fois l'installation terminée, nous pouvons commencer à installer Kafka.
Pour installer Kafka, allez d'abord dans le Site Web de Kafka.

Cliquez sur le lien, et cela devrait vous amener à la page Téléchargements. Téléchargez les derniers binaires disponibles.

Cela téléchargera les scripts Kafka et les binaires emballés dans .tgz
dossier. Après le téléchargement, vous devez extraire les fichiers de l'archive .tgz. Pour extraire, j'utiliserai WinZip, téléchargeable sur le WinZip en ligne.
Après avoir extrait le fichier, déplacez-le vers le C:\
de sorte que le chemin du fichier devienne C:\kafka
Ouvrez ensuite l'invite de commande en mode administrateur et démarrez Zookeeper en naviguant d'abord dans le répertoire Kafka. Et en exécutant le fichier zookeeper-server-start.bat avec zookeeper.properties comme fichier de configuration
cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Avec Zookeeper en cours d'exécution, nous devons ajouter le wmic
fichier exécutable que Kafka utilise dans notre système PATH,
set PATH=C:\Windows\System32\wbem\;%PATH%;
Après cela, démarrez le serveur Apache Kafka en ouvrant une autre session d'invite de commande en mode administrateur et en accédant au C:\kafka
dossier
cd C:\kafka
Puis lancez Kafka en courant
bin\windows\kafka-server-start.bat config\server.properties
Avec cela, Kafka devrait fonctionner. Vous pouvez personnaliser les propriétés du serveur, telles que l'emplacement d'écriture des journaux dans le server.properties
fichier.
Installing Kafka on Linux
Tout d'abord, assurez-vous que votre système est à jour en mettant à jour tous les packages
sudo apt update && sudo apt upgrade
Ensuite, vérifiez si Java est installé sur votre machine en exécutant
java --version
If java
est installé, vous verrez le numéro de version. Cependant, si ce n'est pas le cas, vous pouvez l'installer en utilisant apt
.
sudo apt install default-jdk
Après cela, nous pouvons installer Apache Kafka en téléchargeant les binaires à partir de le site Internet.

Ouvrez votre terminal et accédez au dossier dans lequel le téléchargement a été enregistré. Dans mon cas, je dois accéder au dossier Téléchargements.
cd Downloads
Une fois dans le dossier des téléchargements, extrayez les fichiers téléchargés à l'aide de tar
:
tar -xvzf kafka_2.13-3.3.1.tgz
Accédez au dossier extrait
cd kafka_2.13-3.3.1.tgz
Listez les répertoires et les fichiers.
Une fois dans le dossier, démarrez un serveur Zookeeper en exécutant le zookeeper-server-start.sh
script situé dans le bin
répertoire du dossier extrait.
Le script nécessitera un fichier de configuration Zookeeper. Le fichier par défaut s'appelle zookeeper.properties
et est situé dans le config
sous-répertoire.
Donc pour démarrer le serveur, utilisez la commande :
bin/zookeeper-server-start.sh config/zookeeper.properties
Avec Zookeeper en cours d'exécution, nous pouvons démarrer le serveur Apache Kafka. Le kafka-server-start.sh
script se trouve également dans le bin
annuaire. La commande attend également un fichier de configuration. Celui par défaut est server.properties
stocké dans le config
fichier.
bin/kafka-server-start.sh config/server.properties
Cela devrait faire fonctionner Apache Kafka. À l'intérieur de bin
répertoire, vous trouverez de nombreux scripts pour faire des choses telles que créer des sujets, gérer des producteurs et gérer des consommateurs. Vous pouvez également personnaliser les propriétés du serveur dans le server.properties
fichier.
Mot de la fin
Dans ce guide, nous avons expliqué comment installer Java et Apache Kafka. Bien que vous puissiez installer et gérer manuellement les clusters Kafka, vous pouvez également utiliser des options gérées telles que Amazon Services Web et Confluent.
Ensuite, vous pouvez apprendre traitement de données avec Kafka et Spark.