Apache Kafka est un service de diffusion de messages en continu qui permet à différentes applications d'un système distribué de communiquer et de partager des données par le biais de messages.
Il fonctionne comme un système pub/sub où les applications productrices publient des messages et les systèmes consommateurs s'y abonnent.
Apache Kafka vous permet d'adopter une architecture faiblement couplée entre les parties de votre système qui produisent et consomment des données. Cela simplifie la conception et la gestion du système. Kafka s'appuie sur Zookeeper pour la gestion des métadonnées et la synchronisation des différents éléments du cluster.

Fonctionnalités d'Apache Kafka
Apache Kafka est devenu populaire, entre autres raisons, parce qu'il est
- Évolutif grâce aux grappes et aux partitions
- Rapide, capable d'effectuer 2 millions d'écritures par seconde
- Maintient l'ordre d'envoi des messages
- Fiable grâce à son système de répliques
- Il peut être mis à niveau sans interruption de service
Explorons maintenant quelques-uns des cas d'utilisation courants de Kafka.
Cas d'utilisation courants d'Apache Kafka
Kafka est souvent utilisé pour le traitement de données volumineuses, l'enregistrement et l'agrégation d'événements tels que les clics sur des boutons à des fins d'analyse, et la combinaison de journaux provenant de différentes parties d'un système dans un emplacement central.
Il aide à permettre la communication entre les différentes applications d'un système et le traitement en temps réel des données provenant des appareils IoT.
Voyons maintenant les étapes détaillées de l'installation de Kafka sous Windows et Linux.
Installation de Kafka sur Windows
Tout d'abord, vérifiez si Java est installé sur votre machine pour installer Apache Kafka sur Windows. Ouvrez l'invite de commande en mode administrateur et entrez la commande :
java --version
Si Java est installé, vous devriez obtenir le numéro de version du JDK actuellement installé.
Si vous obtenez un message d'erreur indiquant que la commande n'a pas été reconnue, c'est que Java n'a pas été installé et que vous devez l'installer. Pour installer Java, rendez-vous sur Adoptium.net et cliquez sur le bouton de téléchargement.

Le fichier d'installation Java devrait être téléchargé. Une fois le téléchargement terminé, exécutez le programme d'installation. L'invite d'installation devrait s'ouvrir.

Appuyez plusieurs fois sur Suivant pour choisir les options par défaut. L'installation devrait alors commencer. Vérifiez l'installation en fermant l'invite de commande, en rouvrant une autre invite de commande en mode administrateur et en entrant la commande :
java --version
Cette fois, vous devriez obtenir la version du JDK que vous venez d'installer. Une fois l'installation terminée, nous pouvons commencer à installer Kafka.
Pour installer Kafka, il faut d'abord se rendre sur le site Site web de Kafka.

Cliquez sur le lien, et vous devriez arriver sur la page des téléchargements. Téléchargez les derniers binaires disponibles.

Cela permet de télécharger les scripts et les binaires Kafka qui se trouvent dans le dossier .tgz
fichier. Après le téléchargement, vous devez extraire les fichiers de l'archive .tgz. Pour extraire, j'utiliserai WinZipqui peut être téléchargé à partir du site WinZip site web.
Après avoir extrait le fichier, déplacez-le dans le dossier C:\
de telle sorte que le chemin d'accès au fichier devienne C:\kafka
Ensuite, ouvrez l'invite de commande en mode Administrateur et démarrez Zookeeper en naviguant d'abord vers le répertoire Kafka. Et en exécutant le fichier zookeeper-server-start.bat avec zookeeper.properties comme fichier de configuration.
cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Une fois Zookeeper lancé, nous devons ajouter le fichier wmic
que Kafka utilise dans notre PATH système,
set PATH=C:\Windows\System32\wbem\;%PATH%;
Ensuite, démarrez le serveur Apache Kafka en ouvrant une autre session d'invite de commande en mode administrateur et en naviguant jusqu'au fichier C:\kafka
dossier
cd C:\kafka
Démarrez ensuite Kafka en exécutant
bin\windows\kafka-server-start.bat config\server.properties
Kafka devrait alors fonctionner. Vous pouvez personnaliser les propriétés du serveur, comme l'endroit où les journaux sont écrits dans le fichier server.properties
fichier.
Installation de Kafka sur Linux
Tout d'abord, assurez-vous que votre système est à jour en mettant à jour tous les paquets
sudo apt update && sudo apt upgrade
Ensuite, vérifiez si Java est installé sur votre machine en exécutant la commande suivante
java --version
Si java
est installé, vous verrez le numéro de version. Toutefois, si ce n'est pas le cas, vous pouvez l'installer en utilisant apt
.
sudo apt install default-jdk
Après cela, nous pouvons installer Apache Kafka en téléchargeant les binaires à partir de le site web.

Ouvrez votre terminal et naviguez jusqu'au dossier où le téléchargement a été sauvegardé. Dans mon cas, je dois naviguer vers le dossier Downloads.
cd Downloads
Une fois dans le dossier des téléchargements, extrayez les fichiers téléchargés à l'aide de tar
:
tar -xvzf kafka_2.13-3.3.1.tgz
Naviguer vers le dossier extrait
cd kafka_2.13-3.3.1.tgz
Liste des répertoires et des fichiers.
Une fois dans le dossier, démarrez un serveur Zookeeper en exécutant la commande zookeeper-server-start.sh
situé dans le fichier bin
du dossier extrait.
Le script aura besoin d'un fichier de configuration de Zookeeper. Le fichier par défaut s'appelle zookeeper.properties
et se trouve dans la config
sous-répertoire.
Ainsi, pour démarrer le serveur, utilisez la commande :
bin/zookeeper-server-start.sh config/zookeeper.properties
Une fois Zookeeper lancé, nous pouvons démarrer le serveur Apache Kafka. Le serveur kafka-server-start.sh
se trouve également dans le fichier bin
(répertoire). La commande attend également un fichier de configuration. Le fichier par défaut est server.properties
stockée dans le config
fichier.
bin/kafka-server-start.sh config/server.properties
Cela devrait permettre à Apache Kafka de fonctionner. À l'intérieur de l'interface bin
vous trouverez de nombreux scripts permettant de créer des thèmes, de gérer les producteurs et les consommateurs. Vous pouvez également personnaliser les propriétés du serveur dans le répertoire server.properties
fichier.
Dernières paroles
Dans ce guide, nous avons vu comment installer Java et Apache Kafka. Bien que vous puissiez installer et gérer les clusters Kafka manuellement, vous pouvez également utiliser des options gérées telles que Amazon Web Services et Confluent.
Ensuite, vous pouvez apprendre le traitement des données avec Kafka et Spark.