Apache Kafka - Architecture
Last updated
Last updated
Pour tirer pleinement parti d'Apache Kafka en tant que système distribué, le PaaS Apache Kafka de cegedim.cloud s'assure que les brokers sont dispatchés sur plusieurs Zones de Disponibilité afin de maximiser la résilience et la redondance.
La taille du cluster par défaut comprend 3 brokers répartis sur 3 Zones de Disponibilité en fonction de votre centre de données.
La configuration par défaut garantit également que le facteur de réplication est fixé à 3 pour les topics et que le paramètre minimum in-sync replica soit configuré à deux.
Cette configuration garantit que tous vos topics et messages sont répliqués sur tous les brokers dans toutes les Zones de Disponibilité.
A noter que le provisionnement de plus de 3 brokers rendra les choses plus complexes.
Plus il y a de brokers, plus vous répliquerez vos données. Si vous ne voulez pas répliquer plus de 3 fois, vous devrez gérer quels topics et partitions sont répliqués et où afin de respecter votre DRP par exemple.
Le cluster Apache Kafka est sécurisé par les moyens suivants :
Communications entre brokers sécurisées avec SASL_SSL
Communications entre le client et le broker sécurisées par SASL_SSL
Contrôleurs sécurisé avec des ACLs
Les contrôleurs sont gérés par cegedim.cloud et simplifie votre administration.
Pour se connecter à votre cluster Apache Kafka sécurisé, les éléments suivants seront requis :
Le certificat correspondant
Un utilisateur existant et autorisé avec un mot de passe (SCRAM-SHA-256)
Veuillez vous référer à la page Apache Kafka - Didacticiels pour vous connecter et interagir avec votre cluster Apache Kafka.
Paramètres importants du broker Kafka conservés par défaut :
168
Le nombre d'heures à conserver un fichier journal avant de le supprimer.
-1
La taille maximale du journal avant sa suppression : aucune limite.
1073741824 (1 gibyte)
La taille maximale d'un seul fichier journal.
300000 (5 minutes)
La fréquence en millisecondes à laquelle le nettoyeur de journaux vérifie si un journal peut être supprimé.
Voici les paramètres du broker Apache Kafka que cegedim.cloud va modifier lors du provisionnement :
Faux
Vrai
Active la création automatique de topics sur le serveur.
3
1
Nombre par défaut de partitions de journal par sujet. Un plus grand nombre de partitions permet un plus grand parallélisme pour la consommation, mais entraînera également un plus grand nombre de fichiers dans les brokers.
Dynamique
1
Le facteur de réplication est égal au nombre de brokers participant au cluster. (3 à 5)
2
1
Le nombre minimum de répliquas qui doivent accuser réception d'une écriture pour que celle-ci soit considérée comme réussie pour un producteur qui définit les acks sur "all" (ou "-1").
Dynamique
1
Est égal au nombre de CPU de la machine virtuelle.
2
1
Nombre de threads de récupération utilisés pour répliquer les messages d'un broker source. En l'augmentant, on peut accroître le degré de parallélisme des E/S dans le broker suiveur.
