Apache Kafka - Architecture

Pour tirer pleinement parti d'Apache Kafka en tant que système distribué, le PaaS Apache Kafka de cegedim.cloud s'assure que les brokers sont dispatchés sur plusieurs Zones de Disponibilité afin de maximiser la résilience et la redondance.

Résilience

La taille du cluster par défaut comprend 3 brokers répartis sur 3 Zones de Disponibilité en fonction de votre centre de données.

La configuration par défaut garantit également que le facteur de réplication est fixé à 3 pour les topics et que le paramètre minimum in-sync replica soit configuré à deux.

Cette configuration garantit que tous vos topics et messages sont répliqués sur tous les brokers dans toutes les Zones de Disponibilité.

A noter que le provisionnement de plus de 3 brokers rendra les choses plus complexes.

Plus il y a de brokers, plus vous répliquerez vos données. Si vous ne voulez pas répliquer plus de 3 fois, vous devrez gérer quels topics et partitions sont répliqués et où afin de respecter votre DRP par exemple.

Diagramme de haut niveau

Diagramme de haut niveau

Sécurité

Le cluster Apache Kafka est sécurisé par les moyens suivants :

• Communications entre brokers sécurisées avec SASL_SSL

• Communications entre le client et le broker sécurisées par SASL_SSL

• Contrôleurs sécurisé avec des ACLs

Les contrôleurs sont gérés par cegedim.cloud et simplifie votre administration.

Pour se connecter à votre cluster Apache Kafka sécurisé, les éléments suivants seront requis :

• Le certificat correspondant

• Un utilisateur existant et autorisé avec un mot de passe (SCRAM-SHA-256)

Veuillez vous référer à la page Apache Kafka - Didacticiels pour vous connecter et interagir avec votre cluster Apache Kafka.

Configuration par défaut

Paramètres importants du broker Kafka conservés par défaut :

Paramètre	Défaut	Description
log.retention.hours	168	Le nombre d'heures à conserver un fichier journal avant de le supprimer.
log.retention.bytes	-1	La taille maximale du journal avant sa suppression : aucune limite.
log.segment.bytes	1073741824 (1 gibyte)	La taille maximale d'un seul fichier journal.
log.retention.check.interval.ms	300000 (5 minutes)	La fréquence en millisecondes à laquelle le nettoyeur de journaux vérifie si un journal peut être supprimé.

Voici les paramètres du broker Apache Kafka que cegedim.cloud va modifier lors du provisionnement :

Paramètre	Valeur	Défaut	Description
auto.create.topics.enable	Faux	Vrai	Active la création automatique de topics sur le serveur.
num.partitions	3	1	Nombre par défaut de partitions de journal par sujet. Un plus grand nombre de partitions permet un plus grand parallélisme pour la consommation, mais entraînera également un plus grand nombre de fichiers dans les brokers.
default.replication.factor	Dynamique	1	Le facteur de réplication est égal au nombre de brokers participant au cluster. (3 à 5)
min.insync.replicas	2	1	Le nombre minimum de répliquas qui doivent accuser réception d'une écriture pour que celle-ci soit considérée comme réussie pour un producteur qui définit les acks sur "all" (ou "-1").
num.recovery.threads.per.data.dir	Dynamique	1	Est égal au nombre de CPU de la machine virtuelle.
num.replica.fetchers	2	1	Nombre de threads de récupération utilisés pour répliquer les messages d'un broker source. En l'augmentant, on peut accroître le degré de parallélisme des E/S dans le broker suiveur.