OpenSearch - Didacticiels
Déployer un cluster
Connectez-vous à la plateforme ITCare, recherchez le service global auquel attacher le cluster et cliquez dessus.
Cliquez sur le bouton Créer une ressource dans votre Service Global et sélectionnez OpenSearch. Donnez un nom unique au cluster et définissez un nom de préfixe qui sera utilisé pour nommer les machines virtuelles. Cliquez sur Suivant.
Sélectionnez le nombre de nœuds et la taille des nœuds. Cliquez sur Suivant.
Sélectionnez le volume de stockage. Cliquez sur Suivant.
Sélectionnez la région et la zone dans laquelle vous souhaitez installer votre cluster. Cliquez sur Suivant.
Sélectionnez le VLAN dans lequel vous souhaitez déployer votre cluster. Cliquez sur Suivant.
Activez ou désactivez les options supplémentaires :
Surveillance des machines virtuelles et des clusters
Surveillance 24/7
Sauvegarde
Réplication des machines virtuelles (récupération en cas de désastre)
Cliquez sur Suivant.
Sélectionnez la version et définissez un mot de passe administrateur qui sera utilisé pour gérer votre cluster.
Les mots de passe ne sont pas sauvegardés par cegedim.cloud.
Assurez-vous de sauvegarder votre mot de passe!
A l'étape finale, vous pouvez vérifier la synthèse de votre demande : vérifier les noms des machines virtuelles à créer, sauvegarder votre mot de passe administrateur, modifier les options de gestion.
Cliquez sur Soumettre.
Une fois que le cluster est prêt, vous serez notifié par email avec les informations requises pour se connecter au cluster.
La création d'un cluster peut prendre jusqu'à 2 heures en fonction de la charge actuelle de l'automatisation. Le cluster sera ensuite affiché dans votre service global, dans le panneau de contrôle de gauche, sous la section cluster associé. La flèche verte indique que le cluster est actif.
Démarrer un cluster
Dans le panneau de contrôle gauche, cliquez sur le nom du cluster pour afficher la page de détails de celui-ci. En haut de la page du cluster, cliquez sur le bouton Gérer, puis sur Démarrer et confirmer.
Le démarrage d'un cluster démarre toutes les machines virtuelles attachées au cluster.
Une notification par courriel sera envoyée lorsque le service sera activé.
Arrêter un cluster
En haut de la page du cluster, cliquez sur le bouton Gérer, puis sur Stop.
Saisissez un numéro RFC pour le suivi (facultatif). Cliquez sur Soumettre.
L'arrêt d'un cluster arrêtera toutes les machines virtuelles attachées au cluster et la surveillance sera désactivée.
Une notification par courrier électronique sera envoyée lorsque le cluster sera arrêté.
Ajouter des nœuds
En haut de la page du cluster, cliquez sur le nom du cluster OpenSearch, puis sur Ajouter des nœuds.
Sélectionnez le nombre de nœuds que vous souhaitez ajouter (nombre pair) et sélectionnez la nouvelle taille (cpu/ram). Spécifiez la taille du disque de données.
Une notification par courrier électronique sera envoyée lorsque tous les nœuds auront été ajoutés.
Redimensionner les nœuds
En haut de la page du cluster, cliquez sur le bouton Gérer, puis sur Redimensionner les nœuds.
Sélectionnez les nœuds que vous souhaitez redimensionner et sélectionnez la nouvelle taille (cpu/ram).
Chaque nœud sera redimensionné et redémarré de manière séquentielle.
Une notification par courriel sera envoyée lorsque tous les nœuds auront été redimensionnés.
Supprimer un cluster
En haut de la page du cluster, cliquez sur le bouton Gérer, puis sur Supprimer. Cette action arrêtera et supprimera toutes les machines virtuelles.
Veuillez noter que cette action n'est pas récupérable!
Saisissez un numéro RFC pour le suivi (facultatif), puis cliquez sur Soumettre.
Une notification par courriel sera envoyée lorsque le cluster sera supprimé.
Mise à niveau d'un cluster
La mise à niveau d'un cluster n'est pas encore implémentée dans ITCare.
Si vous souhaitez mettre à niveau votre cluster existant vers une version plus récente, vous devez envoyer une demande au support en indiquant la version souhaitée.
Pendant la mise à jour, le cluster OpenSearch continuera à fonctionner correctement car nous effectuons une mise à jour continue. Cependant, il se peut que vous constatiez une courte indisponibilité pendant la mise à jour des serveurs de tableaux de bord, qui est effectuée après la mise à jour du cluster OpenSearch.
Mise à jour de la topologie d'un cluster
La mise à jour de la topologie d'un cluster est proposée pour un cluster Opensearch initialement constitué de trois nœuds (topologie basique).
La mise à jour est implémentée dans ITCare via l'option "Gérer-Migrer vers un master dédié"
La migration permet d'ajouter deux nœuds Master, tout en spécialisant les (n-1) nœuds existants au rôle de Data. Le cluster sera ainsi composé de trois nœuds Master et du reste des nœuds dédiés au rôle de Data.
Pendant la mise à jour vers une topologie "Master dédié", le cluster continuera de fonctionner,bien qu'il puisse temporairement passer à un statut "Yellow".Cependant, certains objets du cluster, comme les tableaux de bord, peuvent être temporairement indisponibles. Tout reviendra à la normale une fois la migration terminée.
Démo de migration
Ajouter des nodes d'ingestions au cluster
La fonctionnalité d'ajout de nœuds dédiés au rôle d'ingestion est disponible pour un cluster OpenSearch avec une topologie « master dédié » (cluster de cinq nœuds).
La mise en place de nœuds d'ingestion dédiés est implémentée dans ITCare via le menu déroulant "Gérer" puis l'action "Ajouter des noeuds d'ingestion"
Grâce à ces nœuds d'ingestion, il est possible d'isoler le processus d'ingestion des données, ce qui permet de limiter l'impact sur l'indexation ou la recherche, même en cas de volumes élevés de données entrantes. Cela améliore ainsi la stabilité et les performances globales du cluster.
Lien vers la documentation officiel
Démo des nodes d'ingestion
Définir des attributs de nœud
Attribut de noeuds - Architecture multi-niveaux - Hot/Cold
L'architecture multi-niveau (Hot-Warm-Cold) dans OpenSearch permet d'optimiser les coûts, les performances et la scalabilité en fonction des besoins spécifiques de votre application. Cette architecture permet de stocker les données en fonction de leur fréquence d'accès, en répartissant les données fréquemment sollicitées au niveau des nœuds identifiés (Hot), les données moyennement sollicitées au niveau des nœuds identifiés (Warm) et les données non fréquemment recherchées au niveau des nœuds identifiés (Cold). En plus des différences d'attributs, le nombre de nœuds à chaque niveau peut également varier pour répondre aux besoins spécifiques des requêtes de recherche.
Pour répondre à ce besoin, nous proposons deux niveaux à l'architecture multi-niveaux (Hot-Cold). La configuration des attributs de nœud est disponible dans ITCare via l'action "Définir les attributs du nœud", accessible au niveau de chaque nœud.
Pour plus d'information sur la configuration des attributs de nœud, veuillez consulter la documentation officielle.
Dépassement de la Limite de Shards
Dans OpenSearch, chaque nœud est limité par défaut à 1000 shards pour maintenir les performances et la stabilité du cluster en gérant l’utilisation des ressources.
Dépasser cette limite, par exemple lors de la création de nouveaux index, entraînera une erreur.
Voici des solutions ci-dessous qui vous aideront à résoudre ce problème.
Ajouter des Nœuds de Données au Cluster
Ajouter des nœuds supplémentaires répartit les shards sur plus de ressources, réduisant la charge par nœud.
Chaque nœud supplémentaire apporte sa propre limite de 1000 shards, augmentant ainsi la capacité globale du cluster.
Augmenter le Paramètre cluster.max_shards_per_node
Ajustez le paramètre cluster.max_shards_per_node pour autoriser plus de shards par nœud si votre matériel le permet (CPU, mémoire et stockage suffisants).
Il est recommandé de ne pas dépasser 2000 shards par nœud pour éviter une surcharge.
Utilisez la commande suivante pour modifier le paramètre :
Optimiser l'Allocation des shards par index
Lors de la création de nouveaux index, planifiez soigneusement le nombre de shards en fonction de la taille des données et de la croissance attendue.
Voici quelques bonnes pratiques:
Utilisez moins de shard, plus grands, pour les petites données.
Révisez régulièrement l'allocation des shards pour optimiser l’utilisation des ressources selon l'évolution du cluster.
Remarques
Surveillez régulièrement l’utilisation des shards et des ressources pour des performances optimales.
Un dashboard Grafana pour OpenSearch est disponible sur ce sujet dans votre plateforme de monitoring avancée.
Assurez-vous que vos nœuds disposent de ressources suffisantes avant d’augmenter les limites de shards.
Last updated
