v2 - Changements

OpenSearch amène plusieurs changements, vous devez donc vérifier la compatibilité de votre application avec ceux-ci.

Breaking changesOpenSearch documentation

Changements de rupture

Remove mapping type

Il s'agit du principal changement induisant une rupture et il n'est pas spécifique à OpenSearch car il était déjà prévu par ElasticSearch avant le fork.

Removal of mapping types | Elasticsearch Guide [7.17] | ElasticElastic

Vous devez donc vous assurer que vos applications n'utilisent plus les paramètres "type".

Voici quelques solutions concernant les produits souvent utilisés avec les solutions élastiques et comment les configurer pour qu'ils fonctionnent avec OpenSearch 2.x

Fluentbit

ElasticsearchFluent Bit: Official Manual

Si le client est Fluentbit, la solution la plus simple est de définir le paramètre Suppress_Type_Name sur On.

Il est également possible de changer le plugin de sortie pour le plugin natif d'OpenSearch qui fait partie de Fluentbit depuis la version 1.9.

OpenSearchFluent Bit: Official Manual

L'article suivant peut s'avérer utile pour débuter avec Fluentbit et OpenSearch :

https://opensearch.org/blog/technical/2022/03/getting-started-with-fluent-bit-and-opensearch/opensearch.org

Fluentd

Si le client est Fluentd, c'est plus délicat. Il existe également unsuppress_type_name mais le plugin n'utilise ce paramètre que s'il détecte une version d'Elastic >= 7.

Nous devons donc ajouter d'autres paramètres :

• verify_es_version_at_startup = false - pour ne pas laisser le plugin détecter la version

• default_elasticsearch_version = '7'

GitHub - uken/fluent-plugin-elasticsearchGitHub

Voici par exemple les changements à effectuer sur les spécifications du plugin de sortie que nous utilisons dans Kubernetes.

Avant

 elasticsearch:
    flatten_hashes: true
    host: ostest.es.cegedim.cloud
    include_tag_key: true
    log_es_400_reason: true
    logstash_format: true
    logstash_prefix: myit-app-prod-frontend
    password:
      valueFrom:
        secretKeyRef:
          key: myit-app-prod_password
          name: it-cloud-eb.es.cegedim.cloud
    port: 443
    prefer_oj_serializer: true
    reconnect_on_error: true
    request_timeout: 30s
    scheme: https
    suppress_type_name: true
    user: myit-app-prod

Après

  elasticsearch:
    default_elasticsearch_version: "7"
    flatten_hashes: true
    host: ostest.es.cegedim.cloud
    include_tag_key: true
    log_es_400_reason: true
    logstash_format: true
    logstash_prefix: myit-app-prod-frontend
    password:
      valueFrom:
        secretKeyRef:
          key: myit-app-prod_password
          name: it-cloud-eb.es.cegedim.cloud
    port: 443
    prefer_oj_serializer: true
    reconnect_on_error: true
    request_timeout: 30s
    scheme: https
    suppress_type_name: true
    user: myit-app-prod
    verify_es_version_at_startup: false

Il y a aussi un plugin de sortie pour OpenSearch.

opensearchFluentd

Le plugin OpenSearch n'est pas encore disponible dans le système de journalisation de Rancher.