Les politiques de gestion des Buckets fournissent à des Object Users spécifiques, ou à tous les Object Users, des autorisations conditionnelles et granulaires pour des actions spécifiques.

Les conditions des politiques peuvent être utilisées pour attribuer des autorisations à une série d'objets qui correspondent à la condition souhaitée et peuvent être utilisées pour attribuer automatiquement des autorisations aux objets nouvellement téléchargés.

La manière dont l'accès aux ressources est gérée lors de l'utilisation du protocole S3 est décrite dans https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-access-control.html et vous pouvez utiliser ces informations comme base pour comprendre et utiliser les politiques de gestion des Buckets fournit par le service de Stockage d'Objet de cegedim.cloud.

Cette section fournit des informations de base sur l'utilisation des politiques de gestion des Buckets.

Gérer les politiques de gestion des Buckets

Les politiques de gestion des Buckets peuvent être gérées en utilisant le client aws s3api (d'autres outils ou SDK fonctionnent aussi):

• get-bucket-policy

• put-bucket-policy

• delete-bucket-policy

Nous utilisons les utilitaires aws s3 et aws s3api issues du client S3 AWSCLIv2 sur Linux. ${S3_ENDPOINT} & ${S3_PROFILE} sont des variables d'environnement.

Créer une politique de gestion de Bucket

Créez un fichier et insérez votre politique de gestion au format JSON :

{
    "Version": "2012-10-17",
    "Id": "S3PolicyId1",
    "Statement": [
        {
            "Sid": "Grant permission to <access_key>",
            "Effect": "Allow",
            "Principal": ["<access_key>"],
            "Action": [ "s3:PutObject","s3:GetObject" ],
            "Resource":[ "bucket-test/*" ]
        }
    ]
}

Appliquez la politique des gestions sur le Bucket: bucket-test

aws s3api --endpoint-url=${S3_ENDPOINT} put-bucket-policy --bucket bucket-test --policy file://policy.json --profile ${S3_PROFILE}

Afficher la politique de gestion sur un Bucket

aws s3api --endpoint-url=${S3_ENDPOINT} get-bucket-policy --bucket bucket-test --profile ${S3_PROFILE}

Supprimer une politique de gestion sur un Bucket

aws s3api --endpoint-url=${S3_ENDPOINT} delete-bucket-policy --bucket bucket-test --profile ${S3_PROFILE}

Exemples de politique de gestion d'un bucket

Accorder des permissions à un Object User

{
    "Version": "2012-10-17",
    "Id": "S3PolicyId1",
    "Statement": [
        {
            "Sid": "Grant permission to user1",
            "Effect": "Allow",
            "Principal": ["<access_key>"],
            "Action": [ "s3:PutObject","s3:GetObject" ],
            "Resource":[ "arn:aws:s3:::mybucket/*" ]
        }
    ]
}

Accorder des permissions en lecture seule à un Object User

{
  "Version": "2012-10-17",
  "Id": "s3ReadOnlyforUser",
  "Statement": [
    {
      "Sid": "Grant read permission to user1",
      "Effect": "Allow",
      "Principal": ["<access_key>"],
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::mybucket",
        "arn:aws:s3:::mybucket/*"
      ]
    }
  ]
}

Accorder les autorisations d’accès à tous les utilisateurs (accès public)

Le service de Stockage d'Objet de cegedim.cloud est directement accessible depuis Internet.

Pour plus d'informations, consulter Gérer l'accès à un Bucket.

{
    "Version": "2012-10-17",
    "Id": "S3PolicyId2",
    "Statement": [
        {
            "Sid": "Public Access to mybucket",
            "Effect": "Allow",
            "Principal": "*",
            "Action": [ "s3:GetObject" ],
            "Resource":[ "arn:aws:s3:::mybucket/*" ]
        }
    ]
}

Accès à un Bucket via un navigateur Web

Avec l'accès public, le contenu du Bucket peut être consulté directement à l'aide d'un navigateur web.

L'URL pour accéder à un Bucket public suit ce format : https://<objectstore_name>.storage-[eb4|et1].cegedim.cloud/<bucket_name>

Par exemple : https://cos-cegedimit-myit.storage-eb4.cegedim.cloud/mybucket

Accorder les autorisations d’accès à tous les utilisateurs (accès public) pour les objets sous un préfixe spécifique

Le service de Stockage d'Objet de cegedim.cloud est directement accessible depuis Internet.

Avec la politique suivante, tous les objets du Bucket my-bucket et sous le préfixe public/ sont accessibles publiquement, sans authentification :

{
  "Version":"2012-10-17",
  "Statement":[
    {
      "Sid":"public-access-based-on-prefix",
      "Effect":"Allow",
      "Principal": "*",
      "Action":["s3:GetObject"],
      "Resource":["arn:aws:s3:::my-bucket/public/*"]
      }
  ]
}

Opérations et conditions des politiques supportées

Opérations supportées

Permissions pour les opérations sur les objets

Permissions pour les opérations sur les Buckets

Permissions pour les opérations sur les sous-ressources d'un Bucket

Conditions supportées

Conditions génériques supportées

Conditions spécifiques supportées pour les opérations sur les objets

Conditions spécifiques prises en charge pour les opérations sur les Buckets

Le service de stockage Stockage Objet de cegedim.cloud prend en charge la génération d'URL pré-signées afin d'accorder l'accès aux objets sans avoir besoin d'authentification.

Les URL pré-signées sont utilisées pour fournir un accès à durée limitée, à un objet privé dans votre Bucket S3. Ils fonctionnent en ajoutant une Access key, une date d'expiration et une signature (Sigv4) comme paramètres de requête à l'objet S3.

Il y a deux cas d'utilisation courants où vous pouvez les utiliser :

• Partage simple et occasionnel d'objets.

• Accès fréquent et programmatique pour visualiser un objet dans une application

• Accès fréquent et programmatique au téléchargement d'un objet par l'intermédiaire d'une application

Générer une URL pré-signée (téléchargement)

aws s3 --endpoint-url=${S3_ENDPOINT} presign s3://bucket-test/feather.ttf --expires-in 600 --profile ${S3_PROFILE}

https://storage-eb4.cegedim.cloud/bucket-test/feather.ttf?AWSAccessKeyId=fzs37xbv5615hygx2wkm&Signature=S4jFPas53s8cnwdDieMHrhc0ddE%3D&Expires=1666821099

Dans cet exemple, l'URL générée a une expiration de 10 minutes. Passé ce délai, l'objet ne sera plus accessible, via cette URL.

Générer une URL pré-signée (téléversement)

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import boto3
from botocore.client import Config
s3 = boto3.client('s3')
s3 = boto3.client(
    's3',
    aws_access_key_id='xxxxx',
    aws_secret_access_key='xxxxx',
    config=Config(s3={'addressing_style': 'path'}),
    endpoint_url='https://storage-eb4.cegedim.cloud'
)
bucket = "bucket-test"
key = "feather.ttf"

print(s3.generate_presigned_url('put_object', Params={'Bucket':bucket,'Key':key}, ExpiresIn=300, HttpMethod='PUT'))

# Output

# Run Python script
./create_presign_url_upload.py

#Ouput
https://storage-eb4.cegedim.cloud/bucket-test/feather.ttf?AWSAccessKeyId=fzs37xbv5615hygx2wkm&Signature=NI%2BvoHYhWEFPDR04ioeFfBz5fks%3D&Expires=1712056959

Vous pouvez utiliser un outil tel que curl pour télécharger votre fichier dans le bucket, en utilisant l'URL générée précédemment :

curl --request PUT --upload-file feather.ttf 'https://storage-eb4.cegedim.cloud/bucket-test/feather.ttf?AWSAccessKeyId=fzs37xbv5615hygx2wkm&Signature=NI%2BvoHYhWEFPDR04ioeFfBz5fks%3D&Expires=1712056959'

La configuration d'un cycle de vie vous permet de définir une politique d'expiration de vos objets et de les supprimer automatiquement.

Dans cet exemple, nous allons créer une politique de gestion du cycle de vie pour supprimer les objets dont la clé commence par rapports/ et qui ont plus de 90 jours.

La gestion des configuration des Cycle de Vie est possible avec des clients avec interface graphique (S3 Browser) ou les SDK AWS.

Dans cet exemple, nous utiliserons le client en ligne de commande AWS CLI.

Limitations

• Le cycle de vie est définit au niveau du Bucket.

• Un maximum de 1000 règles de cycle de vie par Bucket est applicable.

• Il peut y avoir un délai entre la date d'expiration et la date à laquelle le service de Stockage Objet supprime l'objet.

• Toujours arrondir l'heure au jour suivant à minuit UTC.

Gérer les configurations de cycle de vie

La configuration d'un cycle de vie peut être gérée en utilisant aws s3api (d'autres outils ou SDK fonctionnent aussi) :

• put-bucket-lifecycle

• get-bucket-lifecycle

• delete-bucket-lifecycle

Créer une configuration de cycle de vie

Créez un fichier et insérez votre configuration au format JSON :

{
  "Rules": [
    {
      "Prefix": {},
      "Expiration": {
        "Days": 3
      },
    "Status": "Enabled",
    "ID": "Delete After 3 days."
    }
  ]
}

Appliquez-le au Bucket : bucket-test

aws s3api --endpoint-url=${S3_ENDPOINT} put-bucket-lifecycle --bucket bucket-test --lifecycle-configuration file://delete_after_3days.json --profile ${S3_PROFILE}

Afficher une configuration du cycle de vie

aws s3api --endpoint-url=${S3_ENDPOINT} get-bucket-lifecycle --bucket bucket-test --profile ${S3_PROFILE}

Supprimer une configuration de cycle de vie

aws s3api --endpoint-url=${S3_ENDPOINT} delete-bucket-lifecycle --bucket bucket-test --profile ${S3_PROFILE}

Éléments de configuration du cycle de vie supportés

Structure

Object Store

Un Object Store est un conteneur logique pour les Buckets et les objets stockés dans le service de stockage objet de cegedim.cloud.

Il est accompagné d'un Object User dédié qui est le seul autorisé à lister et à gérer les objets dans cet Object Store. Vous pouvez créer d'autres Object User.

Lors de la création d'un Object Store, vous devez choisir :

• Un nom simple (voir #limitations-et-bonnes-pratiques)

• Un centre de données :

  • EB4 - Centres de données Boulogne (non répliqué)

  • ET1 - Centres de données Toulouse (non répliqué)

  • EB4-ET1 - Les données sont répliquées sur EB4 et ET1 et sont accessibles depuis les deux centres de données.

Vous n'êtes pas limité et pouvez créer autant de Object Store que vous le souhaitez.

Néanmoins, il peut être préférable de segmenter les objets par Bucket pour les objets d'une même application ou de différentes applications.

Nous recommandons d'utiliser un Object Store au niveau projet, "groupe de projets" ou application, et un Bucket au niveau de la "typologie des fichiers" ou de l'environnement.

Buckets

Un Bucket est un conteneur d'objets délimité logiquement. Chaque objet est stocké dans un Bucket.

Un Bucket peut être créé à l'aide d'un client S3 et possède des attributs que vous pouvez utiliser pour contrôler son comportement et celui de ses objets, par exemple :

• Les politiques de gestion de version qui vous permettent le versionnage des objets

• Les politiques de gestion de Bucket qui vous permettent de configurer les autorisations et les restrictions pour les objets situés dans un Bucket**.**

Objets

Un objet est l'équivalent d'un fichier sur un système de fichiers classique. Chaque objet appartient à un Bucket et possède une "clé" comme identifiant unique.

Notez que la notion de dossiers n'existent pas dans un service de stockage objet, mais vous pouvez utiliser des préfixes et des délimiteurs pour organiser les objets que vous stockez dans les Buckets.

Un préfixe est une chaîne de caractères au début du nom de la "clé" de l'objet. Un délimiteur est un caractère, généralement le slash "/", utilisé pour séparer chaque niveau d'objets et simuler une hiérarchie semblable à système de fichiers.

Par exemple, si vous stockez des informations sur les clients, organisées par années et par mois :

client1/2020/03
client1/2020/04
client1/2021/05
client2/2020/03
client2/2021/02

Dans cet exemple "/" est le délimiteur, et client1/2020/04 est un un préfixe.

Diagramme

Compatibilité avec l'API S3

Voir la page Compatibilité API S3 pour la liste des API S3 supportées, non supportées ainsi que les comportements spécifiques à la solution de stockage objet de cegedim.cloud.

Endpoints

Le service de Stockage Objet de cegedim.cloud fournit 2 points endpoints:

• https://storage-eb4.cegedim.cloud

  • Permet d'utiliser le service de Stockage Objet via EB4 - Centre de données de Boulogne.

• https://storage-et1.cegedim.cloud

  • Permet d'utiliser le service de Stockage Objet via ET1 - Centre de données de Toulouse.

Géo-Répliqué

Dans le cas d'un Object Store géo-répliqué (EB4-ET1), les deux endpoints vous permettent d'accéder à vos objets.

Authentification

Object User

L'accès aux Buckets se fait par l'intermédiaire d'un Object User.

Lorsqu'un Object Store est créé, un Object User est automatiquement créé avec le label "Initial S3 user".

L'Object User dispose d'une access_key et d'une secret_key qui sont toutes deux générées automatiquement par cegedim.cloud.

Vous avez la possibilité de créer d'autres Object Users au sein de votre Object Store.

Un Object Users est lié à un seul Object Store et ne peut pas être utilisé pour effectuer des opérations sur un autre Object Store.

Renouvellement de la secret_key

A tout moment, vous avez la possibilité de re-générer la secret_key d'un Object User, pour des raisons de sécurité ou lorsque l'Object User est compromis.

Lors de la modification de la secret_key, vous pouvez ajouter une "période de grâce" pendant laquelle l'ancienne et la nouvelle clé secret_key sont valides et acceptées par cegedim.cloud.

Autorisations

Les autorisations sont gérées au niveau du Bucket en utilisant les politiques de gestion des Buckets.

Les politiques de gestion des Buckets vous permettent d'avoir une gestion fine des permissions à appliquer sur les objets et les Object Users, basées ou non sur des déclarations conditionnelles, comme l'access_key de l'Object User ou le Adresse IP source.

Lors de la création d'un Bucket, par défaut, aucune politique de gestion n'existe. Aussi, par défaut, un Bucket ne dispose pas d’accès public/anonyme.

Cela signifie que seul l'Object Users qui a créé le Bucket peut y accéder.

Transport sécurisé

Le service de stockage objet cegedim.cloud est uniquement disponible via le protocole HTTPS sur le port 443.

Gestion des journaux

Toutes les opérations sont enregistrées par cegedim.cloud.

Les journaux incluent les opérations sur l'Object Store, l'Object User, ainsi que les opérations faites au niveau des Buckets et des objets (GET, PUT, DELETE,...).

Si vous avez besoin d'une extraction des opérations réalisées sur vos ressources, veuillez contacter le support cegedim.cloud.

Fonctionnalités

URL Pré-signée

Le service de Stockage Objet cegedim.cloud supporte le partage d'objets à l'aide d'URLs pré-signées. Vous pouvez partager des objets avec un tiers en créant une URL pré-signée.

Lorsque vous créez une URL pré-signée, vous devez fournir :

• Vos informations d'identification de sécurité

• Un nom de bucket et une clé d'objet

• Une méthode HTTP (PUT pour le téléchargement d'objets)

• Un délai d'expiration

Les URL pré-signées ne sont valables que pour la durée spécifiée.

Politique de gestion des buckets

Le service de Stockage Objet cegedim.cloud supporte la définition de politiques des gestion des Buckets.

Ces politiques fournissent à des utilisateurs spécifiques, ou à tous les utilisateurs, des autorisations conditionnelles et granulaires pour des actions spécifiques.

Les conditions de politique peuvent être utilisées pour attribuer des autorisations à une gamme d'objets qui correspondent à la condition et peuvent être utilisées pour attribuer automatiquement des autorisations aux objets nouvellement créés.

Exemple de politique de gestion d'un Bucket :

{
    "Version": "2012-10-17",
    "Id": "policyExample",
    "Statement":[
        {
            "Sid":"Granting PutObject permission to user24",
            "Effect":"Allow",
            "Principal": "user24 ",
            "Action":["s3:PutObject"],
            "Resource":["mybucket/*"],
            "Condition": {
                "StringEquals": {"s3:x-amz-server-side-encryption": [ "AES256"]
            }
        }
    ]
}

Configuration de cycle de vie

Le service de Stockage Objet cegedim.cloud supporte les configuration de cycle de vie des objets dans un Bucket.

Une configuration de cycle de vie est un ensemble de règles définissant les actions applicables à un groupe d'objets. Seules les actions d'expiration sont prises en charge.

Vous pouvez définir une configuration de cycle de vie pour supprimer automatiquement les objets.

Exemple de configuration du cycle de vie :

{
    "Rules": [
        {
            "Expiration": {
                "Days": 30
            },
            "ID": "lifecycle-expire-non-current-and-mpu",
            "Prefix": "",
            "Status": "Enabled",
            "NoncurrentVersionExpiration": {
                "NoncurrentDays": 1
            },
            "AbortIncompleteMultipartUpload": {
                "DaysAfterInitiation": 1
            }
        }
    ]
}

S3 Object Lock

Le service de stockage objet cegedim.cloud supporte le verrouillage des objets (Object Lock).

Object Lock empêche la suppression des objets et de leurs versions, pendant une période définie par l'utilisateur.

La politique de rétention est définie à l'aide de l'API S3 ou des valeurs par défaut au niveau du Bucket ou directement sur l'objet.

Les objets sont verrouillés pour la durée de la période de rétention. Les scénarios de rétention légale sont également pris en charge.

Il existe deux types de protection:

• Retention period: Spécifie une période de temps fixe pendant laquelle une version d'objet est verrouillée. Pendant cette période, votre version de l'objet est protégée en écriture et ne peut pas être modifiée ou supprimée.

• Legal hold: Offre la même protection qu'une période de rétention, mais sans date d'expiration. Au contraire, Legal hold reste en place jusqu'à ce que vous la désactiviez explicitement. Les legal hold sont indépendantes des périodes de rétention.

Il existe deux modes pour la période de rétention :

Object Lock empêche la suppression des objets et de leurs versions, pendant une période définie par l'utilisateur.

La politique de rétention est définie à l'aide de l'API S3 ou des valeurs par défaut au niveau du Bucket ou directement sur l'objet.

Les objets sont verrouillés pour la durée de la période de rétention. Les scénarios de rétention légale sont également pris en charge.

Il existe deux types de protection:

• Retention period: Spécifie une période de temps fixe pendant laquelle une version d'objet est verrouillée. Pendant cette période, votre version de l'objet est protégée en écriture et ne peut pas être modifiée ou supprimée.

• Legal hold: Offre la même protection qu'une période de rétention, mais sans date d'expiration. Au contraire, Legal hold reste en place jusqu'à ce que vous la désactiviez explicitement. Les legal hold sont indépendantes des périodes de rétention.

Il existe deux modes pour la période de rétention :

Pour plus d'informations, voir :

Pré-requis

• Object Lock nécessite la désactivation de la fonctionnalité ADO (Access During Outage) au niveau du magasin d'objets.

  • Les Object Stores sans ADO ne peuvent pas être créés au travers d'ITCare et doivent manuellement par les équipes de cegedim.cloud.

• Object Lock ne fonctionne qu'avec les Object Users de type IAM.
• Object Lock ne fonctionne qu'avec des Buckets où le versionnage est activé.

• L'activation de Object Lock sur le Bucket active automatiquement le versionnage .

• Une fois Object Lock activé, il n'est pas possible de le désactiver ou de suspendre le versionnage au niveau du Bucket.

• Object Lock n'est pas compatible avec les Buckets où la fonctionnalité "système de fichiers" est activée.

• Object Lock est uniquement supporté l'API S3.

• Un Bucket peut avoir une configuration Object Lock par défaut comprenant un mode de rétention (gouvernance ou conformité) et une période de rétention (exprimée en jours ou en années).

• Object Lock s'appliquent uniquement aux versions individuelles des objets

• Les différentes versions d'un même objet peuvent avoir des modes et des périodes de rétention différents.

• Object Lock empêche la suppression ou la modification d'un objet. La modification ne signifie pas que de nouvelles versions ne peuvent pas être créées (de nouvelles versions peuvent être créées avec leurs propres paramètres de rétention).

• Un objet peut toujours être supprimé en fonction de sa version. Un marqueur de suppression est créé. La version existe toujours et est verrouillée.

• Le mode conformité est plus strict : les périodes de rétention ne peuvent pas être supprimées, réduites ou déclassés en mode gouvernance.

• Le mode gouvernance est moins strict : les période de rétention peuvent être supprimées, contournées, ou même élevés en mode conformité.

• La mise à jour des métadonnées d'une version d' un objet, qui se produit lorsque vous placez ou modifiez Object Lock, n'écrase pas la version de l'objet et ne réinitialise pas son horodatage "Last-Modified".

• La période de rétention peut être placée explicitement sur un objet ou implicitement, par le biais d'une configuration Object Lock définit au niveau du Bucket.

• Le fait de placer une une configuration Object Lock sur un Bucket n'a aucun effet les objets déjà présents dans le Bucket.

• La modification de période de rétention définit au niveau du Bucket ne change pas la période de rétention sur les objets déjà présent dans le Bucket.

Cycle de vie

Les objets sous verrou sont protégés contre les suppressions de cycle de vie.

La logique du cycle de vie est rendue difficile en raison de la variété des comportements des différents verrous.

Du point de vue du cycle de vie, il existe des verrous sans date, des verrous dont la date peut être prolongée et des verrous dont la date peut être réduite.

• Pour le Mode de conformité : la date de conservation ne peut pas être réduite, mais elle peut être augmentée.

• Pour le Mode de gouvernance : la date de verrouillage peut augmenter, diminuer ou être supprimée.

• Pour la protection de type Legal Hold, la rétention est indéfinie.

Conditions

Le contrôle d'accès au travers des politiques IAM est une partie importante de la fonctionnalité Object Lock.

La permission s3:BypassGovernanceRetention est importante car elle permet supprimer un objet protégé par Object Lock avec une configuration en mode gouvernance.

Les conditions des politiques IAM sont décrites ci-dessous et vous permettent de limiter la période de rétention et le type de protection (Legal Hold) spécifiés sur les objets.

Ces condition peuvent être utilisées dans les politiques de gestion des Buckets et IAM pour contrôler les comportements de Objet Lock sur objets.

Par exemple: s'assurer à ce que la période de rétention ne dépasse pas 5 ans.

Exemples et cas d'usage

Buckets

Créez un Bucket avec le Object Lock activé :

aws s3api --endpoint-url=${S3_ENDPOINT} create-bucket --bucket bucket-with-lock --object-lock-enabled-for-bucket --profile ${S3_PROFILE}

{
    "Location": "/bucket-with-lock"
}

Ajoutez une configuration Object Lock sur votre Bucket :

{
  "ObjectLockEnabled": "Enabled",
  "Rule": {
    "DefaultRetention": {
      "Mode": "GOVERNANCE",
      "Days": 1
    }
  }
}

aws s3api --endpoint-url=${S3_ENDPOINT} put-object-lock-configuration --bucket bucket-with-lock --object-lock-configuration file://governance.json --profile ${S3_PROFILE}

Obtenir la configuration Object Lock actuelle d'un Bucket :

aws s3api --endpoint-url=${S3_ENDPOINT} get-object-lock-configuration --bucket bucket-with-lock --profile ${S3_PROFILE}

{
    "ObjectLockConfiguration": {
        "ObjectLockEnabled": "Enabled",
        "Rule": {
            "DefaultRetention": {
                "Mode": "GOVERNANCE",
                "Days": 1
            }
        }
    }
}

Objects

Dans ce contexte, il n'y a pas de configuration Object Lock définie au niveau du Bucket. Mais le Bucket a été créé avec le paramètre --object-lock-enabled-for-bucket.

Téléchargez un objet dans un Bucket :

aws --endpoint-url=${S3_ENDPOINT} --profile=${S3_PROFILE} s3 cp feather.ttf s3://bucket-test

upload: ./feather.ttf to s3://bucket-test/feather.ttf

Appliquez la période de rétention sur l'objet :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api put-object-retention --retention Mode=GOVERNANCE,RetainUntilDate=2022-08-26T17:00:00 --bucket bucket-test --key feather.ttf

Utilisez head-object pour obtenir les métadonnées de l'objet et les informations sur la rétention :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api head-object --bucket bucket-test --key feather.ttf

{
    "LastModified": "Thu, 25 Aug 2022 12:32:09 GMT",
    "ContentLength": 81512,
    "ETag": "\"2232dadea2f05fa28e3f08b5b3346df9\"",
    "VersionId": "1661430729953",
    "ContentType": "font/ttf",
    "ServerSideEncryption": "AES256",
    "Metadata": {},
    "ObjectLockMode": "GOVERNANCE",
    "ObjectLockRetainUntilDate": "2022-08-26T17:00:00.000Z"
}

Augmentez la rétention (+1 jours) :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api put-object-retention --retention Mode=GOVERNANCE,RetainUntilDate=2022-08-27T17:00:00 --bucket bucket-test --key feather.ttf

{
    "LastModified": "Thu, 25 Aug 2022 12:32:09 GMT",
    "ContentLength": 81512,
    "ETag": "\"2232dadea2f05fa28e3f08b5b3346df9\"",
    "VersionId": "1661430729953",
    "ContentType": "font/ttf",
    "ServerSideEncryption": "AES256",
    "Metadata": {},
    "ObjectLockMode": "GOVERNANCE",
    "ObjectLockRetainUntilDate": "2022-08-27T17:00:00.000Z"
}

Supprimez l'objet :

aws --endpoint-url=${S3_ENDPOINT} --profile=${S3_PROFILE} s3 rm s3://bucket-test/feather.ttf

delete: s3://bucket-test/feather.ttf

# Lister le contenu du bucket, le fichier feather.ttf n'est plus visible
aws --endpoint-url=${S3_ENDPOINT} --profile=${S3_PROFILE} s3 ls s3://bucket-test/
 
# Aucun résultat

Vérifiez la version :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api list-object-versions --bucket bucket-test --prefix feather.ttf

{
    "Versions": [
        {
            "ETag": "\"1747b668712195f92c827c7b23a169fc\"",
            "Size": 5,
            "StorageClass": "STANDARD",
            "Key": "feather.ttf",
            "VersionId": "1661431782902",
            "IsLatest": false,
            "LastModified": "2022-08-25T12:49:42.902Z",
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:root",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:root"
            }
        }
    ],
    "DeleteMarkers": [
        {
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:user/cloud",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:user/cloud"
            },
            "Key": "feather.ttf",
            "VersionId": "1661431795694",
            "IsLatest": true,
            "LastModified": "2022-08-25T12:49:55.694Z"
        }
    ]
}

Supprimez le marqueur de suppression (DeleteMarker) en utilisant l'identifiant de la version :

aws --profile=${S3_PROFILE} --endpoint ${S3_ENDPOINT} s3api delete-object --bucket bucket-test --key feather.ttf --version-id 1661431795694

{
    "DeleteMarker": true,
    "VersionId": "1661431795694"
}

# Once delete marker deleted, the object can be listed again
aws --endpoint-url=${S3_ENDPOINT} --profile=${S3_PROFILE} s3 ls s3://bucket-test/feather.ttf

2022-08-25 14:49:42          5 feather.ttf

Uploadez une nouvelle version de l'objet :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api list-object-versions --bucket bucket-test --prefix feather.ttf

{
    "Versions": [
        {
            "ETag": "\"2232dadea2f05fa28e3f08b5b3346df9\"",
            "Size": 81512,
            "StorageClass": "STANDARD",
            "Key": "feather.ttf",
            "VersionId": "1661432092692",
            "IsLatest": true,
            "LastModified": "2022-08-25T12:54:52.692Z",
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:root",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:root"
            }
        },
        {
            "ETag": "\"1747b668712195f92c827c7b23a169fc\"",
            "Size": 5,
            "StorageClass": "STANDARD",
            "Key": "feather.ttf",
            "VersionId": "1661431782902",
            "IsLatest": false,
            "LastModified": "2022-08-25T12:49:55.694Z",
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:root",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:root"
            }
        }
    ]
}

Supprimez une version spécifique :

aws --profile=${S3_PROFILE} --endpoint ${S3_ENDPOINT} s3api delete-object --bucket bucket-test --key feather.ttf --version-id 1661432092692

{
    "VersionId": "1661432092692"
}

Lister les versions :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api list-object-versions --bucket bucket-test --prefix feather.ttf

{
    "Versions": [
        {
            "ETag": "\"1747b668712195f92c827c7b23a169fc\"",
            "Size": 5,
            "StorageClass": "STANDARD",
            "Key": "feather.ttf",
            "VersionId": "1661431782902",
            "IsLatest": false,
            "LastModified": "2022-08-25T12:49:55.694Z",
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:root",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:root"
            }
        }
    ],
    "DeleteMarkers": [
        {
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:user/cloud",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:user/cloud"
            },
            "Key": "feather.ttf",
            "VersionId": "1661432197362",
            "IsLatest": true,
            "LastModified": "2022-08-25T12:56:37.362Z"
        }
    ]
}

Utilisez l'option --bypass-governance-retention pour contourner la mode gouvernance et supprimer le marqueur de suppression (DeleteMarker) :

aws --profile=${S3_PROFILE} --endpoint ${S3_ENDPOINT} s3api delete-object --bucket bucket-test --key feather.ttf --version-id 1661432197362 --bypass-governance-retention

{
    "DeleteMarker": true,
    "VersionId": "1661432197362"
}

Lister les versions :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api list-object-versions --bucket bucket-test --prefix feather.ttf

{
    "Versions": [
        {
            "ETag": "\"1747b668712195f92c827c7b23a169fc\"",
            "Size": 5,
            "StorageClass": "STANDARD",
            "Key": "feather.ttf",
            "VersionId": "1661431782902",
            "IsLatest": true,
            "LastModified": "2022-08-25T12:49:55.694Z",
            "Owner": {
                "DisplayName": "urn:ecs:iam::cos-cegedimit-test-lock:root",
                "ID": "urn:ecs:iam::cos-cegedimit-test-lock:root"
            }
        }
    ]
}

Supprimer la dernière version de l'objet avec --bypass-governance-retention :

aws --profile=${S3_PROFILE} --endpoint ${S3_ENDPOINT} s3api delete-object --bucket bucket-test --key feather.ttf --version-id 1661431782902 --bypass-governance-retention

{
    "VersionId": "1661431782902"
}

Lister les versions :

aws --profile=${PROFILE} --endpoint ${S3_ENDPOINT} s3api list-object-versions --bucket bucket-test --prefix feather.ttf

Résultat vide.

aws --endpoint-url=${S3_ENDPOINT} --profile=${S3_PROFILE} s3 ls s3://bucket-test/

Résultat vide - bucket vide.

Configuration Object Lock

Les configurations Object Lock peuvent être appliquées au niveau du Bucket.

La rétention sera appliquée sur chaque objet mis dans le Bucket.

{
  "ObjectLockEnabled": "Enabled",
  "Rule": {
    "DefaultRetention": {
      "Mode": "GOVERNANCE"|"COMPLIANCE",
      "Days": integer,
      "Years": integer
    }
  }
}

Mode

Le mode de rétention par défaut que vous souhaitez appliquer aux nouveaux objets placés dans le Bucket. Doit être utilisé avec Jours ou Années.

Les valeurs possibles sont COMPLIANCE ou GOVERNANCE.

Jours

Le nombre de jours de la période de rétention appliquée par défaut. Doit être utilisé avec Mode.

Années

Le nombre d'années de la période de rétention appliquée par défaut. Doit être utilisé avec Mode. Les jours et les années sont mutuellement exclusif.

{
    "ObjectLockConfiguration": {
        "ObjectLockEnabled": "Enabled",
        "Rule": {
            "DefaultRetention": {
                "Mode": "GOVERNANCE",
                "Years": 1
            }
        }
    }
}

{
    "ObjectLockConfiguration": {
        "ObjectLockEnabled": "Enabled",
        "Rule": {
            "DefaultRetention": {
                "Mode": "COMPLIANCE",
                "Days": 60
            }
        }
    }
}

S3 Browser

s3Browser est un client Windows freeware pour Amazon S3.

Avec s3Browser, vous pouvez voir les métadonnées des objets et obtenir la configuration Object Lock actuellement définie sur l'objet :

APIs S3 supportées

APIs S3 non supportées

Comportements spécifiques

Comportements spécifiques par rapport à l'API AWS.

La création de Buckets utilisant des noms de moins de trois caractères échoue avec le message :

400 Bad Request, InvalidBucketName

Lors de la création d'un Bucket ou d'un objet avec un contenu vide, le service de Stockage Objet cegedim.cloud renvoie une erreur 400 invalid content-length ce qui diffère d'AWS qui renvoie une erreur 400 Bad Request.

La copie d'un objet dans un autre Bucket qui indexe la même clé d'indexation des métadonnées utilisateur mais avec un type de données différent n'est pas prise en charge et échoue avec une erreur 500 Server Error.

Lors de l'énumération des objets d'un Bucket, si vous utilisez un préfixe et un délimiteur mais fournissez un marker invalide, le service de Stockage Objet cegedim.cloud renvoie une erreur 500 Server Error ou 400 Bad Request pour un Bucket si la fonctionnalité "Système de fichier" est activée.

Cependant, AWS renvoie 200 OK et les objets ne sont pas répertoriés.

Pour les Buckets où la gestion des versions est activée, le service de Stockage Objet cegedim.cloud ne crée pas de marqueur de suppression (Delete marker) lorsqu'un objet déjà supprimé est supprimé à nouveau.

Cela diffère de l'API AWS S3, qui insère toujours un marqueur de suppression (Delete marker) pour la suppression d'objets supprimés dans les Buckets où le versionnage est activé.

Ce changement de comportement n'est applicable que lorsque l'objet supprimé est à nouveau supprimé de la zone propriétaire.

Lorsqu'une tentative est faite pour créer un Bucket avec un nom déjà existant, le comportement de service de Stockage Objet cegedim.cloud peut différer de celui d'AWS.

l'API AWS retourne toujours une erreur 409 Conflit lorsqu'un utilisateur disposant des permissions (ACL) FULL_CONTROL sur le Bucket, ou de toute autre autorisation, tente de recréer le Bucket.

Lorsqu'un Object User avec les permissions (ACL) FULL_CONTROL ou WRITE_ACP sur le Bucket tente de recréer le Bucket,

Le service de Stockage Objet cegedim.cloud renvoie 200 OK et l'ACL est écrasée, cependant, le propriétaire n'est pas modifié.

Un Object User avec des permissions WRITE/READ obtiendra une erreur 409 Conflit s'il tente de recréer un bucket.

Lorsqu'une tentative de recréer un bucket est faite par le propriétaire du bucket, le service renvoie 200 OK et écrase l'ACL. L'API AWS S3 se comporte de la même manière.

Lorsqu'un Object User n'a pas de privilèges d'accès au Bucket, une tentative pour recréer le Bucket entraîne une erreur 409 Conflit. L'API AWS S3 se comporte de la même manière.