Gérer le stockage des métadonnées d'objet
Suggérer des modifications
PDF
La capacité des métadonnées d'objet d'un système StorageGRID contrôle le nombre maximal d'objets qui peuvent être stockés sur le système en question. Pour s'assurer que votre système StorageGRID dispose d'un espace suffisant pour stocker les nouveaux objets, vous devez comprendre où et comment StorageGRID stocke les métadonnées d'objet.
Qu'est-ce que les métadonnées d'objet ?
Les métadonnées d'objet constituent toutes les informations qui décrivent un objet. StorageGRID utilise les métadonnées d'objet pour suivre l'emplacement de tous les objets de la grille, et pour gérer le cycle de vie de chaque objet au fil du temps.
Pour un objet dans StorageGRID, les métadonnées d'objet incluent les types d'information suivants :
-
Les métadonnées du système, y compris un ID unique pour chaque objet (UUID), le nom de l'objet, le nom du compartiment S3 ou du conteneur Swift, le nom ou l'ID du compte du locataire, la taille logique de l'objet, la date et l'heure de la première création de l'objet, et la date et l'heure de la dernière modification de l'objet.
-
Toutes les paires de clé-valeur de métadonnées utilisateur personnalisées associées à l'objet.
-
Pour les objets S3, toutes les paires de clé-valeur de balise d'objet associées à l'objet.
-
Pour les copies d'objet répliquées, emplacement de stockage actuel de chaque copie.
-
Pour les copies d'objets avec code d'effacement, l'emplacement de stockage actuel de chaque fragment.
-
Pour les copies d'objet dans Cloud Storage Pool, l'emplacement de l'objet, notamment le nom du compartiment externe et l'identifiant unique de l'objet.
-
Pour les objets segmentés et les objets à plusieurs parties, les identificateurs de segment et la taille des données.
Comment les métadonnées d'objet sont-elles stockées ?
Les métadonnées d'objet sont conservées dans une base de données Cassandra, stockée indépendamment des données d'objet. StorageGRID Pour assurer la redondance et protéger les métadonnées d'objet contre la perte, StorageGRID stocke trois copies des métadonnées de tous les objets du système sur chaque site.
Cette figure représente les nœuds de stockage sur deux sites. Chaque site dispose du même volume de métadonnées objet, et les métadonnées de chaque site sont subdivisées en plusieurs nœuds de stockage sur ce site.
Où sont stockées les métadonnées d'objet ?
Cette figure représente les volumes de stockage d'un seul nœud de stockage.
Comme illustré dans la figure, StorageGRID réserve l'espace des métadonnées d'objet sur le volume de stockage 0 de chaque nœud de stockage. Il utilise l'espace réservé pour stocker les métadonnées d'objet et effectuer les opérations essentielles de la base de données. Tout espace restant sur le volume de stockage 0 et tous les autres volumes du nœud de stockage sont utilisés exclusivement pour les données d'objet (copies répliquées et fragments avec code d'effacement).
La quantité d'espace réservée aux métadonnées d'objet sur un nœud de stockage particulier dépend de plusieurs facteurs, décrits ci-dessous.
Paramètre Metadata Reserved Space
Le paramètre Metadata Reserved Space est un paramètre à l'échelle du système qui représente la quantité d'espace qui sera réservée aux métadonnées sur le volume 0 de chaque noeud de stockage. Comme indiqué dans le tableau, la valeur par défaut de ce paramètre est basée sur :
-
La version du logiciel que vous utilisiez lors de l'installation initiale de StorageGRID.
-
Quantité de RAM sur chaque nœud de stockage.
| Version utilisée pour l'installation initiale de StorageGRID | Quantité de RAM sur les nœuds de stockage | Paramètre espace réservé aux métadonnées par défaut |
|---|---|---|
11.5 à 11.7 |
Au moins 128 Go sur chaque nœud de stockage de la grille |
8 TO (8,000 GO) |
Moins de 128 Go sur n'importe quel nœud de stockage de la grille |
3 TO (3,000 GO) |
|
11.1 à 11.4 |
128 Go ou plus sur chaque nœud de stockage sur un site |
4 TO (4,000 GO) |
Moins de 128 Go sur n'importe quel nœud de stockage de chaque site |
3 TO (3,000 GO) |
|
11.0 ou antérieure |
Tout montant |
2 TO (2,000 GO) |
Afficher le paramètre espace réservé aux métadonnées
Procédez comme suit pour afficher le paramètre espace réservé aux métadonnées de votre système StorageGRID.
-
Sélectionnez CONFIGURATION > système > Options de stockage.
-
Dans le tableau des filigranes de stockage, localisez espace réservé de métadonnées.
Dans la capture d'écran, la valeur Metadata Reserved Space est de 8,000 Go (8 To). Il s'agit du paramètre par défaut d'une nouvelle installation StorageGRID 11.6 ou ultérieure dans laquelle chaque nœud de stockage dispose d'au moins 128 Go de RAM.
Espace réservé réel pour les métadonnées
Contrairement au paramètre espace réservé aux métadonnées pour l'ensemble du système, le paramètre espace réservé réel pour les métadonnées d'objet est déterminé pour chaque nœud de stockage. Pour un nœud de stockage donné, l'espace réservé réel pour les métadonnées dépend de la taille du volume 0 pour le nœud et du paramètre espace réservé * métadonnées * pour l'ensemble du système.
| Taille du volume 0 pour le nœud | Espace réservé réel pour les métadonnées |
|---|---|
Moins de 500 Go (non utilisé en production) |
10 % du volume 0 |
500 Go ou plus |
Plus ces valeurs sont faibles :
|
Afficher l'espace réservé réel pour les métadonnées
La procédure suivante permet d'afficher l'espace réservé réel pour les métadonnées sur un nœud de stockage particulier.
-
Dans Grid Manager, sélectionnez NOEUDS > Storage Node.
-
Sélectionnez l'onglet stockage.
-
Placez votre curseur sur le graphique stockage utilisé - métadonnées de l'objet et localisez la valeur réel réservé.
Dans la capture d'écran, la valeur réelle réservée est de 8 To. Cette capture d'écran concerne un nœud de stockage grand format dans une nouvelle installation de StorageGRID 11.6. Étant donné que le paramètre espace réservé aux métadonnées pour l'ensemble du système est inférieur au volume 0 pour ce nœud de stockage, l'espace réservé réel pour ce nœud est égal au paramètre espace réservé aux métadonnées.
Exemple d'espace de métadonnées réservé réel
Supposons que vous installiez un nouveau système StorageGRID à l'aide de la version 11.7. Dans cet exemple, supposons que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) est de 6 To. Sur la base de ces valeurs :
-
L'espace réservé * métadonnées* pour l'ensemble du système est défini sur 8 To. (Il s'agit de la valeur par défaut pour une nouvelle installation StorageGRID 11.6 ou supérieure si chaque nœud de stockage possède plus de 128 Go de RAM.)
-
L'espace réservé réel pour les métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est inférieur au paramètre Metadata Reserved Space.)
Espace de métadonnées autorisé
L'espace réservé réel de chaque nœud de stockage pour les métadonnées est divisé en l'espace disponible pour les métadonnées d'objet (l'espace autorisé metadata space) et l'espace requis pour les opérations essentielles de bases de données (telles que la compaction et la réparation) et les mises à niveau matérielles et logicielles futures. L'espace de métadonnées autorisé régit la capacité globale des objets.
Le tableau suivant montre comment StorageGRID calcule l' espace de métadonnées autorisé pour différents nœuds de stockage, en fonction de la quantité de mémoire du nœud et de l'espace réservé réel pour les métadonnées.
Quantité de mémoire sur le noeud de stockage |
|||
&Lt ; 128 GB |
> ;= 128 Go |
Espace réservé réel pour les métadonnées |
|
&Lt ;= 4 To |
60 % de l'espace réservé réel pour les métadonnées, jusqu'à un maximum de 1.32 To |
60 % de l'espace réservé réel pour les métadonnées, jusqu'à un maximum de 1.98 To |
> ; 4 To |
Afficher l'espace de métadonnées autorisé
La procédure suivante permet d'afficher l'espace de métadonnées autorisé pour un nœud de stockage.
-
Dans Grid Manager, sélectionnez NODES.
-
Sélectionnez le nœud de stockage.
-
Sélectionnez l'onglet stockage.
-
Placez votre curseur sur le graphique de métadonnées de l'objet stockage utilisé - et localisez la valeur autorisé.
Dans la capture d'écran, la valeur autorisé est de 3.96 To, ce qui est la valeur maximale pour un noeud de stockage dont l'espace réservé réel pour les métadonnées est supérieur à 4 To.
La valeur autorisé correspond à cette métrique Prometheus :
storagegrid_storage_utilization_metadata_allowed_bytes
Exemple d'espace de métadonnées autorisé
Supposons que vous installez un système StorageGRID avec la version 11.6. Dans cet exemple, supposons que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) est de 6 To. Sur la base de ces valeurs :
-
L'espace réservé * métadonnées* pour l'ensemble du système est défini sur 8 To. (Il s'agit de la valeur par défaut pour StorageGRID 11.6 ou supérieur lorsque chaque nœud de stockage dispose de plus de 128 Go de RAM.)
-
L'espace réservé réel pour les métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est inférieur au paramètre Metadata Reserved Space.)
-
L'espace autorisé pour les métadonnées sur SN1 est de 3 To, d'après le calcul présenté dans la tableau pour l'espace autorisé pour les métadonnées: (Espace réservé réel pour les métadonnées − 1 To) × 60 %, jusqu'à un maximum de 3.96 To.
La façon dont les nœuds de stockage de différentes tailles affectent la capacité des objets
Comme décrit ci-dessus, StorageGRID distribue uniformément les métadonnées d'objet sur les nœuds de stockage sur chaque site. Par conséquent, si un site contient des nœuds de stockage de différentes tailles, le plus petit nœud du site détermine la capacité des métadonnées du site.
Prenons l'exemple suivant :
-
Une grille sur un seul site contient trois nœuds de stockage de tailles différentes.
-
Le paramètre Metadata Reserved Space est de 4 To.
-
Les nœuds de stockage ont les valeurs suivantes pour l'espace réservé réel des métadonnées et l'espace autorisé pour les métadonnées.
Nœud de stockage Taille du volume 0 Espace réservé réel des métadonnées Espace de métadonnées autorisé SN1
2.2 TO
2.2 TO
1.32 TO
SN2
5 TO
4 TO
1.98 TO
SN3
6 To
4 TO
1.98 TO
Les métadonnées de l'objet sont réparties de manière uniforme sur les nœuds de stockage d'un site. En effet, chaque nœud de cet exemple ne peut contenir que 1.32 To de métadonnées. Les 0.66 To supplémentaires d'espace de métadonnées autorisé pour SN2 et SN3 ne peuvent pas être utilisés.
De même, puisque StorageGRID conserve toutes les métadonnées d'objet d'un système StorageGRID sur chaque site, la capacité globale des métadonnées d'un système StorageGRID est déterminée par la capacité des métadonnées d'objet du plus petit site.
Étant donné que la capacité des métadonnées contrôle le nombre maximal d'objets, lorsqu'un nœud vient à manquer de capacité de métadonnées, la grille est véritablement pleine.
-
Pour savoir comment surveiller la capacité des métadonnées d'objet pour chaque nœud de stockage, reportez-vous aux instructions de "Surveillance StorageGRID".
-
Pour augmenter la capacité de métadonnées d'objet de votre système, "développez votre grille" En ajoutant de nouveaux nœuds de stockage.