Gestion du stockage des métadonnées d'objet
Suggérer des modifications
PDF
La capacité des métadonnées d'objet d'un système StorageGRID contrôle le nombre maximal d'objets qui peuvent être stockés sur le système en question. Pour s'assurer que votre système StorageGRID dispose d'un espace suffisant pour stocker les nouveaux objets, vous devez comprendre où et comment StorageGRID stocke les métadonnées d'objet.
Qu'est-ce que les métadonnées d'objet ?
Les métadonnées d'objet constituent toutes les informations qui décrivent un objet. StorageGRID utilise les métadonnées d'objet pour suivre l'emplacement de tous les objets de la grille, et pour gérer le cycle de vie de chaque objet au fil du temps.
Pour un objet dans StorageGRID, les métadonnées d'objet incluent les types d'information suivants :
-
Les métadonnées du système, y compris un ID unique pour chaque objet (UUID), le nom de l'objet, le nom du compartiment S3 ou du conteneur Swift, le nom ou l'ID du compte du locataire, la taille logique de l'objet, la date et l'heure de la première création de l'objet, et la date et l'heure de la dernière modification de l'objet.
-
Toutes les paires de clé-valeur de métadonnées utilisateur personnalisées associées à l'objet.
-
Pour les objets S3, toutes les paires de clé-valeur de balise d'objet associées à l'objet.
-
Pour les copies d'objet répliquées, emplacement de stockage actuel de chaque copie.
-
Pour les copies d'objets avec code d'effacement, l'emplacement de stockage actuel de chaque fragment.
-
Pour les copies d'objet dans Cloud Storage Pool, l'emplacement de l'objet, notamment le nom du compartiment externe et l'identifiant unique de l'objet.
-
Pour les objets segmentés et les objets à plusieurs parties, les identificateurs de segment et la taille des données.
Comment les métadonnées d'objet sont-elles stockées ?
Les métadonnées d'objet sont conservées dans une base de données Cassandra, stockée indépendamment des données d'objet. StorageGRID Pour assurer la redondance et protéger les métadonnées d'objet contre la perte, StorageGRID stocke trois copies des métadonnées de tous les objets du système sur chaque site. Les trois copies de métadonnées d'objet sont réparties de manière uniforme sur tous les nœuds de stockage de chaque site.
Cette figure représente les nœuds de stockage sur deux sites. Chaque site dispose de la même quantité de métadonnées d'objet, qui sont réparties de la même manière sur les nœuds de stockage sur ce site.
Où sont stockées les métadonnées d'objet ?
Cette figure représente les volumes de stockage d'un seul nœud de stockage.
Comme illustré dans la figure, StorageGRID réserve l'espace des métadonnées d'objet sur le volume de stockage 0 de chaque nœud de stockage. Il utilise l'espace réservé pour stocker les métadonnées d'objet et effectuer les opérations essentielles de la base de données. Tout espace restant sur le volume de stockage 0 et tous les autres volumes du nœud de stockage sont utilisés exclusivement pour les données d'objet (copies répliquées et fragments avec code d'effacement).
La quantité d'espace réservé aux métadonnées d'objet sur un nœud de stockage particulier dépend d'un certain nombre de facteurs, décrits ci-dessous.
Paramètre Metadata Reserved Space
Le paramètre Metadata Reserved Space est un paramètre à l'échelle du système qui représente la quantité d'espace qui sera réservée aux métadonnées sur le volume 0 de chaque noeud de stockage. Comme indiqué dans le tableau, la valeur par défaut de ce paramètre pour StorageGRID 11.5 est basée sur les éléments suivants :
-
La version du logiciel que vous utilisiez lors de l'installation initiale de StorageGRID.
-
Quantité de RAM sur chaque nœud de stockage.
| Version utilisée pour l'installation initiale de StorageGRID | Quantité de RAM sur les nœuds de stockage | Paramètre d'espace réservé aux métadonnées par défaut pour StorageGRID 11.5 |
|---|---|---|
11.5 |
Au moins 128 Go sur chaque nœud de stockage de la grille |
8 TO (8,000 GO) |
Moins de 128 Go sur n'importe quel nœud de stockage de la grille |
3 TO (3,000 GO) |
|
11.1 à 11.4 |
128 Go ou plus sur chaque nœud de stockage sur un site |
4 TO (4,000 GO) |
Moins de 128 Go sur n'importe quel nœud de stockage de chaque site |
3 TO (3,000 GO) |
|
11.0 ou antérieure |
Tout montant |
2 TO (2,000 GO) |
Pour afficher le paramètre espace réservé aux métadonnées de votre système StorageGRID :
-
Sélectionnez Configuration > Paramètres système > Options de stockage.
-
Dans le tableau des filigranes de stockage, localisez espace réservé de métadonnées.
Dans la capture d'écran, la valeur Metadata Reserved Space est de 8,000 Go (8 To). Il s'agit du paramètre par défaut pour une nouvelle installation StorageGRID 11.5 dans laquelle chaque nœud de stockage dispose d'au moins 128 Go de RAM.
Espace réservé réel pour les métadonnées
Contrairement au paramètre espace réservé aux métadonnées pour l'ensemble du système, le paramètre espace réservé réel pour les métadonnées d'objet est déterminé pour chaque nœud de stockage. Pour un nœud de stockage donné, l'espace réservé réel pour les métadonnées dépend de la taille du volume 0 pour le nœud et du paramètre espace réservé * métadonnées * pour l'ensemble du système.
| Taille du volume 0 pour le nœud | Espace réservé réel pour les métadonnées |
|---|---|
Moins de 500 Go (non utilisé en production) |
10 % du volume 0 |
500 Go ou plus |
Plus ces valeurs sont faibles :
|
Pour afficher l'espace réservé réel pour les métadonnées sur un nœud de stockage particulier :
-
Dans Grid Manager, sélectionnez noeuds > Storage Node.
-
Sélectionnez l'onglet stockage.
-
Placez le curseur sur le diagramme stockage utilisé — métadonnées objet et localisez la valeur réservé réelle.
Dans la capture d'écran, la valeur réelle réservée est de 8 To. Cette copie d'écran concerne un nœud de stockage grand format dans une nouvelle installation de StorageGRID 11.5. Étant donné que le paramètre espace réservé aux métadonnées pour l'ensemble du système est inférieur au volume 0 pour ce nœud de stockage, l'espace réservé réel pour ce nœud est égal au paramètre espace réservé aux métadonnées.
La valeur réservation réelle correspond à cette mesure Prometheus :
storagegrid_storage_utilization_metadata_reserved_bytes
Exemple d'espace de métadonnées réservé réel
Supposons que vous installiez un nouveau système StorageGRID à l'aide de la version 11.5. Dans cet exemple, supposons que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) est de 6 To. Sur la base de ces valeurs :
-
L'espace réservé * métadonnées* pour l'ensemble du système est défini sur 8 To. (Il s'agit de la valeur par défaut pour une nouvelle installation StorageGRID 11.5 si chaque nœud de stockage dispose de plus de 128 Go de RAM.)
-
L'espace réservé réel pour les métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est inférieur au paramètre Metadata Reserved Space.)
Espace de métadonnées autorisé
L'espace réservé réel de chaque nœud de stockage pour les métadonnées est divisé en l'espace disponible pour les métadonnées d'objet (l'espace autorisé metadata space) et l'espace requis pour les opérations essentielles de bases de données (telles que la compaction et la réparation) et les mises à niveau matérielles et logicielles futures. L'espace de métadonnées autorisé régit la capacité globale des objets.
Le tableau suivant récapitule la valeur d'espace de métadonnées autorisé pour un nœud de stockage StorageGRID.
| Espace réservé réel pour les métadonnées | Espace de métadonnées autorisé |
|---|---|
4 To ou moins |
60 % de l'espace réservé réel pour les métadonnées, jusqu'à un maximum de 1.98 To |
Plus de 4 To |
(Espace réservé réel pour les métadonnées − 1 To) × 60 %, jusqu'à un maximum de 2.64 To |
|
Si votre système StorageGRID stocke (ou doit stocker) plus de 2.64 To de métadonnées sur un nœud de stockage, l'espace de métadonnées autorisé peut être augmenté dans certains cas. Si vos nœuds de stockage disposent chacun de plus de 128 Go de RAM et d'espace disponible sur le volume de stockage 0, contactez votre représentant NetApp. Nous examinerons vos besoins et augmenterons l'espace de métadonnées autorisé pour chaque nœud de stockage, si possible. |
Pour afficher l'espace de métadonnées autorisé pour un nœud de stockage :
-
Dans Grid Manager, sélectionnez Node > Storage Node.
-
Sélectionnez l'onglet stockage.
-
Placez le curseur sur le diagramme stockage utilisé — métadonnées objet et localisez la valeur autorisé.
Dans la capture d'écran, la valeur autorisé est de 2.64 To, ce qui est la valeur maximale pour un noeud de stockage dont l'espace réservé réel pour les métadonnées est supérieur à 4 To.
La valeur autorisé correspond à cette métrique Prometheus :
storagegrid_storage_utilization_metadata_allowed_bytes
Exemple d'espace de métadonnées autorisé
Supposons que vous installez un système StorageGRID avec la version 11.5. Dans cet exemple, supposons que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) est de 6 To. Sur la base de ces valeurs :
-
L'espace réservé * métadonnées* pour l'ensemble du système est défini sur 8 To. (Il s'agit de la valeur par défaut pour StorageGRID 11.5 lorsque chaque nœud de stockage dispose de plus de 128 Go de RAM.)
-
L'espace réservé réel pour les métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est inférieur au paramètre Metadata Reserved Space.)
-
L'espace autorisé pour les métadonnées sur SN1 est de 2.64 To. (Il s'agit de la valeur maximale de l'espace réservé réel.)
La façon dont les nœuds de stockage de différentes tailles affectent la capacité des objets
Comme décrit ci-dessus, StorageGRID distribue uniformément les métadonnées d'objet sur les nœuds de stockage sur chaque site. Par conséquent, si un site contient des nœuds de stockage de différentes tailles, le plus petit nœud du site détermine la capacité des métadonnées du site.
Prenons l'exemple suivant :
-
Une grille sur un seul site contient trois nœuds de stockage de tailles différentes.
-
Le paramètre Metadata Reserved Space est de 4 To.
-
Les nœuds de stockage ont les valeurs suivantes pour l'espace réservé réel des métadonnées et l'espace autorisé pour les métadonnées.
Nœud de stockage Taille du volume 0 Espace réservé réel des métadonnées Espace de métadonnées autorisé SN1
2.2 TO
2.2 TO
1.32 TO
SN2
5 TO
4 TO
1.98 TO
SN3
6 To
4 TO
1.98 TO
Les métadonnées de l'objet sont réparties de manière uniforme sur les nœuds de stockage d'un site. En effet, chaque nœud de cet exemple ne peut contenir que 1.32 To de métadonnées. Les 0.66 To supplémentaires d'espace de métadonnées autorisé pour SN2 et SN3 ne peuvent pas être utilisés.
De même, puisque StorageGRID conserve toutes les métadonnées d'objet d'un système StorageGRID sur chaque site, la capacité globale des métadonnées d'un système StorageGRID est déterminée par la capacité des métadonnées d'objet du plus petit site.
Étant donné que la capacité des métadonnées contrôle le nombre maximal d'objets, lorsqu'un nœud vient à manquer de capacité de métadonnées, la grille est véritablement pleine.
-
Pour apprendre à contrôler la capacité de métadonnées d'objet pour chaque nœud de stockage :
-
Pour augmenter la capacité des métadonnées des objets de votre système, vous devez ajouter de nouveaux nœuds de stockage :