Gérez le stockage des métadonnées des objets dans StorageGRID
Suggérer des modifications
PDF
La capacité de métadonnées des objets d'un système StorageGRID contrôle le nombre maximal d'objets pouvant être stockés sur ce système. Pour garantir que votre système StorageGRID dispose d'un espace suffisant pour stocker de nouveaux objets, vous devez comprendre où et comment StorageGRID stocke les métadonnées des objets.
Que sont les métadonnées d'un objet ?
Les métadonnées d'objet sont toutes les informations qui décrivent un objet. StorageGRID utilise les métadonnées d'objet pour suivre l'emplacement de tous les objets sur la grille et gérer le cycle de vie de chaque objet au fil du temps.
Pour un objet dans StorageGRID, les métadonnées de l'objet comprennent les types d'informations suivants :
-
Métadonnées système, y compris un identifiant unique pour chaque objet (UUID), le nom de l'objet, le nom du compartiment S3, le nom ou l'identifiant du compte du locataire, la taille logique de l'objet, la date et l'heure de la première création de l'objet, et la date et l'heure de la dernière modification de l'objet.
-
Toutes les paires clé-valeur de métadonnées utilisateur personnalisées associées à l'objet.
-
Pour les objets S3, toutes les paires clé-valeur d'étiquette d'objet associées à l'objet.
-
Pour les copies d'objets répliquées, l'emplacement de stockage actuel de chaque copie.
-
Pour les copies d'objets codées par effacement, l'emplacement de stockage actuel de chaque fragment.
-
Pour les copies d'objets dans un Cloud Storage Pool, l'emplacement de l'objet, y compris le nom du bucket externe et l'identifiant unique de l'objet.
-
Pour les objets segmentés et les objets multipart, identifiants de segment et tailles de données.
Comment les métadonnées des objets sont-elles stockées ?
StorageGRID gère les métadonnées des objets dans une base de données Cassandra, qui est stockée indépendamment des données des objets. Afin d'assurer la redondance et de protéger les métadonnées des objets contre toute perte, StorageGRID conserve trois copies des métadonnées de tous les objets du système sur chaque site.
Cette figure représente les nœuds de stockage de deux sites. Chaque site possède la même quantité de métadonnées d'objets, et les métadonnées de chaque site sont subdivisées entre tous les nœuds de stockage de ce site.
Où sont stockées les métadonnées des objets ?
Cette figure représente les volumes de stockage d'un seul nœud de stockage.
Comme illustré dans la figure, StorageGRID réserve de l'espace pour les métadonnées des objets sur le volume de stockage 0 de chaque nœud de stockage. Il utilise cet espace réservé pour stocker les métadonnées des objets et effectuer des opérations essentielles sur la base de données. Tout espace restant sur le volume de stockage 0 ainsi que sur tous les autres volumes de stockage du nœud de stockage est utilisé exclusivement pour les données des objets (copies répliquées et fragments à codage d'effacement).
La quantité d'espace réservée aux métadonnées des objets sur un nœud de stockage particulier dépend de plusieurs facteurs, qui sont décrits ci-dessous.
Paramètre d'espace réservé aux métadonnées
L'espace réservé aux métadonnées est un paramètre à l'échelle du système qui représente la quantité d'espace qui sera réservée aux métadonnées sur le volume 0 de chaque Storage Node. Comme le montre le tableau, la valeur par défaut de ce paramètre est basée sur :
-
La version du logiciel que vous utilisiez lors de l'installation initiale de StorageGRID.
-
La quantité de RAM sur chaque nœud de stockage.
| Version utilisée pour l'installation initiale de StorageGRID | Quantité de RAM sur les nœuds de stockage | Paramètre d'espace réservé aux métadonnées par défaut |
|---|---|---|
11,5 à 12,0 |
128 Go ou plus sur chaque nœud de stockage de la grille |
8 To (8 000 Go) |
Moins de 128 Go sur n'importe quel nœud de stockage du grid |
3 To (3 000 Go) |
|
11,1 à 11,4 |
128 Go ou plus sur chaque nœud de stockage sur un même site |
4 To (4 000 Go) |
Moins de 128 Go sur tout nœud de stockage à chaque site |
3 To (3 000 Go) |
|
11.0 ou version antérieure |
N'importe quel montant |
2 To (2 000 Go) |
Afficher le paramètre d'espace réservé pour les métadonnées
Suivez ces étapes pour afficher le paramètre d'espace réservé aux métadonnées de votre système StorageGRID.
-
Sélectionnez Configuration > Système > Paramètres de stockage.
-
Sur la page des paramètres de stockage, développez la section Espace réservé aux métadonnées.
Pour StorageGRID 11.8 ou supérieur, la valeur de l'espace réservé aux métadonnées doit être d'au moins 100 Go et d'au plus 1 Po.
La configuration par défaut pour une nouvelle installation StorageGRID 11.6 ou supérieure dans laquelle chaque nœud de stockage dispose de 128 Go ou plus de RAM est de 8 000 Go (8 To).
Espace réellement réservé aux métadonnées
Contrairement au paramètre d'espace réservé aux métadonnées à l'échelle du système, l'espace réellement réservé aux métadonnées des objets est déterminé pour chaque nœud de stockage. Pour un nœud de stockage donné, l'espace réellement réservé aux métadonnées dépend de la taille du volume 0 de ce nœud et du paramètre d'espace réservé aux métadonnées à l'échelle du système.
| Taille du volume 0 pour le nœud | Espace réellement réservé aux métadonnées |
|---|---|
Moins de 500 Go (utilisation hors production) |
10% du volume 0 |
500 Go ou plus + ou + Nœuds de stockage uniquement pour les métadonnées |
La plus petite de ces valeurs :
Remarque : Un seul rangedb est requis pour les nœuds de stockage uniquement de métadonnées. |
Afficher l'espace réellement réservé aux métadonnées
Suivez ces étapes pour afficher l'espace réellement réservé aux métadonnées sur un nœud de stockage particulier.
-
Dans le Grid Manager, sélectionnez Nœuds > Storage Node.
-
Sélectionnez l'onglet Storage.
-
Placez votre curseur sur le graphique « Storage Used - Object Metadata » et repérez la valeur Actual reserved.
Sur la capture d'écran, la valeur Réservé réel est de 8 To. Cette capture d'écran concerne un grand Storage Node dans une nouvelle installation StorageGRID 11.6. Parce que le paramètre d'espace réservé aux métadonnées à l'échelle du système est inférieur au volume 0 pour ce Storage Node, l'espace réellement réservé pour ce nœud est égal au paramètre d'espace réservé aux métadonnées.
Exemple d'espace de métadonnées réellement réservé
Supposons que vous installiez un nouveau système StorageGRID en utilisant la version 11.7 ou ultérieure. Dans cet exemple, supposez que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) fait 6 To. Sur la base de ces valeurs :
-
L’espace réservé aux métadonnées à l’échelle du système est fixé à 8 To. (Il s’agit de la valeur par défaut pour une nouvelle installation StorageGRID 11.6 ou supérieure si chaque nœud de stockage dispose de plus de 128 Go de RAM.)
-
L'espace réellement réservé aux métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est plus petit que le paramètre Espace réservé aux métadonnées.)
Espace autorisé pour les métadonnées
L'espace réservé aux métadonnées de chaque nœud de stockage est subdivisé en l'espace disponible pour les métadonnées des objets (l'espace autorisé pour les métadonnées) et l'espace requis pour les opérations essentielles de la base de données (telles que la compaction et la réparation) ainsi que pour les futures mises à niveau matérielles et logicielles. L'espace autorisé pour les métadonnées régit la capacité globale des objets.
Le tableau suivant montre comment StorageGRID calcule l'espace de métadonnées autorisé pour différents nœuds de stockage, en fonction de la quantité de mémoire du nœud et de l'espace réellement réservé aux métadonnées.
Quantité de mémoire sur le nœud de stockage |
|||
< 128 Go |
≥ 128 Go |
Espace réellement réservé aux métadonnées |
|
⇐ 4 To |
60 % de l'espace réellement réservé aux métadonnées, jusqu'à un maximum de 1,32 To |
60 % de l'espace réellement réservé aux métadonnées, jusqu'à un maximum de 1,98 To |
|
Afficher l'espace de métadonnées autorisé
Suivez ces étapes pour afficher l'espace de métadonnées autorisé pour un Storage Node.
-
Dans le Gestionnaire de grille, sélectionnez Nœuds.
-
Sélectionnez le nœud de stockage.
-
Sélectionnez l'onglet Storage.
-
Placez votre curseur sur le graphique « Storage used - object metadata » et repérez la valeur Allowed.
Sur la capture d’écran, la valeur Autorisée est de 3,96 To, ce qui correspond à la valeur maximale pour un Storage Node dont l’espace réellement réservé aux métadonnées est supérieur à 4 To.
La valeur Allowed correspond à cette métrique Prometheus :
storagegrid_storage_utilization_metadata_allowed_bytes
Exemple d'espace de métadonnées autorisé
Supposons que vous installiez un système StorageGRID en version 11.6. Dans cet exemple, supposez que chaque nœud de stockage dispose de plus de 128 Go de RAM et que le volume 0 du nœud de stockage 1 (SN1) fait 6 To. Sur la base de ces valeurs :
-
L’espace réservé aux métadonnées à l’échelle du système est fixé à 8 To. (Il s’agit de la valeur par défaut pour StorageGRID 11.6 ou version ultérieure lorsque chaque nœud de stockage dispose de plus de 128 Go de RAM.)
-
L'espace réellement réservé aux métadonnées pour SN1 est de 6 To. (Le volume entier est réservé car le volume 0 est plus petit que le paramètre Espace réservé aux métadonnées.)
-
L'espace autorisé pour les métadonnées sur SN1 est de 3 To, basé sur le calcul indiqué dans le tableau de l'espace autorisé pour les métadonnées : (Espace réellement réservé pour les métadonnées − 1 To) × 60 %, jusqu'à un maximum de 3,96 To.
Comment les nœuds de stockage de différentes tailles affectent la capacité des objets
Comme indiqué précédemment, StorageGRID répartit uniformément les métadonnées des objets entre les nœuds de stockage de chaque site. Pour cette raison, si un site contient des nœuds de stockage de tailles différentes, le plus petit nœud du site détermine la capacité de métadonnées du site.
Considérez l'exemple suivant :
-
Vous disposez d'une grille à site unique contenant trois nœuds de stockage de tailles différentes.
-
Le paramètre Espace réservé aux métadonnées est de 4 To.
-
Les nœuds de stockage ont les valeurs suivantes pour l'espace de métadonnées réellement réservé et l'espace de métadonnées autorisé.
Nœud de stockage Taille du volume 0 Espace de métadonnées réellement réservé Espace autorisé pour les métadonnées SN1
2,2 To
2,2 To
1,32 To
SN2
5 To
4 To
1,98 To
SN3
6 To
4 To
1,98 To
Étant donné que les métadonnées des objets sont réparties uniformément entre les nœuds de stockage d'un site, chaque nœud de cet exemple ne peut contenir que 1,32 To de métadonnées. Les 0,66 To supplémentaires d'espace de métadonnées autorisé pour SN2 et SN3 ne peuvent pas être utilisés.
De même, étant donné que StorageGRID conserve toutes les métadonnées d'objet d'un système StorageGRID sur chaque site, la capacité globale de métadonnées d'un système StorageGRID est déterminée par la capacité de métadonnées d'objet du plus petit site.
Et comme la capacité des métadonnées des objets contrôle le nombre maximal d'objets, lorsqu'un nœud n'a plus de capacité de métadonnées, la grille est effectivement pleine.
-
Pour savoir comment surveiller la capacité des métadonnées d'objet pour chaque nœud de stockage, consultez les instructions pour "Surveillance StorageGRID".
-
Pour augmenter la capacité de métadonnées d'objets de votre système, "étendre une grille" en ajoutant de nouveaux nœuds de stockage.