Découvrez les schémas de code d'effacement dans StorageGRID
Les schémas de code d'effacement contrôlent le nombre de fragments de données et le nombre de fragments de parité créés pour chaque objet.
Lorsque vous créez ou modifiez une règle ILM, vous sélectionnez un schéma de code d'effacement disponible. StorageGRID crée automatiquement des schémas de code d'effacement en fonction du nombre de nœuds de stockage et de sites composant le pool de stockage que vous prévoyez d'utiliser.
Protection des données
Le système StorageGRID utilise l'algorithme de code d'effacement Reed-Solomon. L'algorithme découpe un objet en k fragments de données et calcule m fragments de parité.
Les `k + m = n`fragments sont répartis sur `n`Storage Nodes afin d'assurer la protection des données comme suit :
-
Pour récupérer ou réparer un objet,
kdes fragments sont nécessaires. -
Un objet peut supporter jusqu'à
mfragments perdus ou corrompus. Plus la valeur demest élevée, plus la tolérance aux pannes est grande.
La meilleure protection des données est assurée par le système de code d'effacement présentant la plus grande tolérance aux pannes de nœud ou de volume au sein d'un pool de stockage.
Surcharge de stockage
La surcharge de stockage d'un schéma de code d'effacement se calcule en divisant le nombre de fragments de parité (m) par le nombre de fragments de données (k). Vous pouvez utiliser la surcharge de stockage pour calculer combien d'espace disque chaque objet codé par effacement nécessite :
disk space = object size + (object size * storage overhead)
Par exemple, si vous stockez un objet de 10 Mo en utilisant le schéma 4+2 (qui induit une surcharge de stockage de 50 %), cet objet occupe 15 Mo de stockage en grid. Si vous stockez le même objet de 10 Mo en utilisant le schéma 6+2 (qui induit une surcharge de stockage de 33 %), il occupe environ 13,3 Mo.
Sélectionnez le schéma de code d'effacement présentant la valeur totale la plus faible k+m qui répond à vos besoins. Les schémas de code d'effacement avec un nombre réduit de fragments sont plus efficaces en termes de calcul parce que :
-
Moins de fragments sont créés et distribués (ou récupérés) par objet
-
Ils affichent de meilleures performances car la taille des fragments est plus grande
-
Ils peuvent nécessiter l'ajout de moins de nœuds dans un "extension lorsque davantage de stockage est nécessaire"
Lignes directrices pour les pools de stockage
Lors de la sélection du pool de stockage à utiliser pour une règle qui créera une copie à code d'effacement, suivez les instructions suivantes concernant les pools de stockage :
-
Le pool de stockage doit inclure trois sites ou plus, ou exactement un seul site.
Vous ne pouvez pas utiliser le code d'effacement si le pool de stockage comprend deux sites. -
N’utilisez pas un pool de stockage qui inclut le site All Sites.
-
Le pool de stockage doit comprendre au moins
k+m +1nœuds de stockage capables de stocker des données d'objets.Lors de l'installation, les nœuds de stockage peuvent être configurés pour contenir à la fois les données et les métadonnées des objets (nœud de stockage « combiné »), uniquement les métadonnées des objets ou uniquement les données des objets. Pour plus d'informations, consultez "Types de nœuds de stockage". Le nombre minimal de nœuds de stockage requis est
k+m. Toutefois, disposer d’au moins un nœud de stockage supplémentaire peut contribuer à prévenir les échecs d’ingestion ou les retards ILM si un nœud de stockage requis est temporairement indisponible.
Schémas de code d'effacement pour les pools de stockage contenant trois sites ou plus
Le tableau suivant décrit les schémas de code d'effacement actuellement pris en charge par StorageGRID pour les pools de stockage comprenant trois sites ou plus. Tous ces schémas assurent une protection contre la perte d'un site. Un site peut être perdu et l'objet restera accessible.
Pour les schémas de code d'effacement qui assurent une protection contre la perte de site, le nombre recommandé de Storage Nodes dans le pool de stockage est supérieur k+m +1 parce que chaque site nécessite un minimum de trois Storage Nodes.
| Schéma de code d'effacement (k+m) | Nombre minimal de sites déployés | Nombre recommandé de nœuds de stockage sur chaque site | Nombre total recommandé de nœuds de stockage | Protection contre la perte du site ? | Surcharge de stockage |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Oui |
50% |
6+2 |
4 |
3 |
12 |
Oui |
33% |
8+2 |
5 |
3 |
15 |
Oui |
25% |
6+3 |
3 |
4 |
12 |
Oui |
50% |
9+3 |
4 |
4 |
16 |
Oui |
33% |
2+1 |
3 |
3 |
9 |
Oui |
50% |
4+1 |
5 |
3 |
15 |
Oui |
25% |
6+1 |
7 |
3 |
21 |
Oui |
17% |
7+5 |
3 |
5 |
15 |
Oui |
71% |
|
|
StorageGRID requiert au minimum trois nœuds de stockage par site. Pour utiliser le schéma 7+5, chaque site nécessite au minimum quatre nœuds de stockage. L'utilisation de cinq nœuds de stockage par site est recommandée. |
Lors du choix d'un système de code d'effacement assurant la protection d'un site, il convient de prendre en compte l'importance relative des facteurs suivants :
-
Nombre de fragments : Les performances et la flexibilité d’expansion sont généralement meilleures lorsque le nombre total de fragments est plus faible.
-
Tolérance aux pannes : La tolérance aux pannes est accrue par un plus grand nombre de segments de parité (c’est-à-dire lorsque
ma une valeur plus élevée.) -
Trafic réseau : Lors de la récupération après une panne, l’utilisation d’un schéma avec plus de fragments (c’est-à-dire un total plus élevé pour
k+m) génère plus de trafic réseau. -
Surcharge de stockage : Les schémas avec une surcharge plus élevée nécessitent plus d’espace de stockage par objet.
Par exemple, pour choisir entre un schéma 4+2 et un schéma 6+3 (qui présentent tous deux une surcharge de stockage de 50 %), sélectionnez le schéma 6+3 si une tolérance aux pannes supplémentaire est requise. Sélectionnez le schéma 4+2 si les ressources réseau sont limitées. Si tous les autres facteurs sont égaux, sélectionnez le schéma 4+2 car il présente un nombre total de fragments inférieur.
|
|
Si vous n'êtes pas sûr du schéma à utiliser, sélectionnez 4+2 ou 6+3, ou contactez le support technique. |
Schémas de code d'effacement pour les pools de stockage à site unique
Un pool de stockage à site unique prend en charge tous les schémas de code d'effacement définis pour trois sites ou plus, à condition que le site dispose de suffisamment de nœuds de stockage.
Le nombre minimal de nœuds de stockage requis est k+m, mais il est recommandé d'utiliser un pool de stockage avec k+m +1 nœuds de stockage. Par exemple, le schéma de code d'effacement 2+1 nécessite un pool de stockage avec un minimum de trois nœuds de stockage, mais il est recommandé d'en utiliser quatre.
| Schéma de code d'effacement (k+m) | Nombre minimal de nœuds de stockage | Nombre recommandé de nœuds de stockage | Surcharge de stockage |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |