Scopri gli schemi di codifica di cancellazione in StorageGRID
Suggerisci modifiche
PDF
Gli schemi di codifica a cancellazione controllano quanti frammenti di dati e quanti frammenti di parità vengono creati per ciascun oggetto.
Quando crei o modifichi una regola ILM, selezioni uno schema di erasure coding disponibile. StorageGRID crea automaticamente gli schemi di erasure coding in base a quanti Storage Node e siti compongono il pool di storage che vuoi usare.
Protezione dei dati
Il sistema StorageGRID utilizza l'algoritmo di codifica di cancellazione Reed-Solomon. L'algoritmo suddivide un oggetto in k frammenti di dati e calcola m frammenti di parità.
I `k + m = n`frammenti sono distribuiti tra `n`Storage Nodes per fornire la protezione dei dati come segue:
-
Per recuperare o riparare un oggetto,
ksono necessari dei frammenti. -
Un oggetto può tollerare fino a
mframmenti persi o corrotti. Maggiore è il valore dim, maggiore è la tolleranza ai guasti.
La migliore protezione dei dati è garantita dallo schema di codifica di cancellazione con la più alta tolleranza ai guasti di nodi o volumi all'interno di un pool di storage.
Overhead dello storage
L'overhead dello storage di uno schema di codifica a cancellazione si calcola dividendo il numero di frammenti di parità (m per il numero di frammenti di dati (k. Puoi usare l'overhead dello storage per calcolare quanto spazio su disco richiede ciascun oggetto codificato a cancellazione:
disk space = object size + (object size * storage overhead)
Ad esempio, se memorizzi un oggetto da 10 MB utilizzando lo schema 4+2 (che presenta un overhead dello storage del 50%), l'oggetto consuma 15 MB di grid storage. Se memorizzi lo stesso oggetto da 10 MB utilizzando lo schema 6+2 (che presenta un overhead dello storage del 33%), l'oggetto consuma circa 13,3 MB.
Seleziona lo schema di codifica di cancellazione con il valore totale più basso di k+m che soddisfa le tue esigenze. Gli schemi di codifica di cancellazione con un numero inferiore di frammenti sono più efficienti dal punto di vista computazionale perché:
-
Vengono creati e distribuiti (o recuperati) meno frammenti per ogni oggetto
-
Mostrano prestazioni migliori perché la dimensione del frammento è maggiore
-
Possono richiedere l'aggiunta di un minor numero di nodi in un"espansione quando è necessario più storage"
Linee guida per i pool di storage
Quando selezioni il pool di storage da usare per una regola che creerà una copia con codifica di cancellazione, segui queste linee guida per i pool di storage:
-
Il pool di storage deve includere tre o più siti, oppure esattamente un sito.
Non puoi usare la codifica di cancellazione se il pool di storage include due siti. -
Non usare un pool di storage che includa il sito All Sites.
-
Il pool di storage dovrebbe includere almeno
k+m +1Storage Nodes in grado di memorizzare dati oggetto.
I nodi di archiviazione possono essere configurati durante l'installazione per contenere dati degli oggetti e metadati ("nodo di archiviazione combinato"), solo metadati degli oggetti o solo dati degli oggetti. Per ulteriori informazioni, consulta "Tipi di nodi di archiviazione". Il numero minimo di Storage Node richiesti è
k+m. Tuttavia, avere almeno un Storage Node aggiuntivo può aiutare a prevenire errori di acquisizione o arretrati ILM se un Storage Node richiesto non è temporaneamente disponibile.
Schemi di codifica di cancellazione per pool di storage contenenti tre o più siti
La tabella seguente descrive gli schemi di codifica di cancellazione attualmente supportati da StorageGRID per i pool di storage che includono tre o più siti. Tutti questi schemi offrono protezione in caso di perdita di un sito. Un sito può andare perso e l'oggetto sarà comunque accessibile.
Per gli schemi di codifica di cancellazione che forniscono protezione dalla perdita del sito, il numero consigliato di nodi di archiviazione nel pool di storage supera k+m +1 perché ogni sito richiede un minimo di tre nodi di archiviazione.
| Schema di codifica a cancellazione (k+m) | Numero minimo di siti distribuiti | Numero consigliato di Storage Node in ciascun sito | Numero totale consigliato di Storage Node | Protezione contro la perdita del sito? | Overhead dello storage |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Sì |
50% |
6+2 |
4 |
3 |
12 |
Sì |
33% |
8+2 |
5 |
3 |
15 |
Sì |
25% |
6+3 |
3 |
4 |
12 |
Sì |
50% |
9+3 |
4 |
4 |
16 |
Sì |
33% |
2+1 |
3 |
3 |
9 |
Sì |
50% |
4+1 |
5 |
3 |
15 |
Sì |
25% |
6+1 |
7 |
3 |
21 |
Sì |
17% |
7+5 |
3 |
5 |
15 |
Sì |
71% |
|
|
StorageGRID richiede un minimo di tre Storage Node per sito. Per utilizzare lo schema 7+5, ogni sito richiede un minimo di quattro Storage Node. Si consiglia di utilizzare cinque Storage Node per sito. |
Quando scegli uno schema di codifica di cancellazione che offre la protezione del sito, bilancia l'importanza relativa dei seguenti fattori:
-
Numero di frammenti: Le prestazioni e la flessibilità di espansione sono generalmente migliori quando il numero totale di frammenti è inferiore.
-
Tolleranza ai guasti: La tolleranza ai guasti aumenta con un maggior numero di segmenti di parità (ovvero, quando
mha un valore più elevato.) -
Traffico di rete: Durante il ripristino da guasti, l'utilizzo di uno schema con più frammenti (ovvero, un totale più elevato per
k+m) crea più traffico di rete. -
Overhead dello storage: Gli schemi con un overhead maggiore richiedono più spazio di storage per oggetto.
Ad esempio, quando decidi tra uno schema 4+2 e uno schema 6+3 (entrambi con overhead dello storage del 50%), scegli lo schema 6+3 se hai bisogno di una tolleranza ai guasti aggiuntiva. Scegli invece lo schema 4+2 se le risorse di rete sono limitate. Se tutti gli altri fattori sono uguali, scegli il 4+2 perché ha un numero totale di frammenti inferiore.
|
|
Se non sei sicuro di quale schema utilizzare, seleziona 4+2 o 6+3 oppure contatta il supporto tecnico. |
Schemi di codifica a cancellazione per pool di storage a sito singolo
Un pool di storage con un solo sito supporta tutti gli schemi di codifica di cancellazione definiti per tre o più siti, a condizione che il sito disponga di un numero sufficiente di Storage Node.
Il numero minimo di Storage Node richiesti è k+m, ma è consigliato un pool di storage con k+m +1 Storage Node. Ad esempio, lo schema di erasure-coding 2+1 richiede un pool di storage con un minimo di tre Storage Node, ma è consigliato utilizzarne quattro.
| Schema di codifica a cancellazione (k+m) | Numero minimo di Storage Node | Numero consigliato di Storage Node | Overhead dello storage |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |