Was sind Erasure-Coding-Schemata?
Änderungen vorschlagen
PDFs
Erasure-Coding-Schemata steuern, wie viele Datenfragmente und wie viele Paritätsfragmente für jedes Objekt erstellt werden.
Wenn Sie eine ILM-Regel erstellen oder bearbeiten, wählen Sie ein verfügbares Erasure-Coding-Schema aus. StorageGRID erstellt automatisch Erasure-Coding-Schemata basierend auf der Anzahl der Speicherknoten und Sites, aus denen der Speicherpool besteht, den Sie verwenden möchten.
Datenschutz
Das StorageGRID -System verwendet den Reed-Solomon-Erasure-Coding-Algorithmus. Der Algorithmus zerlegt ein Objekt in k Datenfragmente und Berechnungen m Paritätsfragmente.
Der k + m = n Fragmente sind verteilt über n Speicherknoten bieten Datenschutz wie folgt:
-
Um ein Objekt abzurufen oder zu reparieren,
kFragmente werden benötigt. -
Ein Objekt kann bis zu
mverlorene oder beschädigte Fragmente. Je höher der Wert vonm, desto höher ist die Fehlertoleranz.
Den besten Datenschutz bietet das Erasure-Coding-Schema mit der höchsten Knoten- oder Volume-Ausfalltoleranz innerhalb eines Speicherpools.
Speicheraufwand
Der Speicheraufwand eines Erasure-Coding-Schemas wird berechnet, indem die Anzahl der Paritätsfragmente geteilt wird(m ) durch die Anzahl der Datenfragmente(k ). Mithilfe des Speicher-Overheads können Sie berechnen, wie viel Speicherplatz jedes Erasure-Codierte Objekt benötigt:
disk space = object size + (object size * storage overhead)
Wenn Sie beispielsweise ein 10 MB großes Objekt mit dem 4+2-Schema speichern (das einen Speicher-Overhead von 50 % hat), verbraucht das Objekt 15 MB Grid-Speicher. Wenn Sie dasselbe 10 MB große Objekt mit dem 6+2-Schema speichern (das einen Speicher-Overhead von 33 % hat), verbraucht das Objekt ungefähr 13,3 MB.
Wählen Sie das Erasure-Coding-Schema mit dem niedrigsten Gesamtwert von k+m das Ihren Bedürfnissen entspricht. Erasure-Coding-Verfahren mit einer geringeren Anzahl von Fragmenten sind rechnerisch effizienter, weil:
-
Pro Objekt werden weniger Fragmente erstellt und verteilt (oder abgerufen)
-
Sie weisen eine bessere Leistung auf, da die Fragmentgröße größer ist
-
Sie können erfordern, dass weniger Knoten in einem"Erweiterung, wenn mehr Speicherplatz benötigt wird"
Richtlinien für Speicherpools
Beachten Sie bei der Auswahl des Speicherpools für eine Regel zum Erstellen einer Löschcodierten Kopie die folgenden Richtlinien für Speicherpools:
-
Der Speicherpool muss drei oder mehr Standorte oder genau einen Standort umfassen.
Sie können Erasure Coding nicht verwenden, wenn der Speicherpool zwei Standorte umfasst. -
Verwenden Sie keinen Speicherpool, der die Site „Alle Sites“ enthält.
-
Der Speicherpool sollte mindestens
k+m +1Speicherknoten, die Objektdaten speichern können.
Speicherknoten können während der Installation so konfiguriert werden, dass sie nur Objektmetadaten und keine Objektdaten enthalten. Weitere Informationen finden Sie unter "Arten von Speicherknoten" . Die Mindestanzahl der erforderlichen Speicherknoten beträgt
k+m. Wenn jedoch mindestens ein zusätzlicher Speicherknoten vorhanden ist, können Aufnahmefehler oder ILM-Rückstände vermieden werden, wenn ein erforderlicher Speicherknoten vorübergehend nicht verfügbar ist.
Erasure-Coding-Schemata für Speicherpools mit drei oder mehr Standorten
Die folgende Tabelle beschreibt die Erasure-Coding-Schemata, die derzeit von StorageGRID für Speicherpools mit drei oder mehr Standorten unterstützt werden. Alle diese Systeme bieten Schutz vor Standortverlust. Eine Site kann verloren gehen, und das Objekt ist weiterhin zugänglich.
Für Erasure-Coding-Schemata, die Site-Loss-Schutz bieten, übersteigt die empfohlene Anzahl von Storage Nodes im Speicherpool k+m +1 da für jeden Standort mindestens drei Speicherknoten erforderlich sind.
| Erasure-Coding-Schema (k+m) | Mindestanzahl bereitgestellter Sites | Empfohlene Anzahl von Speicherknoten an jedem Standort | Empfohlene Gesamtzahl an Speicherknoten | Schutz vor Site-Verlust? | Speicheraufwand |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Ja |
50 % |
6+2 |
4 |
3 |
12 |
Ja |
33 % |
8+2 |
5 |
3 |
15 |
Ja |
25 % |
6+3 |
3 |
4 |
12 |
Ja |
50 % |
9+3 |
4 |
4 |
16 |
Ja |
33 % |
2+1 |
3 |
3 |
9 |
Ja |
50 % |
4+1 |
5 |
3 |
15 |
Ja |
25 % |
6+1 |
7 |
3 |
21 |
Ja |
17 % |
7+5 |
3 |
5 |
15 |
Ja |
71 % |
|
|
StorageGRID erfordert mindestens drei Speicherknoten pro Site. Um das 7+5-Schema zu verwenden, benötigt jeder Standort mindestens vier Speicherknoten. Es wird empfohlen, fünf Speicherknoten pro Site zu verwenden. |
Wägen Sie bei der Auswahl eines Löschcodierungsschemas, das Site-Schutz bietet, die relative Bedeutung der folgenden Faktoren ab:
-
Anzahl der Fragmente: Leistung und Erweiterungsflexibilität sind im Allgemeinen besser, wenn die Gesamtzahl der Fragmente geringer ist.
-
Fehlertoleranz: Die Fehlertoleranz wird durch mehr Paritätssegmente erhöht (d. h. wenn
mhat einen höheren Wert.) -
Netzwerkverkehr: Bei der Wiederherstellung nach Fehlern wird ein Schema mit mehr Fragmenten verwendet (d. h. eine höhere Gesamtzahl für
k+m) erzeugt mehr Netzwerkverkehr. -
Speicher-Overhead: Schemata mit höherem Overhead erfordern mehr Speicherplatz pro Objekt.
Wenn Sie sich beispielsweise zwischen einem 4+2-Schema und einem 6+3-Schema entscheiden (die beide einen Speicher-Overhead von 50 % haben), wählen Sie das 6+3-Schema, wenn zusätzliche Fehlertoleranz erforderlich ist. Wählen Sie das 4+2-Schema, wenn die Netzwerkressourcen eingeschränkt sind. Wenn alle anderen Faktoren gleich sind, wählen Sie 4+2, da dies eine geringere Gesamtzahl an Fragmenten ergibt.
|
|
Wenn Sie sich nicht sicher sind, welches Schema Sie verwenden sollen, wählen Sie 4+2 oder 6+3 oder wenden Sie sich an den technischen Support. |
Erasure-Coding-Schemata für Speicherpools an einem Standort
Ein Speicherpool für einen Standort unterstützt alle für drei oder mehr Standorte definierten Erasure-Coding-Schemata, vorausgesetzt, der Standort verfügt über genügend Speicherknoten.
Die Mindestanzahl der erforderlichen Speicherknoten beträgt k+m , sondern ein Speicherpool mit k+m +1 Speicherknoten werden empfohlen. Beispielsweise erfordert das 2+1-Erasure-Coding-Schema einen Speicherpool mit mindestens drei Speicherknoten, empfohlen werden jedoch vier Speicherknoten.
| Erasure-Coding-Schema (k+m) | Mindestanzahl an Speicherknoten | Empfohlene Anzahl von Speicherknoten | Speicheraufwand |
|---|---|---|---|
4+2 |
6 |
7 |
50 % |
6+2 |
8 |
9 |
33 % |
8+2 |
10 |
11 |
25 % |
6+3 |
9 |
10 |
50 % |
9+3 |
12 |
13 |
33 % |
2+1 |
3 |
4 |
50 % |
4+1 |
5 |
6 |
25 % |
6+1 |
7 |
8 |
17 % |
7+5 |
12 |
13 |
71 % |