什麼是擦除編碼方案?
擦除編碼方案控制為每個物件建立多少個資料片段和多少個奇偶校驗片段。
建立或編輯 ILM 規則時,您可以選擇可用的擦除編碼方案。 StorageGRID會根據您計劃使用的儲存池的儲存節點和網站數量自動建立擦除編碼方案。
資料保護
StorageGRID系統使用 Reed-Solomon 擦除編碼演算法。該演算法將對象切成 `k`數據碎片和計算 `m`奇偶校驗碎片。
這 `k + m = n`碎片遍布 `n`儲存節點提供以下資料保護:
-
為了取回或修復一個物體, `k`需要片段。
-
一個物體最多可以承受
m`遺失或損壞的片段。價值越高 `m,容錯能力越高。
儲存池中具有最高節點或磁碟區故障容忍度的擦除編碼方案可提供最佳的資料保護。
儲存開銷
擦除編碼方案的儲存開銷是將奇偶校驗片段的數量除以(m)資料片段的數量(k)。您可以使用儲存開銷來計算每個擦除編碼物件需要多少磁碟空間:
disk space = object size + (object size * storage overhead)
例如,如果使用 4+2 方案(儲存開銷為 50%)儲存 10 MB 的對象,則該對象將消耗 15 MB 的網格儲存。如果使用 6+2 方案(儲存開銷為 33%)儲存相同的 10 MB 對象,則該物件將消耗約 13.3 MB。
選擇總值最低的擦除編碼方案 `k+m`滿足您的需求。具有較少片段數量的擦除編碼方案具有更高的計算效率,因為:
-
每個物件創建和分發(或檢索)的碎片更少
-
由於片段尺寸較大,因此它們表現出更好的性能
-
它們可以要求在"當需要更多儲存空間時進行擴展"
儲存池指南
當選擇用於建立擦除編碼副本的規則的儲存池時,請遵循下列儲存池準則:
-
儲存池必須包含三個或更多站點,或恰好一個站點。
如果儲存池包含兩個站點,則不能使用擦除編碼。 -
不要使用包含所有網站網站的儲存池。
-
儲存池至少應包括 `k+m +1`儲存節點可以儲存物件資料。
可以在安裝期間配置儲存節點以僅包含物件元資料而不包含物件資料。有關更多信息,請參閱"儲存節點的類型" 。 所需的最小儲存節點數量為
k+m。但是,如果所需的儲存節點暫時不可用,則擁有至少一個額外的儲存節點可以幫助防止攝取失敗或 ILM 積壓。
包含三個或更多網站的儲存池的擦除編碼方案
下表描述了StorageGRID目前支援的包含三個或更多網站的儲存池的擦除編碼方案。所有這些方案都提供網站遺失保護。一個站點可能會遺失,但物件仍然可以存取。
對於提供網站遺失保護的擦除編碼方案,建議儲存池中的儲存節點數量超過 `k+m +1`因為每個站點至少需要三個儲存節點。
| 擦除編碼方案(k+m) | 部署站點的最小數量 | 每個站點的推薦儲存節點數量 | 建議的儲存節點總數 | 站點遺失保護? | 儲存開銷 |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
是的 |
50% |
6+2 |
4 |
3 |
12 |
是的 |
33% |
8+2 |
5 |
3 |
15 |
是的 |
25% |
6+3 |
3 |
4 |
12 |
是的 |
50% |
9+3 |
4 |
4 |
16 |
是的 |
33% |
2+1 |
3 |
3 |
9 |
是的 |
50% |
4+1 |
5 |
3 |
15 |
是的 |
25% |
6+1 |
7 |
3 |
21 |
是的 |
17% |
7+5 |
3 |
5 |
15 |
是的 |
71% |
|
|
StorageGRID要求每個站點至少有三個儲存節點。要使用 7+5 方案,每個站點至少需要四個儲存節點。建議每個站點使用五個儲存節點。 |
在選擇提供網站保護的擦除編碼方案時,請平衡以下因素的相對重要性:
-
碎片數量:碎片總數越低,效能和擴展彈性通常越好。
-
容錯性:透過增加奇偶校驗段來提高容錯性(即,當 `m`具有更高的價值。 )
-
網路流量:當從故障中恢復時,使用具有更多片段的方案(即,
k+m) 會產生更多的網路流量。 -
儲存開銷:開銷較高的方案需要每個物件更多的儲存空間。
例如,在 4+2 方案和 6+3 方案(兩者都有 50% 的儲存開銷)之間做出選擇時,如果需要額外的容錯能力,則選擇 6+3 方案。若網路資源受限,則選擇4+2方案。如果其他因素都相同,則選擇 4+2,因為它的碎片總數較少。
|
|
如果您不確定要使用哪種方案,請選擇 4+2 或 6+3,或聯絡技術支援。 |
單一站點儲存池的擦除編碼方案
只要站點具有足夠的儲存節點,單一站點儲存池就支援為三個或更多站點定義的所有擦除編碼方案。
所需的最小儲存節點數量為 k+m,但儲存池 `k+m +1`建議使用儲存節點。例如,2+1 擦除編碼方案需要具有至少三個儲存節點的儲存池,但建議使用四個儲存節點。
| 擦除編碼方案(k+m) | 最小儲存節點數量 | 建議的儲存節點數量 | 儲存開銷 |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |