擦除編碼的優點、缺點和要求
在決定是否使用複製或擦除編碼來保護物件資料免於遺失之前,您應該了解擦除編碼的優點、缺點和要求。
擦除編碼的優點
與複製相比,擦除編碼提供了更高的可靠性、可用性和儲存效率。
-
可靠性:可靠性是根據容錯能力來衡量的-也就是說,在不遺失資料的情況下可以承受的同時故障次數。透過複製,多個相同的副本可以儲存在不同的節點和站點上。利用擦除編碼,物件被編碼為資料和奇偶校驗片段,並分佈在許多節點和站點上。這種分散提供了站點和節點故障保護。與複製相比,擦除編碼在相當的儲存成本下提供了更高的可靠性。
-
可用性:可用性可以定義為儲存節點發生故障或無法存取時檢索物件的能力。與複製相比,擦除編碼在相當的儲存成本下提供了更高的可用性。
-
儲存效率:在可用性和可靠性等級相似的情況下,透過擦除編碼保護的物件比透過複製保護的相同物件消耗更少的磁碟空間。例如,複製到兩個網站的 10 MB 物件將消耗 20 MB 磁碟空間(兩個副本),而使用 6+3 擦除編碼方案在三個網站進行擦除編碼的物件僅消耗 15 MB 磁碟空間。
擦除編碼物件的磁碟空間計算為物件大小加上儲存開銷。儲存開銷百分比是奇偶校驗碎片的數量除以資料碎片的數量。
擦除編碼的缺點
與複製相比,擦除編碼有以下缺點:
-
根據擦除編碼方案,建議增加儲存節點和網站的數量。相反,如果複製對象數據,則每個副本只需要一個儲存節點。看"包含三個或更多網站的儲存池的擦除編碼方案"和"單一站點儲存池的擦除編碼方案"。
-
增加了儲存擴充的成本和複雜性。若要擴充使用複製的部署,您可以在進行物件複製的每個位置新增儲存容量。若要擴充使用擦除編碼的部署,您必須考慮正在使用的擦除編碼方案以及現有儲存節點的完整程度。例如,如果等到現有節點已滿,則必須至少新增 `k+m`儲存節點,但如果在現有節點已滿 70% 時進行擴展,則可以在每個站點添加兩個節點,同時仍能最大化可用儲存容量。有關更多信息,請參閱"增加擦除編碼物件的儲存容量" 。
-
當您在跨地理分佈的網站使用擦除編碼時,檢索延遲會增加。與在本地端(客戶端連接的相同站點)複製並可用的物件相比,透過 WAN 連線檢索經過擦除編碼並分佈在遠端站點上的物件的物件碎片需要更長的時間。
-
當您在跨地理分佈的站點使用擦除編碼時,檢索和修復所需的 WAN 網路流量使用率會更高,尤其是對於頻繁檢索的物件或透過 WAN 網路連線進行的物件修復。
-
當您跨站點使用擦除編碼時,隨著站點間網路延遲的增加,最大物件吞吐量會急劇下降。這種下降是由於 TCP 網路吞吐量相應下降造成的,這影響了StorageGRID系統儲存和檢索物件片段的速度。
-
計算資源的利用率更高。
何時使用擦除編碼
擦除編碼最適合以下要求:
-
物件大小大於 1 MB。
擦除編碼最適合大於 1 MB 的物件。不要對小於 200 KB 的物件使用擦除編碼,以避免管理非常小的擦除編碼片段的開銷。 -
對不經常檢索的內容進行長期或冷儲存。
-
高數據可用性和可靠性。
-
防止整個站點和節點發生故障。
-
儲存效率。
-
單一站點部署需要僅使用單一擦除編碼副本而不是多個複製副本來實現有效的資料保護。
-
多站點部署,站點間延遲小於 100 毫秒。