什么是擦除编码方案?
擦除编码方案控制为每个对象创建多少个数据片段和多少个奇偶校验片段。
创建或编辑 ILM 规则时,您可以选择可用的擦除编码方案。 StorageGRID会根据您计划使用的存储池的存储节点和站点数量自动创建擦除编码方案。
数据保护
StorageGRID系统使用 Reed-Solomon 擦除编码算法。该算法将对象切成 `k`数据碎片和计算 `m`奇偶校验碎片。
这 `k + m = n`碎片遍布 `n`存储节点提供如下数据保护:
-
为了取回或修复一个物体, `k`需要片段。
-
一个物体最多可以承受
m`丢失或损坏的片段。价值越高 `m
,容错能力越高。
存储池中具有最高节点或卷故障容忍度的擦除编码方案可提供最佳的数据保护。
存储开销
擦除编码方案的存储开销是通过将奇偶校验片段的数量除以(m
)数据片段的数量(k
)。您可以使用存储开销来计算每个擦除编码对象需要多少磁盘空间:
disk space = object size + (object size * storage overhead)
例如,如果使用 4+2 方案(存储开销为 50%)存储 10 MB 的对象,则该对象将消耗 15 MB 的网格存储。如果使用 6+2 方案(存储开销为 33%)存储相同的 10 MB 对象,则该对象将消耗大约 13.3 MB。
选择总值最低的擦除编码方案 `k+m`满足您的需求。具有较少片段数量的擦除编码方案具有更高的计算效率,因为:
-
每个对象创建和分发(或检索)的碎片更少
-
由于片段尺寸较大,因此它们表现出更好的性能
-
它们可以要求在"当需要更多存储空间时进行扩展"
存储池指南
当选择用于创建擦除编码副本的规则的存储池时,请遵循以下存储池准则:
-
存储池必须包含三个或更多站点,或者恰好一个站点。
如果存储池包含两个站点,则不能使用擦除编码。 -
不要使用包含所有站点站点的存储池。
-
存储池至少应包括 `k+m +1`存储节点可以存储对象数据。
可以在安装期间配置存储节点以仅包含对象元数据而不包含对象数据。有关更多信息,请参阅"存储节点的类型" 。 所需的最小存储节点数量为
k+m
。但是,如果所需的存储节点暂时不可用,则拥有至少一个额外的存储节点可以帮助防止摄取失败或 ILM 积压。
包含三个或更多站点的存储池的擦除编码方案
下表描述了StorageGRID当前支持的包含三个或更多站点的存储池的擦除编码方案。所有这些方案都提供站点丢失保护。一个站点可能会丢失,但对象仍然可以访问。
对于提供站点丢失保护的擦除编码方案,建议存储池中的存储节点数量超过 `k+m +1`因为每个站点至少需要三个存储节点。
擦除编码方案(k+m) | 部署站点的最小数量 | 每个站点的推荐存储节点数量 | 建议的存储节点总数 | 站点丢失保护? | 存储开销 |
---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
是 |
50% |
6+2 |
4 |
3 |
12 |
是 |
33% |
8+2 |
5 |
3 |
15 |
是 |
25% |
6+3 |
3 |
4 |
12 |
是 |
50% |
9+3 |
4 |
4 |
16 |
是 |
33% |
2+1 |
3 |
3 |
9 |
是 |
50% |
4+1 |
5 |
3 |
15 |
是 |
25% |
6+1 |
7 |
3 |
21 |
是 |
17% |
7+5 |
3 |
5 |
15 |
是 |
71% |
|
StorageGRID要求每个站点至少有三个存储节点。要使用 7+5 方案,每个站点至少需要四个存储节点。建议每个站点使用五个存储节点。 |
在选择提供站点保护的擦除编码方案时,请平衡以下因素的相对重要性:
-
碎片数量:碎片总数越低,性能和扩展灵活性通常越好。
-
容错性:通过增加奇偶校验段来提高容错性(即,当 `m`具有更高的价值。)
-
网络流量:当从故障中恢复时,使用具有更多片段的方案(即,
k+m
) 会产生更多的网络流量。 -
存储开销:开销较高的方案需要每个对象更多的存储空间。
例如,在 4+2 方案和 6+3 方案(两者都有 50% 的存储开销)之间做出选择时,如果需要额外的容错能力,则选择 6+3 方案。如果网络资源受限,则选择4+2方案。如果所有其他因素都相同,则选择 4+2,因为它的碎片总数较少。
|
如果您不确定使用哪种方案,请选择 4+2 或 6+3,或者联系技术支持。 |
单站点存储池的擦除编码方案
只要站点具有足够的存储节点,单站点存储池就支持为三个或更多站点定义的所有擦除编码方案。
所需的最小存储节点数量为 k+m
,但存储池 `k+m +1`建议使用存储节点。例如,2+1 擦除编码方案需要具有至少三个存储节点的存储池,但建议使用四个存储节点。
擦除编码方案(k+m) | 最小存储节点数量 | 建议的存储节点数量 | 存储开销 |
---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |