¿Qué son los esquemas de codificación de borrado?
Sugerir cambios
PDF
Los esquemas de codificación de borrado controlan cuántos fragmentos de datos y cuántos fragmentos de paridad se crean para cada objeto.
Cuando crea o edita una regla ILM, selecciona un esquema de codificación de borrado disponible. StorageGRID crea automáticamente esquemas de codificación de borrado en función de la cantidad de nodos de almacenamiento y sitios que conforman el grupo de almacenamiento que planea utilizar.
Protección de datos
El sistema StorageGRID utiliza el algoritmo de codificación de borrado Reed-Solomon. El algoritmo divide un objeto en k fragmentos de datos y cálculos m fragmentos de paridad.
El k + m = n Los fragmentos se encuentran dispersos n Nodos de almacenamiento para proporcionar protección de datos de la siguiente manera:
-
Para recuperar o reparar un objeto,
kSe necesitan fragmentos. -
Un objeto puede soportar hasta
mfragmentos perdidos o corruptos. Cuanto mayor sea el valor dem, mayor será la tolerancia al fallo.
La mejor protección de datos la proporciona el esquema de codificación de borrado con la mayor tolerancia a fallas de nodo o volumen dentro de un grupo de almacenamiento.
Gastos generales de almacenamiento
La sobrecarga de almacenamiento de un esquema de codificación de borrado se calcula dividiendo el número de fragmentos de paridad(m ) por el número de fragmentos de datos(k ). Puede utilizar la sobrecarga de almacenamiento para calcular cuánto espacio en disco requiere cada objeto con código de borrado:
disk space = object size + (object size * storage overhead)
Por ejemplo, si almacena un objeto de 10 MB utilizando el esquema 4+2 (que tiene una sobrecarga de almacenamiento del 50 %), el objeto consume 15 MB de almacenamiento en la red. Si almacena el mismo objeto de 10 MB utilizando el esquema 6+2 (que tiene una sobrecarga de almacenamiento del 33 %), el objeto consume aproximadamente 13,3 MB.
Seleccione el esquema de codificación de borrado con el valor total más bajo de k+m que se ajuste a sus necesidades. Los esquemas de codificación de borrado con un menor número de fragmentos son computacionalmente más eficientes porque:
-
Se crean y distribuyen (o recuperan) menos fragmentos por objeto
-
Muestran un mejor rendimiento porque el tamaño del fragmento es mayor
-
Pueden requerir que se agreguen menos nodos en un"expansión cuando se requiere más almacenamiento"
Directrices para los pools de almacenamiento
Al seleccionar el grupo de almacenamiento que se utilizará para una regla que creará una copia con código de borrado, utilice las siguientes pautas para los grupos de almacenamiento:
-
El grupo de almacenamiento debe incluir tres o más sitios, o exactamente un sitio.
No se puede utilizar la codificación de borrado si el grupo de almacenamiento incluye dos sitios. -
No utilice un grupo de almacenamiento que incluya el sitio Todos los sitios.
-
El grupo de almacenamiento debe incluir al menos
k+m +1Nodos de almacenamiento que pueden almacenar datos de objetos.
Los nodos de almacenamiento se pueden configurar durante la instalación para que contengan solo metadatos de objetos y no datos de objetos. Para obtener más información, consulte "Tipos de nodos de almacenamiento" . El número mínimo de nodos de almacenamiento requeridos es
k+m. Sin embargo, tener al menos un nodo de almacenamiento adicional puede ayudar a prevenir fallas de ingesta o retrasos en ILM si un nodo de almacenamiento requerido no está disponible temporalmente.
Esquemas de codificación de borrado para grupos de almacenamiento que contienen tres o más sitios
La siguiente tabla describe los esquemas de codificación de borrado actualmente admitidos por StorageGRID para grupos de almacenamiento que incluyen tres o más sitios. Todos estos esquemas brindan protección contra pérdida de sitio. Se puede perder un sitio y el objeto seguirá siendo accesible.
Para los esquemas de codificación de borrado que brindan protección contra pérdida de sitio, la cantidad recomendada de nodos de almacenamiento en el grupo de almacenamiento excede k+m +1 porque cada sitio requiere un mínimo de tres nodos de almacenamiento.
| Esquema de codificación de borrado (k+m) | Número mínimo de sitios implementados | Número recomendado de nodos de almacenamiento en cada sitio | Número total recomendado de nodos de almacenamiento | ¿Protección contra pérdida de sitio? | Gastos generales de almacenamiento |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Sí |
50% |
6+2 |
4 |
3 |
12 |
Sí |
33% |
8+2 |
5 |
3 |
15 |
Sí |
25% |
6+3 |
3 |
4 |
12 |
Sí |
50% |
9+3 |
4 |
4 |
16 |
Sí |
33% |
2+1 |
3 |
3 |
9 |
Sí |
50% |
4+1 |
5 |
3 |
15 |
Sí |
25% |
6+1 |
7 |
3 |
21 |
Sí |
17% |
7+5 |
3 |
5 |
15 |
Sí |
71% |
|
|
StorageGRID requiere un mínimo de tres nodos de almacenamiento por sitio. Para utilizar el esquema 7+5, cada sitio requiere un mínimo de cuatro nodos de almacenamiento. Se recomienda utilizar cinco nodos de almacenamiento por sitio. |
Al seleccionar un esquema de codificación de borrado que proporcione protección del sitio, equilibre la importancia relativa de los siguientes factores:
-
Número de fragmentos: el rendimiento y la flexibilidad de expansión generalmente son mejores cuando el número total de fragmentos es menor.
-
Tolerancia a fallos: La tolerancia a fallos aumenta al tener más segmentos de paridad (es decir, cuando
mtiene un valor más alto.) -
Tráfico de red: Al recuperarse de fallas, se utiliza un esquema con más fragmentos (es decir, un total más alto para
k+m) crea más tráfico de red. -
Gastos generales de almacenamiento: los esquemas con mayores gastos generales requieren más espacio de almacenamiento por objeto.
Por ejemplo, al decidir entre un esquema 4+2 y un esquema 6+3 (ambos tienen una sobrecarga de almacenamiento del 50 %), seleccione el esquema 6+3 si se requiere tolerancia a fallas adicional. Seleccione el esquema 4+2 si los recursos de red están limitados. Si todos los demás factores son iguales, seleccione 4+2 porque tiene un número total menor de fragmentos.
|
|
Si no está seguro de qué esquema utilizar, seleccione 4+2 o 6+3, o comuníquese con el soporte técnico. |
Esquemas de codificación de borrado para grupos de almacenamiento de un solo sitio
Un grupo de almacenamiento de un solo sitio admite todos los esquemas de codificación de borrado definidos para tres o más sitios, siempre que el sitio tenga suficientes nodos de almacenamiento.
El número mínimo de nodos de almacenamiento requeridos es k+m , pero un grupo de almacenamiento con k+m +1 Se recomiendan nodos de almacenamiento. Por ejemplo, el esquema de codificación de borrado 2+1 requiere un grupo de almacenamiento con un mínimo de tres nodos de almacenamiento, pero se recomiendan cuatro nodos de almacenamiento.
| Esquema de codificación de borrado (k+m) | Número mínimo de nodos de almacenamiento | Número recomendado de nodos de almacenamiento | Gastos generales de almacenamiento |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |