Saiba mais sobre esquemas de codificação de apagamento em StorageGRID
Sugerir alterações
PDFs
Os esquemas de codificação de apagamento controlam quantos fragmentos de dados e quantos fragmentos de paridade são criados para cada objeto.
Ao criar ou editar uma regra ILM, você seleciona um esquema de codificação de apagamento disponível. StorageGRID cria automaticamente esquemas de codificação de apagamento com base na quantidade de Storage Nodes e sites que compõem o pool de storage que você planeja usar.
Proteção de dados
O sistema StorageGRID utiliza o algoritmo de codificação de apagamento Reed-Solomon. O algoritmo divide um objeto em k fragmentos de dados e calcula m fragmentos de paridade.
Os k + m = n`fragmentos são distribuídos entre `n Storage Nodes para fornecer proteção de dados da seguinte forma:
-
Para recuperar ou reparar um objeto, são necessários `k`fragmentos.
-
Um objeto pode suportar até
mfragmentos perdidos ou corrompidos. Quanto maior o valor dem, maior a tolerância a falhas.
A melhor proteção de dados é fornecida pelo esquema de codificação de apagamento com a maior tolerância a falhas de nós ou volumes dentro de um pool de storage.
Sobrecarga de storage
A sobrecarga de storage de um esquema de codificação de apagamento é calculada dividindo o número de fragmentos de paridade (m) pelo número de fragmentos de dados (k). Você pode usar a sobrecarga de storage para calcular quanto espaço de disco cada objeto codificado por apagamento requer:
disk space = object size + (object size * storage overhead)
Por exemplo, se você armazenar um objeto de 10 MB usando o esquema 4+2 (que tem 50% de sobrecarga de storage), o objeto consumirá 15 MB de storage em grade. Se você armazenar o mesmo objeto de 10 MB usando o esquema 6+2 (que tem 33% de sobrecarga de storage), o objeto consumirá aproximadamente 13,3 MB.
Selecione o esquema de codificação de apagamento com o menor valor total de k+m que atenda às suas necessidades. Esquemas de codificação de apagamento com um número menor de fragmentos são mais eficientes computacionalmente porque:
-
Menos fragmentos são criados e distribuídos (ou recuperados) por objeto
-
Eles apresentam melhor desempenho porque o tamanho do fragmento é maior
-
Eles podem exigir a adição de menos nós em um "expansão quando for necessário mais storage"
Diretrizes para pools de storage
Ao selecionar o pool de storage a ser usado para uma regra que criará uma cópia com codificação de apagamento, utilize as seguintes diretrizes para pools de storage:
-
O pool de storage deve incluir três ou mais sites, ou exatamente um site.
Não é possível usar codificação de apagamento se o pool de storage incluir dois sites. -
Não utilize um pool de storage que inclua o site All Sites.
-
O pool de storage deve incluir pelo menos
k+m +1Storage Nodes que possam armazenar dados de objetos.
Os nós de armazenamento podem ser configurados durante a instalação para conter dados de objetos e metadados ("nó de armazenamento combinado"), apenas metadados de objetos ou apenas dados de objetos. Para obter mais informações, consulte "Tipos de nós de armazenamento". O número mínimo de nós de armazenamento necessários é
k+m. No entanto, ter pelo menos um nó de armazenamento adicional pode ajudar a evitar falhas de ingestão ou acúmulo de ILM caso um nó de armazenamento necessário esteja temporariamente indisponível.
Esquemas de codificação de apagamento para pools de storage contendo três ou mais sites
A tabela a seguir descreve os esquemas de codificação de apagamento atualmente suportados pelo StorageGRID para pool de storage que incluem três ou mais sites. Todos esses esquemas oferecem proteção contra perda de site. Um site pode ser perdido e o objeto ainda estará acessível.
Para esquemas de codificação de apagamento que oferecem proteção contra perda de site, o número recomendado de nós de armazenamento no pool de storage excede k+m +1 porque cada site requer um mínimo de três nós de armazenamento.
| Esquema de codificação de apagamento (k+m) | Número mínimo de sites implantados | Número recomendado de Storage Nodes em cada site | Número total recomendado de Storage Nodes | Proteção contra perda de site? | Sobrecarga de storage |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Sim |
50% |
6+2 |
4 |
3 |
12 |
Sim |
33% |
8+2 |
5 |
3 |
15 |
Sim |
25% |
6+3 |
3 |
4 |
12 |
Sim |
50% |
9+3 |
4 |
4 |
16 |
Sim |
33% |
2+1 |
3 |
3 |
9 |
Sim |
50% |
4+1 |
5 |
3 |
15 |
Sim |
25% |
6+1 |
7 |
3 |
21 |
Sim |
17% |
7+5 |
3 |
5 |
15 |
Sim |
71% |
|
|
StorageGRID requer um mínimo de três nós de armazenamento por local. Para usar o esquema 7+5, cada local requer um mínimo de quatro nós de armazenamento. Recomenda-se o uso de cinco nós de armazenamento por local. |
Ao selecionar um esquema de codificação de apagamento que ofereça proteção ao site, equilibre a importância relativa dos seguintes fatores:
-
Número de fragmentos: O desempenho e a flexibilidade de expansão são geralmente melhores quando o número total de fragmentos é menor.
-
Tolerância de falhas: A tolerância de falhas aumenta com mais segmentos de paridade (ou seja, quando
mtem um valor mais alto). -
Tráfego de rede: Ao recuperar de falhas, usar um esquema com mais fragmentos (ou seja, um total maior para
k+m) cria mais tráfego de rede. -
Sobrecarga de storage: Esquemas com sobrecarga maior exigem mais espaço de storage por objeto.
Por exemplo, ao decidir entre um esquema 4+2 e um esquema 6+3 (ambos com 50% sobrecarga de storage), selecione o esquema 6+3 se for necessária tolerância de falhas adicional. Selecione o esquema 4+2 se recursos de rede estiverem limitados. Se todos os outros fatores forem iguais, selecione o 4+2 porque ele tem um número total menor de fragmentos.
|
|
Se você não tiver certeza de qual esquema usar, selecione 4+2 ou 6+3 ou entre em contato com o suporte técnico. |
Esquemas de codificação de apagamento para pools de storage de um único local
Um pool de storage de um único site suporta todos os esquemas de codificação de apagamento definidos para três ou mais sites, desde que o site tenha Storage Nodes suficientes.
O número mínimo de Storage Nodes necessários é k+m, mas recomenda-se um pool de storage com k+m +1 Storage Nodes. Por exemplo, o esquema de codificação de apagamento 2+1 requer um pool de storage com um mínimo de três Storage Nodes, mas recomenda-se quatro Storage Nodes.
| Esquema de codificação de apagamento (k+m) | Número mínimo de Storage Nodes | Número recomendado de Storage Nodes | Sobrecarga de storage |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |