O que são esquemas de codificação de apagamento?
Sugerir alterações
PDFs
Os esquemas de codificação de eliminação controlam quantos fragmentos de dados e quantos fragmentos de paridade são criados para cada objeto.
Ao criar ou editar uma regra ILM, você seleciona um esquema de codificação de eliminação disponível. O StorageGRID cria automaticamente esquemas de codificação de eliminação com base em quantos nós de armazenamento e sites compõem o pool de armazenamento que você planeja usar.
Proteção de dados
O sistema StorageGRID usa o algoritmo de codificação de eliminação Reed-Solomon. O algoritmo divide um objeto em k fragmentos de dados e cálculos m fragmentos de paridade.
O k + m = n fragmentos estão espalhados por n Nós de armazenamento para fornecer proteção de dados da seguinte forma:
-
Para recuperar ou reparar um objeto,
kfragmentos são necessários. -
Um objeto pode sustentar até
mfragmentos perdidos ou corrompidos. Quanto maior o valor dem, maior será a tolerância a falhas.
A melhor proteção de dados é fornecida pelo esquema de codificação de eliminação com a maior tolerância a falhas de nó ou volume dentro de um pool de armazenamento.
Despesas gerais de armazenamento
A sobrecarga de armazenamento de um esquema de codificação de eliminação é calculada dividindo o número de fragmentos de paridade(m ) pelo número de fragmentos de dados(k ). Você pode usar a sobrecarga de armazenamento para calcular quanto espaço em disco cada objeto codificado por eliminação requer:
disk space = object size + (object size * storage overhead)
Por exemplo, se você armazenar um objeto de 10 MB usando o esquema 4+2 (que tem 50% de sobrecarga de armazenamento), o objeto consumirá 15 MB de armazenamento em grade. Se você armazenar o mesmo objeto de 10 MB usando o esquema 6+2 (que tem 33% de sobrecarga de armazenamento), o objeto consumirá aproximadamente 13,3 MB.
Selecione o esquema de codificação de apagamento com o menor valor total de k+m que atenda às suas necessidades. Esquemas de codificação de apagamento com um número menor de fragmentos são mais eficientes computacionalmente porque:
-
Menos fragmentos são criados e distribuídos (ou recuperados) por objeto
-
Eles apresentam melhor desempenho porque o tamanho do fragmento é maior
-
Eles podem exigir que menos nós sejam adicionados em um"expansão quando mais armazenamento é necessário"
Diretrizes para pools de armazenamento
Ao selecionar o pool de armazenamento a ser usado para uma regra que criará uma cópia codificada para eliminação, use as seguintes diretrizes para pools de armazenamento:
-
O pool de armazenamento deve incluir três ou mais sites, ou exatamente um site.
Não é possível usar a codificação de eliminação se o pool de armazenamento incluir dois sites. -
Não use um pool de armazenamento que inclua o site Todos os Sites.
-
O pool de armazenamento deve incluir pelo menos
k+m +1Nós de armazenamento que podem armazenar dados de objetos.
Os nós de armazenamento podem ser configurados durante a instalação para conter apenas metadados de objetos e não dados de objetos. Para obter mais informações, consulte "Tipos de nós de armazenamento" . O número mínimo de nós de armazenamento necessários é
k+m. No entanto, ter pelo menos um nó de armazenamento adicional pode ajudar a evitar falhas de ingestão ou pendências de ILM se um nó de armazenamento necessário estiver temporariamente indisponível.
Esquemas de codificação de apagamento para pools de armazenamento contendo três ou mais sites
A tabela a seguir descreve os esquemas de codificação de eliminação atualmente suportados pelo StorageGRID para pools de armazenamento que incluem três ou mais sites. Todos esses esquemas oferecem proteção contra perda de local. Um site pode ser perdido, e o objeto ainda estará acessível.
Para esquemas de codificação de eliminação que fornecem proteção contra perda de site, o número recomendado de nós de armazenamento no pool de armazenamento excede k+m +1 porque cada site requer um mínimo de três nós de armazenamento.
| Esquema de codificação de apagamento (k+m) | Número mínimo de sites implantados | Número recomendado de nós de armazenamento em cada site | Número total recomendado de nós de armazenamento | Proteção contra perda de site? | Despesas gerais de armazenamento |
|---|---|---|---|---|---|
4+2 |
3 |
3 |
9 |
Sim |
50% |
6+2 |
4 |
3 |
12 |
Sim |
33% |
8+2 |
5 |
3 |
15 |
Sim |
25% |
6+3 |
3 |
4 |
12 |
Sim |
50% |
9+3 |
4 |
4 |
16 |
Sim |
33% |
2+1 |
3 |
3 |
9 |
Sim |
50% |
4+1 |
5 |
3 |
15 |
Sim |
25% |
6+1 |
7 |
3 |
21 |
Sim |
17% |
7+5 |
3 |
5 |
15 |
Sim |
71% |
|
|
O StorageGRID requer no mínimo três nós de armazenamento por site. Para usar o esquema 7+5, cada site requer um mínimo de quatro nós de armazenamento. É recomendável usar cinco nós de armazenamento por site. |
Ao selecionar um esquema de codificação de eliminação que forneça proteção ao site, equilibre a importância relativa dos seguintes fatores:
-
Número de fragmentos: O desempenho e a flexibilidade de expansão geralmente são melhores quando o número total de fragmentos é menor.
-
Tolerância a falhas: A tolerância a falhas é aumentada ao ter mais segmentos de paridade (ou seja, quando
mtem um valor mais alto.) -
Tráfego de rede: Ao se recuperar de falhas, usar um esquema com mais fragmentos (ou seja, um total maior para
k+m) cria mais tráfego de rede. -
Sobrecarga de armazenamento: Esquemas com sobrecarga maior exigem mais espaço de armazenamento por objeto.
Por exemplo, ao decidir entre um esquema 4+2 e um esquema 6+3 (ambos com 50% de sobrecarga de armazenamento), selecione o esquema 6+3 se for necessária tolerância a falhas adicional. Selecione o esquema 4+2 se os recursos de rede forem limitados. Se todos os outros fatores forem iguais, selecione 4+2 porque ele tem um número total de fragmentos menor.
|
|
Se não tiver certeza de qual esquema usar, selecione 4+2 ou 6+3 ou entre em contato com o suporte técnico. |
Esquemas de codificação de eliminação para pools de armazenamento de um site
Um pool de armazenamento de um site suporta todos os esquemas de codificação de eliminação definidos para três ou mais sites, desde que o site tenha nós de armazenamento suficientes.
O número mínimo de nós de armazenamento necessários é k+m , mas um pool de armazenamento com k+m +1 Nós de armazenamento são recomendados. Por exemplo, o esquema de codificação de eliminação 2+1 requer um pool de armazenamento com no mínimo três nós de armazenamento, mas quatro nós de armazenamento são recomendados.
| Esquema de codificação de apagamento (k+m) | Número mínimo de nós de armazenamento | Número recomendado de nós de armazenamento | Despesas gerais de armazenamento |
|---|---|---|---|
4+2 |
6 |
7 |
50% |
6+2 |
8 |
9 |
33% |
8+2 |
10 |
11 |
25% |
6+3 |
9 |
10 |
50% |
9+3 |
12 |
13 |
33% |
2+1 |
3 |
4 |
50% |
4+1 |
5 |
6 |
25% |
6+1 |
7 |
8 |
17% |
7+5 |
12 |
13 |
71% |