Saiba mais sobre o rebalanceamento de EC após a expansão no StorageGRID
Sugerir alterações
PDFs
Se você estiver realizando uma expansão para adicionar Storage Nodes e usar regras ILM para codificar para apagamento dados, talvez seja necessário executar o procedimento de rebalanceamento de codificação de apagamento (EC) caso não consiga adicionar Storage Nodes suficientes para o esquema de codificação de apagamento que você está utilizando.
Após analisar essas considerações, realize a expansão e, em seguida, vá para "Reequilibrar os dados codificados por apagamento após adicionar Storage Nodes" para executar o procedimento.
O que é o reequilíbrio de EC?
O rebalanceamento de EC é um procedimento do StorageGRID que pode ser necessário após a expansão de um nó de armazenamento. O procedimento é executado como um script de linha de comando a partir do nó de administração primário. Ao executar o procedimento de rebalanceamento de EC, o StorageGRID redistribui os fragmentos codificados por apagamento entre os nós de armazenamento existentes e os recém-adicionados em um site.
O procedimento de reequilíbrio do EC:
-
Move apenas dados de objetos com código de apagamento. Não move dados de objetos replicados.
-
Redistribui os dados dentro de um site. Não move dados entre sites.
-
Redistribui os dados entre todos os Storage Nodes em um site. Não redistribui os dados dentro dos volumes de armazenamento.
-
Tenta distribuir o mesmo número de bytes para cada nó. Nós que contêm mais dados replicados armazenarão menos dados codificados por apagamento após a conclusão do rebalanceamento.
-
Redistribui os dados codificados por apagamento uniformemente entre os nós de armazenamento, sem considerar as capacidades relativas de cada nó. Os dados replicados são incluídos no cálculo.
-
Não distribuirá dados codificados para apagamento para Storage Nodes que estejam com mais de 80% de capacidade preenchida.
-
Pode diminuir o desempenho das operações do ILM e das operações do cliente S3 quando for executado; recursos adicionais são necessários para redistribuir os fragmentos de codificação de apagamento.
Quando o procedimento de reequilíbrio da EC estiver concluído:
-
Os dados codificados por apagamento terão sido movidos de nós de armazenamento com menos espaço disponível para nós de armazenamento com mais espaço disponível.
-
A proteção de dados de objetos codificados para apagamento permanecerá inalterada.
-
Os valores de utilizado (%) podem ser diferentes entre os nós de armazenamento por dois motivos:
-
As cópias replicadas dos objetos continuarão a consumir espaço nos nós existentes—o procedimento de rebalanceamento do EC não move os dados replicados.
-
Nós com maior capacidade ficarão relativamente menos cheios do que nós com menor capacidade, embora todos os nós acabem com aproximadamente a mesma quantidade de dados.
Por exemplo, suponha que três nós de 200 TB estejam preenchidos com 80% da sua capacidade (200 × 0,8 = 160 TB em cada nó, ou 480 TB para o site). Se você adicionar um nó de 400 TB e executar o procedimento de rebalanceamento, todos os nós terão agora aproximadamente a mesma quantidade de dados de codificação de apagamento (480/4 = 120 TB). No entanto, o Used (%) para o nó maior será menor do que o Used (%) para os nós menores.
-
Quando reequilibrar dados codificados por apagamento
O procedimento de rebalanceamento EC redistribui os dados codificados por apagamento existentes para garantir que os nós não fiquem ou permaneçam cheios. O procedimento ajuda a garantir que a codificação EC possa continuar no site.
Execute o procedimento de rebalanceamento quando houver um viés preocupante na distribuição de dados em um site e esse site armazenar principalmente dados de EC (já que dados replicados não podem ser movidos pelo rebalanceamento).
Considere o seguinte cenário:
-
StorageGRID está em execução em um único site, que contém três Storage Nodes.
-
A política ILM utiliza uma regra de codificação de apagamento 2+1 para todos os objetos maiores que 1,0 MB e uma regra de replicação de 2 cópias para objetos menores.
-
Todos os nós de armazenamento ficaram completamente cheios. O alerta Pouca capacidade de armazenamento de objetos foi acionado no nível de gravidade alto.
Não é necessário rebalancear se você adicionar nós suficientes
Para entender quando o rebalanceamento EC não é necessário, imagine que você adicionou três (ou mais) novos nós de armazenamento. Nesse caso, você não precisa realizar o rebalanceamento EC. Os nós de armazenamento originais permanecerão cheios, mas os novos objetos agora usarão os três novos nós para codificação de apagamento 2+1 — os dois fragmentos de dados e o fragmento de paridade podem ser armazenados em nós diferentes.
|
Embora seja possível executar o procedimento de rebalanceamento EC neste caso, a movimentação dos dados codificados para apagamento existentes reduzirá temporariamente o desempenho do grid, o que pode impactar as operações do cliente. |
É necessário rebalancear se você não puder adicionar nós suficientes
Para entender quando o rebalanceamento do EC é necessário, suponha que você só possa adicionar dois Nós de Armazenamento, em vez de três. Como o esquema 2+1 exige que pelo menos três Nós de Armazenamento tenham espaço disponível, os nós vazios não podem ser usados para novos dados codificados por apagamento.
Para utilizar os novos Nós de Armazenamento, você deve executar o procedimento de rebalanceamento EC. Quando esse procedimento é executado, o StorageGRID redistribui os dados codificados por apagamento e os fragmentos de paridade existentes entre todos os Nós de Armazenamento no site. Neste exemplo, quando o procedimento de rebalanceamento EC for concluído, todos os cinco nós estarão com apenas 60% de sua capacidade ocupada e os objetos poderão continuar sendo inseridos no esquema de codificação de apagamento 2+1 em todos os Nós de Armazenamento.
Recomendações para o reequilíbrio do EC
NetApp requer rebalanceamento da EC se todas as seguintes afirmações forem verdadeiras:
-
Você utiliza codificação de apagamento para seus dados de objeto.
-
O alerta Pouca capacidade de armazenamento de objetos foi acionado para um ou mais nós de armazenamento em um site, indicando que os nós estão com 80% ou mais de sua capacidade ocupada.
-
Você não consegue adicionar nós de armazenamento suficientes para o esquema de codificação de apagamento em uso. Consulte "Adicionar capacidade de storage para objetos com codificação de apagamento".
-
Seus clientes S3 podem tolerar um desempenho inferior em suas operações de gravação e leitura enquanto o procedimento de rebalanceamento do EC estiver em execução.
Opcionalmente, você pode executar o procedimento de rebalanceamento do EC se preferir que os nós de armazenamento sejam preenchidos em níveis semelhantes e se seus clientes S3 puderem tolerar desempenho inferior em suas operações de gravação e leitura enquanto o procedimento de rebalanceamento do EC estiver em execução.
Como o procedimento de rebalanceamento do EC interage com outras tarefas de manutenção
Não é possível executar determinados procedimentos de manutenção ao mesmo tempo em que você executa o procedimento de reequilíbrio do EC.
| Procedimento | Permitido durante o procedimento de reequilíbrio de EC? |
|---|---|
Procedimentos adicionais de reequilíbrio de EC |
Não Você só pode executar um procedimento de rebalanceamento de EC por vez. |
Procedimento de desativação Trabalho de reparo de dados de EC |
Não
|
Procedimento de expansão |
Não Se você precisar adicionar novos nós de armazenamento em uma expansão, execute o procedimento de rebalanceamento do EC após adicionar todos os novos nós. |
Procedimento de atualização |
Não Caso precise atualizar o software StorageGRID, execute o procedimento de atualização antes ou depois de executar o procedimento de rebalanceamento do EC. Se necessário, você pode interromper o procedimento de rebalanceamento do EC para realizar uma atualização de software. |
Procedimento de clonagem de nó do appliance |
Não Se você precisar clonar um nó de armazenamento de appliance Storage Node, execute o procedimento de rebalanceamento do EC após adicionar o novo nó. |
Procedimento de hotfix |
Sim. Você pode aplicar um hotfix do StorageGRID enquanto o procedimento de rebalanceamento do EC estiver em execução. |
Outros procedimentos de manutenção |
Não Você deve encerrar o procedimento de rebalanceamento do EC antes de executar outros procedimentos de manutenção. |
Como o procedimento de reequilíbrio da EC interage com o ILM
Enquanto o procedimento de rebalanceamento do EC estiver em execução, evite fazer alterações no ILM que possam alterar a localização de objetos com codificação de apagamento existentes. Por exemplo, não comece a usar uma regra do ILM que tenha um perfil de codificação de apagamento diferente. Se precisar fazer essas alterações no ILM, você deve encerrar o procedimento de rebalanceamento do EC.