Alcançar RPO zero com o StorageGRID: Um guia abrangente para replicação em vários locais
Sugerir alterações
PDFs
Este relatório técnico fornece um guia abrangente para implementar estratégias de replicação do StorageGRID para alcançar um objetivo de ponto de restauração (RPO) zero no caso de uma falha do local. O documento detalha várias opções de implantação para o StorageGRID, incluindo replicação síncrona de vários sites e replicação assíncrona de várias grades. Ele explica como as políticas de Gerenciamento do ciclo de vida das informações (ILM) da StorageGRID podem ser configuradas para garantir a durabilidade e a disponibilidade dos dados em vários locais. Além disso, o relatório abrange considerações de desempenho, cenários de falha e processos de recuperação para manter operações ininterruptas do cliente. O objetivo deste documento é fornecer as informações para garantir que os dados permaneçam acessíveis e consistentes, mesmo em caso de falha completa do local, utilizando técnicas de replicação síncrona e assíncrona.
Visão geral do StorageGRID
O NetApp StorageGRID é um sistema de storage baseado em objeto que dá suporte à API Amazon Simple Storage Service (Amazon S3) padrão do setor.
O StorageGRID fornece um namespace único em vários locais, com níveis de serviço variáveis orientados pelas políticas de gerenciamento do ciclo de vida das informações (ILM). Com essas políticas de ciclo de vida, você pode otimizar onde seus dados ficam ao longo de seu ciclo de vida.
O StorageGRID permite durabilidade e disponibilidade configuráveis de seus dados em soluções locais e distribuídas geograficamente. Não importa se seus dados estão no local ou em uma nuvem pública, os fluxos de trabalho de nuvem híbrida integrada permitem que sua empresa aproveite serviços de nuvem como Amazon Simple Notification Service (Amazon SNS), Google Cloud, Microsoft Azure Blob, Amazon S3 Glacier, Elasticsearch e muito mais.
StorageGRID Scale
O StorageGRID pode ser implantado com apenas 3 nós de storage e uma única grade pode crescer até 200 nós. Uma única grade pode ser implantada como um único local ou se estender para 16 locais. Uma grade mínima consiste em um nó de administrador e 3 nós de storage em um único local. O nó de administrador contém a interface de gerenciamento, um ponto central para métricas e logs e mantém a configuração dos componentes do StorageGRID. O nó de administrador também contém um balanceador de carga integrado para acesso à API S3. O StorageGRID pode ser implantado apenas como software, como dispositivos de máquinas virtuais VMware ou como dispositivos criados sob medida.
Um nó StorageGRID pode ser implantado como:
-
Um nó somente de metadados que maximiza a contagem de objetos
-
Um nó de armazenamento de objetos apenas maximizando o espaço do objeto
-
Um nó combinado de metadados e armazenamento de objetos que adiciona contagem de objetos e espaço de objetos
Cada nó de storage pode ser dimensionado para a capacidade de vários petabytes para armazenamento de objetos, o que possibilita um namespace único em centenas de petabytes. O StorageGRID também fornece um balanceador de carga integrado para S3 operações de API chamadas de nó de gateway.
O StorageGRID consiste em uma coleção de nós colocados em uma topologia do local. Um site no StorageGRID pode ser um local físico exclusivo ou residir em um local físico compartilhado como outros sites na grade como uma construção lógica. Um site do StorageGRID não deve abranger vários locais físicos. Um local representa uma infra-estrutura de rede local (LAN) partilhada.
Domínios de StorageGRID e falha
O StorageGRID contém várias camadas de domínios de falha a serem considerados para decidir como arquitetar sua solução, como armazenar seus dados e onde eles devem ser armazenados para reduzir os riscos de falhas.
-
Nível da grade - Uma grade composta por vários locais pode ter falhas ou isolamento do local e o(s) local(s) acessível(s) pode continuar operando como a grade.
-
Nível do local - falhas dentro de um local podem afetar as operações desse local, mas não afetarão o resto da grade.
-
Nível do nó - Uma falha do nó não afetará a operação do local.
-
Nível do disco - uma falha de disco não afetará a operação do nó.
Dados e metadados de objetos
Com o armazenamento de objetos, a unidade de armazenamento é um objeto, em vez de um arquivo ou um bloco. Ao contrário da hierarquia semelhante a uma árvore de um sistema de arquivos ou armazenamento em bloco, o armazenamento de objetos organiza os dados em um layout plano e não estruturado. O armazenamento de objetos separa a localização física dos dados do método usado para armazenar e recuperar esses dados.
Cada objeto em um sistema de storage baseado em objeto tem duas partes: Dados de objeto e metadados de objeto.
-
Os dados do objeto representam os dados subjacentes reais, por exemplo, uma fotografia, um filme ou um registo médico.
-
Metadados de objetos são qualquer informação que descreva um objeto.
O StorageGRID usa metadados de objetos para rastrear os locais de todos os objetos na grade e gerenciar o ciclo de vida de cada objeto ao longo do tempo.
Os metadados de objeto incluem informações como as seguintes:
-
Metadados do sistema, incluindo um ID exclusivo para cada objeto, o nome do objeto, o nome do bucket do S3, o nome ou ID da conta do locatário, o tamanho lógico do objeto, a data e a hora em que o objeto foi criado pela primeira vez e a data e a hora em que o objeto foi modificado pela última vez.
-
O local de storage atual de cada réplica de objeto ou fragmento codificado de apagamento.
-
Quaisquer pares de valor-chave de metadados de usuário personalizados associados ao objeto.
-
Para objetos S3D, qualquer par de chave-valor de marca de objeto associado ao objeto
-
Para objetos segmentados e objetos multipartes, identificadores de segmento e tamanhos de dados.
Os metadados de objetos são personalizáveis e expansíveis, tornando-os flexíveis para uso dos aplicativos. Para obter informações detalhadas sobre como e onde o StorageGRID armazena metadados de objetos, vá para "Gerenciar o storage de metadados de objetos".
O sistema de gerenciamento do ciclo de vida das informações (ILM) da StorageGRID é usado para orquestrar o posicionamento, a duração e o comportamento de ingestão de todos os dados de objetos em seu sistema StorageGRID. As regras do ILM determinam como o StorageGRID armazena objetos ao longo do tempo usando réplicas dos objetos ou codificando o objeto de apagamento em nós e sites. Este sistema ILM é responsável pela consistência de dados do objeto dentro de uma grade.
Codificação de apagamento
O StorageGRID permite apagar dados de código em vários níveis. Com os dispositivos StorageGRID, nós codificamos os dados armazenados em cada nó em todas as unidades com RAID, fornecendo proteção contra várias falhas de disco, causando perda ou interrupções de dados. Além disso, o StorageGRID pode usar esquemas de codificação de apagamento para armazenar dados de objetos nos nós de um site ou se espalhar por 3 ou mais sites no sistema StorageGRID por meio das regras do ILM da StorageGRID.
A codificação de apagamento fornece um layout de storage resiliente para falhas de nós com baixa sobrecarga, enquanto a replicação pode fazer o mesmo e ter mais sobrecarga. Todos os esquemas de codificação de apagamento do StorageGRID são implantáveis em um único local, desde que o número mínimo de nós necessários para armazenar os blocos de dados seja atendido. Isso significa que para um esquema EC de 4 a 2, é necessário que haja um mínimo de 6 nós disponíveis para receber os dados.
Consistência de metadados
No StorageGRID, os metadados geralmente são armazenados com três réplicas por local para garantir consistência e disponibilidade. Essa redundância ajuda a manter a integridade e a acessibilidade dos dados mesmo em caso de falha.
A consistência padrão é definida em um nível amplo de grade. Os usuários podem alterar a consistência no nível do balde a qualquer momento.
As opções de consistência de bucket disponíveis no StorageGRID são:
-
Todos: Fornece o mais alto nível de consistência. Todos os nós na grade recebem os dados imediatamente, ou a solicitação falhará.
-
Strong-global: Garante consistência de leitura após gravação para todas as solicitações de clientes em todos os sites.
-
Strong-global V2: Garante consistência de leitura-após-gravação para todas as solicitações de clientes em todos os sites. Oferece consistência para vários nós ou até mesmo uma falha do local se o quórum de réplica de metadados for possível. Por exemplo, um mínimo de 5 réplicas deve ser feito a partir de uma grade de 3 locais com um máximo de 3 réplicas dentro de um site.
-
* Strong-site*: Garante consistência de leitura-após-gravação para todas as solicitações de clientes dentro de um site.
-
Read-after-novo-write (padrão): Fornece consistência de leitura-após-gravação para novos objetos e consistência para atualizações de objetos. Oferece alta disponibilidade e garantias de proteção de dados. Recomendado para a maioria dos casos.
-
Disponível: Fornece consistência eventual para novos objetos e atualizações de objetos. Para buckets do S3, use somente conforme necessário (por exemplo, para um bucket que contém valores de log raramente lidos, ou para operações HEAD ou GET em chaves que não existem). Não compatível com buckets do FabricPool S3.
Consistência de dados do objeto
Embora os metadados sejam replicados automaticamente dentro e entre locais, cabe a você decidir sobre a disposição do storage de objetos. Os dados de objetos podem ser armazenados em réplicas dentro e entre sites, codificados para apagamento dentro ou entre sites, ou uma combinação ou réplicas e esquemas de armazenamento codificados para apagamento. As regras de ILM podem se aplicar a todos os objetos ou ser filtradas para se aplicar apenas a determinados objetos, buckets ou locatários. As regras do ILM definem como os objetos são armazenados, réplicas e/ou codificados para apagamento, quanto tempo os objetos são armazenados nesses locais, se o número de réplicas ou esquema de codificação de apagamento deve mudar ou os locais devem mudar com o tempo.
Cada regra de ILM será configurada com um dos três comportamentos de ingestão para proteger objetos: Commit duplo, balanceado ou rigoroso.
A opção de confirmação dupla fará duas cópias em quaisquer dois nós de storage diferentes na grade imediatamente e retornará a solicitação com êxito ao cliente. A seleção do nó tentará dentro do site da solicitação, mas pode usar nós de outro site em algumas circunstâncias. O objeto é adicionado à fila ILM para ser avaliado e colocado de acordo com as regras ILM.
A opção Balanced avalia o objeto em relação à política ILM imediatamente e coloca o objeto de forma síncrona antes de retornar a solicitação é bem-sucedida para o cliente. Se a regra de ILM não puder ser atendida imediatamente devido a uma interrupção ou storage inadequado para atender aos requisitos de posicionamento, a confirmação dupla será usada. Quando o problema for resolvido, o ILM colocará automaticamente o objeto com base na regra definida.
A opção strict avalia o objeto em relação à política ILM imediatamente e coloca o objeto de forma síncrona antes de retornar a solicitação é bem-sucedida para o cliente. Se a regra ILM não puder ser atendida imediatamente devido a uma interrupção ou armazenamento inadequado para atender aos requisitos de colocação, a solicitação falhará e o cliente precisará tentar novamente.
Balanceamento de carga
StorageGRID pode ser implantado com acesso de cliente através de nós de gateway integrado, um balanceador de carga externo de 3 a de terceiros, round robin DNS ou diretamente para um nó de storage. Vários nós de gateway podem ser implantados em um local e configurados em grupos de alta disponibilidade, fornecendo failover automatizado e failback no caso de uma interrupção do nó de gateway. Você pode combinar métodos de balanceamento de carga em uma solução para fornecer um único ponto de acesso para todos os sites em uma solução.
Os nós de gateway equilibrarão a carga entre os nós de storage no local onde o nó de gateway reside por padrão. O StorageGRID pode ser configurado para permitir que os nós de gateway equilibrem a carga usando nós de vários locais. Essa configuração adicionaria a latência entre esses sites à latência de resposta às solicitações do cliente. Isso só deve ser configurado se a latência total for aceitável para os clientes.
Como alcançar o RPO zero com o StorageGRID
Para alcançar o objetivo do ponto de restauração (RPO) zero em um sistema de storage de objetos, é crucial que, no momento da falha:
-
Os metadados e o conteúdo do objeto estão em sincronia e são considerados consistentes
-
O conteúdo do objeto permanece acessível apesar da falha.
Para uma implantação em vários locais, o strong Global V2 é o modelo de consistência preferido para garantir que os metadados sejam sincronizados em todos os locais, tornando-o essencial para atender ao requisito de RPO zero.
Os objetos no sistema de storage são armazenados com base nas regras do Information Lifecycle Management (ILM), que determinam como e onde os dados são armazenados durante todo o ciclo de vida. Para replicação síncrona, pode-se considerar entre execução estrita ou execução equilibrada.
-
A execução estrita dessas regras ILM é necessária para RPO zero, pois garante que os objetos sejam colocados nos locais definidos sem qualquer atraso ou retorno, mantendo a disponibilidade e a consistência dos dados.
-
O comportamento de ingestão de equilíbrio de ILM da StorageGRID fornece um equilíbrio entre alta disponibilidade e resiliência, permitindo que os usuários continuem ingerindo dados mesmo em caso de falha do site.
Opcionalmente, garantir um rto de zero pode ser alcançado com uma combinação de balanceamento de carga local e global. Garantir o acesso ininterrupto ao cliente requer o balanceamento de carga das solicitações do cliente. Uma solução StorageGRID pode conter muitos nós de gateway e grupos de alta disponibilidade em cada local. Para fornecer acesso ininterrupto aos clientes em qualquer site, mesmo em uma falha do site, você deve configurar uma solução de balanceamento de carga externa em combinação com os nós de gateway StorageGRID. Configure grupos de alta disponibilidade de nós de gateway que gerenciam a carga em cada local e use o balanceador de carga externo para equilibrar a carga entre os grupos de alta disponibilidade. O balanceador de carga externo deve ser configurado para realizar uma verificação de integridade para garantir que as solicitações sejam enviadas apenas para os locais operacionais. Para obter mais informações sobre balanceamento de carga com o StorageGRID, consulte "Relatório técnico do balanceador de carga StorageGRID".
Implantações síncronas em vários locais
Soluções multi-site: o StorageGRID permite replicar objetos em vários locais dentro da grade de forma síncrona. Ao configurar regras de Gerenciamento do ciclo de vida da Informação (ILM) com equilíbrio ou comportamento estrito, os objetos são colocados imediatamente nos locais especificados. A configuração do nível de consistência do bucket para o Global v2 forte também garantirá a replicação síncrona de metadados. O StorageGRID usa um único namespace global, armazenando locais de posicionamento de objetos como metadados. Assim, cada nó sabe onde estão localizadas todas as cópias ou peças codificadas de apagamento. Se um objeto não puder ser recuperado do site onde a solicitação foi feita, ele será recuperado automaticamente de um site remoto sem a necessidade de procedimentos de failover.
Uma vez que a falha é resolvida, não são necessários esforços de failback manual. O desempenho da replicação depende do local com a taxa de transferência de rede mais baixa, a latência mais alta e o desempenho mais baixo. O desempenho de um site é baseado no número de nós, contagem e velocidade de núcleos da CPU, memória, quantidade de unidades e tipos de unidades.
Soluções de várias grades: a StorageGRID pode replicar locatários, usuários e buckets entre vários sistemas StorageGRID usando replicação entre grades (CGR). O CGR pode estender dados selecionados para mais de 16 locais, aumentar a capacidade utilizável do seu armazenamento de objetos e fornecer recuperação de desastres. A replicação de buckets com CGR inclui objetos, versões de objetos e metadados e pode ser bidirecional ou unidirecional. O objetivo do ponto de restauração (RPO) depende do desempenho de cada sistema StorageGRID e das conexões de rede entre eles.
Resumo:
-
A replicação intra-grade inclui replicação síncrona e assíncrona, configurável usando o comportamento de ingestão de ILM e o controle de consistência de metadados.
-
A replicação inter-grid é assíncrona somente.
Uma implantação de Multi-site de Grade única
Nos cenários a seguir, as soluções StorageGRID são configuradas com um balanceador de carga externo opcional que gerencia solicitações aos grupos de alta disponibilidade do balanceador de carga integrado. Isso alcançará um rto zero, além de um RPO de zero. O ILM é configurado com proteção equilibrada de ingestão para colocação síncrona. Cada bucket é configurado com o forte modelo global de consistência v2 para grades de 3 ou mais locais e forte consistência Global para menos de 3 locais.
Em uma solução StorageGRID de dois sites há pelo menos duas réplicas ou 3 blocos EC de cada objeto e 6 réplicas de todos os metadados. Após a recuperação da falha, as atualizações da interrupção serão sincronizadas automaticamente com o local/nós recuperados. Com apenas 2 locais, é provável que não alcance RPO zero em cenários de falha além de uma perda total no local.
Em uma solução StorageGRID de três ou mais sites, há pelo menos 3 réplicas ou 3 blocos EC de cada objeto e 9 réplicas de todos os metadados. Após a recuperação da falha, as atualizações da interrupção serão sincronizadas automaticamente com o local/nós recuperados. Com três ou mais locais, é possível alcançar um RPO zero.
Cenários de falha em vários locais
| Falha | Resultado de 2 locais | resultado de 3 ou mais sites |
|---|---|---|
Falha da unidade de nó único |
Cada dispositivo usa vários grupos de discos e pode sustentar uma falha de pelo menos 1 unidade por grupo sem interrupção ou perda de dados. |
Cada dispositivo usa vários grupos de discos e pode sustentar uma falha de pelo menos 1 unidade por grupo sem interrupção ou perda de dados. |
Falha de nó único em um local |
Nenhuma interrupção das operações ou perda de dados. |
Nenhuma interrupção das operações ou perda de dados. |
Falha de vários nós em um local |
Interrupção das operações do cliente direcionadas para este site, mas sem perda de dados. As operações direcionadas para o outro site permanecem ininterruptas e sem perda de dados. |
As operações são direcionadas a todos os outros sites e permanecem ininterruptas e sem perda de dados. |
Falha de nó único em vários locais |
Sem interrupção ou perda de dados se:
Operações interrompidas e risco de perda de dados se:
|
Sem interrupção ou perda de dados se:
Operações interrompidas e risco de perda de dados se:
|
Falha única de local |
as operações do cliente serão interrompidas até que a falha seja resolvida, ou a consistência do bucket seja reduzida para um local forte ou menor para permitir que as operações tenham sucesso, mas sem perda de dados. |
Nenhuma interrupção das operações ou perda de dados. |
Um único local e falhas de nó único |
as operações do cliente serão interrompidas até que a falha seja resolvida ou a consistência do bucket seja reduzida para leitura após nova gravação ou menor para permitir que as operações tenham sucesso e possível perda de dados. |
Nenhuma interrupção das operações ou perda de dados. |
Um único local mais um nó de cada local restante |
as operações do cliente serão interrompidas até que a falha seja resolvida ou a consistência do bucket seja reduzida para leitura após nova gravação ou menor para permitir que as operações tenham sucesso e possível perda de dados. |
As operações serão interrompidas se o quórum de réplica de metadados não puder ser atendido e possível perda de dados. |
Falha em vários locais |
Nenhum local de operações permanece os dados serão perdidos se pelo menos 1 local não puder ser recuperado em sua totalidade. |
As operações serão interrompidas se o quórum de réplica de metadados não puder ser atendido. Sem perda de dados, desde que pelo menos 1 local permaneça. |
Isolamento de rede de um site |
as operações do cliente serão interrompidas até que a falha seja resolvida, ou a consistência do bucket seja reduzida para um local forte ou menor para permitir que as operações tenham sucesso, mas sem perda de dados |
As operações serão interrompidas para o local isolado, mas sem perda de dados Sem interrupção das operações nos locais restantes e sem perda de dados |
Uma implantação multi-grade em vários locais
Para adicionar uma camada extra de redundância, esse cenário utilizará dois clusters StorageGRID e usará replicação entre grade para mantê-los sincronizados. Para essa solução, cada cluster do StorageGRID terá três locais. Dois sites serão usados para armazenamento de objetos e metadados, enquanto o terceiro site será usado apenas para metadados. Ambos os sistemas serão configurados com uma regra ILM balanceada para armazenar sincronamente os objetos usando codificação de apagamento em cada um dos dois locais de dados. Os buckets serão configurados com o forte modelo global de consistência v2. Cada grade será configurada com replicação bidirecional de grade cruzada em cada bucket. Isso fornece a replicação assíncrona entre as regiões. Opcionalmente, um balanceador de carga global pode ser implementado para gerenciar solicitações para os grupos integrados de alta disponibilidade do balanceador de carga de ambos os sistemas StorageGRID, a fim de alcançar um RPO zero.
A solução usará quatro locais divididos igualmente em duas regiões. A região 1 conterá os 2 locais de armazenamento da grade 1 como a grade primária da região e o local de metadados da grade 2. A região 2 conterá os 2 locais de armazenamento da grade 2 como a grade primária da região e o local de metadados da grade 1. Em cada região, o mesmo local pode abrigar o local de armazenamento da grade primária da região, bem como o local de metadados único da grade de outras regiões. O uso de nós somente de metadados como terceiro local fornecerá a consistência necessária para os metadados e não duplicará o storage de objetos nesse local.
Essa solução com quatro locais separados oferece redundância completa de dois sistemas StorageGRID separados que mantêm um RPO de 0 e usará a replicação síncrona de vários locais e a replicação assíncrona de várias grades. Qualquer local pode falhar, mantendo operações de cliente ininterruptas em ambos os sistemas StorageGRID.
Nessa solução, há quatro cópias codificadas de apagamento de cada objeto e 18 réplicas de todos os metadados. Isso permite vários cenários de falha sem impactos nas operações do cliente. Após a falha, as atualizações de recuperação da falha serão sincronizadas automaticamente com o local/nós com falha.
Cenários de falha multisite e de várias grades
| Falha | Resultado |
|---|---|
Falha da unidade de nó único |
Cada dispositivo usa vários grupos de discos e pode sustentar uma falha de pelo menos 1 unidade por grupo sem interrupção ou perda de dados. |
Falha de nó único em um local em uma grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de nó único em um local em cada grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de vários nós em um local em uma grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de vários nós em um local em cada grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de nó único em vários locais em uma grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de nó único em vários locais em cada grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de um único local em uma grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de um único local em cada grade |
Nenhuma interrupção das operações ou perda de dados. |
Um único local e falhas de nó único em uma grade |
Nenhuma interrupção das operações ou perda de dados. |
Um único local mais um nó de cada local restante em uma única grade |
Nenhuma interrupção das operações ou perda de dados. |
Falha de local único |
Nenhuma interrupção das operações ou perda de dados. |
Falha de localização única em cada grade DC1 e DC3 |
As operações serão interrompidas até que a falha seja resolvida ou a consistência do balde seja abaixada; cada grade perdeu 2 locais Todos os dados ainda existem em 2 locais |
Falha de localização única em cada grade DC1 e DC4 ou DC2 e DC3 |
Nenhuma interrupção das operações ou perda de dados. |
Falha de localização única em cada grade DC2 e DC4 |
Nenhuma interrupção das operações ou perda de dados. |
Isolamento de rede de um site |
As operações serão interrompidas para o local isolado, mas nenhum dado será perdido Sem interrupção das operações nos locais restantes ou perda de dados. |
Conclusão
Alcançar o objetivo de ponto de restauração (RPO) zero com o StorageGRID é uma meta essencial de garantir a durabilidade e a disponibilidade dos dados em caso de falhas no local. Ao aproveitar as estratégias robustas de replicação do StorageGRID, incluindo replicação síncrona em vários locais e replicação assíncrona em várias grades, as organizações podem manter operações ininterruptas dos clientes e garantir a consistência dos dados em vários locais. A implementação de políticas de Gerenciamento do ciclo de vida das informações (ILM) e o uso de nós somente metadados aumentam ainda mais a resiliência e o desempenho do sistema. Com o StorageGRID, as empresas podem gerenciar seus dados com confiança, sabendo que eles permanecem acessíveis e consistentes mesmo diante de cenários complexos de falhas. Essa abordagem abrangente para gerenciamento e replicação de dados ressalta a importância do Planejamento e execução meticulosos para alcançar RPO zero e proteger informações valiosas.