Disposição em camadas de dados de clusters ONTAP on-premises para o Amazon S3
Sugerir alterações
PDFs
Liberar espaço nos clusters do ONTAP no local ao dispor dados inativos em camadas no Amazon S3.
Início rápido
Comece rapidamente seguindo estes passos. Os detalhes de cada etapa são fornecidos nas seções a seguir deste tópico.
Identifique o método de configuração que você usaráEscolha se você conetará seu cluster do ONTAP local diretamente ao AWS S3 pela Internet pública ou se usará uma VPN ou o AWS Direct Connect e roteará o tráfego por meio de uma interface de endpoint VPC privada para o AWS S3.
Prepare o conetor BlueXPSe você já tiver um conetor implantado na AWS VPC ou no local, tudo estará pronto. Caso contrário, você precisará criar um conector para categorizar dados do ONTAP no storage AWS S3. Você também precisará personalizar as configurações de rede para o conetor para que ele possa se conetar ao AWS S3.
Preparar seu cluster ONTAP no localDescubra seu cluster ONTAP no BlueXP , verifique se o cluster atende aos requisitos mínimos e personalize as configurações de rede para que o cluster possa se conetar ao AWS S3.
Prepare o Amazon S3 como seu destino de disposição em camadasConfigure permissões para que o conetor crie e gerencie o bucket do S3. Você também precisará configurar permissões para o cluster do ONTAP no local para que ele possa ler e gravar dados no bucket do S3.
Habilitar a disposição em camadas do BlueXP no sistemaSelecione um ambiente de trabalho local, clique em Ativar para o serviço de categorização e siga as instruções para categorizar dados no Amazon S3.
Configure o licenciamentoApós o término da avaliação gratuita, pague pela disposição em camadas do BlueXP por meio de uma assinatura com pagamento conforme o uso, uma licença BYOL em categorias da ONTAP BlueXP ou uma combinação de ambos:
-
Para se inscrever no AWS Marketplace, "Vá para a oferta do mercado BlueXP " clique em Subscribe e siga as instruções.
-
Para pagar usando uma licença BYOL de disposição em camadas do BlueXP , envie um e-mail:ng-cloud-Tiering para NetApp.com?subject:Contact US if you need to purchase one] e, em seguida"Adicione-o à sua conta a partir da carteira digital BlueXP ", .
Diagramas de rede para opções de conexão
Há dois métodos de conexão que você pode usar ao configurar a disposição em camadas de sistemas ONTAP locais para o AWS S3.
-
Conexão pública - Conete diretamente o sistema ONTAP ao AWS S3 usando um endpoint S3 público.
-
Conexão privada: Use uma VPN ou o AWS Direct Connect e encaminhe o tráfego por meio de uma interface VPC Endpoint que usa um endereço IP privado.
O diagrama a seguir mostra o método public Connection e as conexões que você precisa preparar entre os componentes. Você pode usar um conetor instalado no local ou um conetor implantado na VPC da AWS.
O diagrama a seguir mostra o método private Connection e as conexões que você precisa preparar entre os componentes. Você pode usar um conetor instalado no local ou um conetor implantado na VPC da AWS.
|
A comunicação entre um conetor e S3 destina-se apenas à configuração de armazenamento de objetos. |
Prepare o conetor
O conetor BlueXP é o software principal para a funcionalidade BlueXP . Um conetor é necessário para categorizar seus dados inativos do ONTAP.
Criação ou comutação de conetores
Se você já tiver um conetor implantado na AWS VPC ou no local, tudo estará pronto. Caso contrário, você precisará criar um conector em qualquer um desses locais para categorizar dados do ONTAP no storage AWS S3. Não é possível usar um conetor que seja implantado em outro provedor de nuvem.
Requisitos de rede de conetores
-
Certifique-se de que a rede onde o conetor está instalado permite as seguintes ligações:
-
Uma conexão HTTPS pela porta 443 ao serviço de disposição em camadas do BlueXP e ao storage de objetos do S3 ("consulte a lista de endpoints")
-
Uma conexão HTTPS pela porta 443 ao LIF de gerenciamento de cluster do ONTAP
-
-
"Certifique-se de que o conetor tem permissões para gerenciar o bucket do S3"
-
Se você tiver uma conexão de conexão direta ou VPN do cluster do ONTAP para a VPC e quiser que a comunicação entre o conetor e o S3 permaneça na rede interna da AWS (uma conexão privada), será necessário habilitar uma interface de endpoint VPC para o S3. Veja como configurar uma interface de endpoint de VPC.
Prepare o cluster do ONTAP
Os clusters do ONTAP precisam atender aos requisitos a seguir ao categorizar dados no Amazon S3.
Requisitos da ONTAP
- Plataformas ONTAP compatíveis
-
-
Ao usar o ONTAP 9.8 e posterior: É possível categorizar dados de sistemas AFF ou sistemas FAS com agregados all-SSD ou agregados all-HDD.
-
Ao usar o ONTAP 9.7 e versões anteriores: É possível categorizar dados de sistemas AFF ou sistemas FAS com agregados all-SSD.
-
- Versões de ONTAP compatíveis
-
-
ONTAP 9 .2 ou posterior
-
O ONTAP 9.7 ou posterior é necessário se você planeja usar uma conexão do AWS PrivateLink para o armazenamento de objetos
-
- Volumes e agregados compatíveis
-
O número total de volumes em que a disposição em camadas do BlueXP pode ser menor que o número de volumes no sistema ONTAP. Isso porque os volumes não podem ser dispostos em camadas de alguns agregados. Consulte a documentação do ONTAP para "Funcionalidade ou recursos não suportados pelo FabricPool".
|
|
A disposição em camadas do BlueXP é compatível com volumes FlexGroup a partir do ONTAP 9.5. A configuração funciona da mesma forma que qualquer outro volume. |
Requisitos de rede de cluster
-
O cluster requer uma conexão HTTPS de entrada do conetor para o LIF de gerenciamento de cluster.
Não é necessária uma conexão entre o cluster e o serviço de disposição em camadas do BlueXP .
-
É necessário um LIF entre clusters em cada nó do ONTAP que hospeda os volumes que você deseja categorizar. Essas LIFs entre clusters devem ser capazes de acessar o armazenamento de objetos.
O cluster inicia uma conexão HTTPS de saída pela porta 443 das LIFs entre clusters para o storage Amazon S3 para operações de disposição em camadas. O ONTAP lê e grava dados no storage de objetos e a partir dele. O storage de objetos nunca é iniciado, ele apenas responde.
-
As LIFs entre clusters devem estar associadas ao espaço_IPspace que o ONTAP deve usar para se conetar ao armazenamento de objetos. "Saiba mais sobre IPspaces".
Ao configurar a disposição em camadas do BlueXP , você será solicitado a usar o espaço de IPspace. Você deve escolher o espaço IPspace ao qual essas LIFs estão associadas. Esse pode ser o espaço IPspace "padrão" ou um espaço IPspace personalizado que você criou.
Se você usa um IPspace diferente de "padrão", talvez seja necessário criar uma rota estática para obter acesso ao armazenamento de objetos.
Todas as LIFs entre clusters dentro do IPspace devem ter acesso ao armazenamento de objetos. Se você não puder configurar isso para o IPspace atual, precisará criar um IPspace dedicado onde todas as LIFs entre clusters tenham acesso ao armazenamento de objetos.
-
Se você estiver usando um endpoint de interface VPC privada na AWS para a conexão S3, então, para que o HTTPS/443 seja usado, você precisará carregar o certificado de endpoint S3 no cluster do ONTAP. Veja como configurar uma interface de endpoint de VPC e carregar o certificado S3.
-
Verifique se o cluster do ONTAP tem permissões para acessar o bucket do S3.
Descubra o seu cluster ONTAP no BlueXP
Você precisa descobrir seu cluster do ONTAP no local em BlueXP antes de começar a categorizar dados pouco acessados em categorias no storage de objetos. Você precisará saber o endereço IP de gerenciamento de cluster e a senha da conta de usuário admin para adicionar o cluster.
Prepare seu ambiente AWS
Quando você configura a disposição de dados em categorias para um novo cluster, será perguntado se deseja que o serviço crie um bucket do S3 ou se deseja selecionar um bucket do S3 existente na conta da AWS onde o conetor está configurado. A conta da AWS deve ter permissões e uma chave de acesso que você possa inserir na disposição em camadas do BlueXP . O cluster do ONTAP usa a chave de acesso para agrupar dados em camadas dentro e fora do S3.
Por padrão, o serviço de disposição em camadas cria o bucket para você. Se você quiser usar seu próprio bucket, crie um antes de iniciar o assistente de ativação em categorias e selecione esse bucket no assistente. "Veja como criar buckets do S3 a partir do BlueXP ". O intervalo deve ser usado exclusivamente para armazenar dados inativos de seus volumes - ele não pode ser usado para qualquer outro propósito. O balde S3 deve estar em a "Região compatível com a disposição em camadas do BlueXP ".
|
|
Se você estiver planejando configurar a disposição em camadas do BlueXP para usar uma classe de storage de custo menor para a qual os dados em camadas serão transferidos após um determinado número de dias, não será necessário selecionar nenhuma regra de ciclo de vida ao configurar o bucket na sua conta da AWS. A disposição em camadas do BlueXP gerencia as transições de ciclo de vida. |
Configure S3 permissões
Você precisará configurar dois conjuntos de permissões:
-
Permissões para o conetor para que ele possa criar e gerenciar o bucket do S3.
-
Permissões para o cluster do ONTAP no local para que ele possa ler e gravar dados no bucket do S3.
-
Permissões do conetor:
-
Confirme que "Estas permissões S3" fazem parte da função do IAM que fornece permissões ao conetor. Eles devem ter sido incluídos por padrão quando você implantou o conetor pela primeira vez. Caso contrário, você precisará adicionar permissões ausentes. Consulte "Documentação da AWS: Editando políticas do IAM" para obter instruções.
-
O bucket padrão que o BlueXP Tiering cria tem um prefixo de "pool de malha". Se você quiser usar um prefixo diferente para seu bucket, será necessário personalizar as permissões com o nome que deseja usar. Nas permissões do S3, você verá uma linha
"Resource": ["arn:aws:s3:::fabric-pool*"]. Você precisará alterar o "pool de tecido" para o prefixo que deseja usar. Por exemplo, se você quiser usar "disposição em camadas-1" como prefixo para seus buckets, você alterará essa linha para"Resource": ["arn:aws:s3:::tiering-1*"].Se você quiser usar um prefixo diferente para buckets que serão usados para clusters adicionais nessa mesma organização do BlueXP , poderá adicionar outra linha com o prefixo para outros buckets. Por exemplo:
"Resource": ["arn:aws:s3:::tiering-1*"]
"Resource": ["arn:aws:s3:::tiering-2*"]
Se você estiver criando seu próprio bucket e não usar um prefixo padrão, você deve alterar essa linha para
"Resource": ["arn:aws:s3:::*"]que qualquer bucket seja reconhecido. No entanto, isso pode expor todos os seus buckets em vez daqueles que você projetou para armazenar dados inativos dos seus volumes. -
-
Permissões de cluster:
-
Ao ativar o serviço, o assistente de categorização solicitará que você insira uma chave de acesso e uma chave secreta. Essas credenciais são passadas para o cluster do ONTAP para que o ONTAP possa categorizar dados no bucket do S3. Para isso, você precisará criar um usuário do IAM com as seguintes permissões:
"s3:ListAllMyBuckets", "s3:ListBucket", "s3:GetBucketLocation", "s3:GetObject", "s3:PutObject", "s3:DeleteObject"Consulte "Documentação da AWS: Criando uma função para delegar permissões a um usuário do IAM" para obter detalhes.
-
-
Crie ou localize a chave de acesso.
A disposição em camadas do BlueXP passa a chave de acesso ao cluster do ONTAP. As credenciais não são armazenadas no serviço de disposição em camadas do BlueXP .
Configure seu sistema para uma conexão privada usando uma interface de endpoint VPC
Se você planeja usar uma conexão pública padrão à Internet, todas as permissões serão definidas pelo conetor e não haverá mais nada que você precise fazer. Esse tipo de conexão é mostrado no primeiro diagrama acima.
Se você quiser ter uma conexão mais segura pela Internet do data center local para a VPC, há uma opção para selecionar uma conexão do AWS PrivateLink no assistente de ativação de categorização. É necessário se você planeja usar uma VPN ou o AWS Direct Connect para conetar seu sistema local por meio de uma interface VPC Endpoint que use um endereço IP privado. Este tipo de ligação é apresentado no segundo diagrama acima.
-
Crie uma configuração de endpoint de interface usando o console Amazon VPC ou a linha de comando. "Veja detalhes sobre como usar o AWS PrivateLink para Amazon S3".
-
Modifique a configuração do grupo de segurança associada ao conetor BlueXP . Você deve alterar a política para "Personalizado" (de "Acesso total"), e você deveAdicione as permissões de conetor S3 necessárias, como mostrado anteriormente.
Se você estiver usando a porta 80 (HTTP) para comunicação com o endpoint privado, você está tudo definido. Você pode habilitar a disposição em camadas do BlueXP no cluster agora.
Se você estiver usando a porta 443 (HTTPS) para comunicação com o endpoint privado, copie o certificado do endpoint VPC S3 e adicione-o ao cluster do ONTAP, conforme mostrado nas próximas 4 etapas.
-
Obtenha o nome DNS do endpoint no Console AWS.
-
Obtenha o certificado do endpoint VPC S3. Você faz isso "Fazer login na VM que hospeda o BlueXP Connector" executando o seguinte comando. Ao inserir o nome DNS do endpoint, adicione "bucket" ao início, substituindo o "*":
[ec2-user@ip-10-160-4-68 ~]$ openssl s_client -connect bucket.vpce-0ff5c15df7e00fbab-yxs7lt8v.s3.us-west-2.vpce.amazonaws.com:443 -showcerts -
A partir da saída deste comando, copie os dados para o certificado S3 (todos os dados entre, e incluindo, as tags DE CERTIFICADO DE início / FIM):
Certificate chain 0 s:/CN=s3.us-west-2.amazonaws.com` i:/C=US/O=Amazon/OU=Server CA 1B/CN=Amazon -----BEGIN CERTIFICATE----- MIIM6zCCC9OgAwIBAgIQA7MGJ4FaDBR8uL0KR3oltTANBgkqhkiG9w0BAQsFADBG … … GqvbOz/oO2NWLLFCqI+xmkLcMiPrZy+/6Af+HH2mLCM4EsI2b+IpBmPkriWnnxo= -----END CERTIFICATE----- -
Faça login na CLI do cluster do ONTAP e aplique o certificado copiado usando o seguinte comando (substitua o nome da VM de storage):
cluster1::> security certificate install -vserver <svm_name> -type server-ca Please enter Certificate: Press <Enter> when done
Categorize os dados inativos do primeiro cluster para o Amazon S3
Depois de preparar seu ambiente AWS, comece a categorizar os dados inativos do primeiro cluster.
-
Uma chave de acesso da AWS para um usuário do IAM que tenha as permissões S3 necessárias.
-
Selecione o ambiente de trabalho do ONTAP no local.
-
Clique em Enable para o serviço de categorização no painel direito.
Se o destino de disposição em camadas do Amazon S3 existir como um ambiente de trabalho no Canvas, você poderá arrastar o cluster para o ambiente de trabalho para iniciar o assistente de configuração.
-
Definir Nome do armazenamento de objetos: Insira um nome para este armazenamento de objetos. Deve ser exclusivo de qualquer outro storage de objetos que você esteja usando com agregados nesse cluster.
-
Selecione o provedor: Selecione Amazon Web Services e clique em continuar.
-
Preencha as seções na página Configuração de categorias:
-
S3 Bucket: Adicione um novo bucket S3 ou selecione um bucket S3 existente, selecione a região do bucket e clique em Continue.
Ao usar um conetor no local, você deve inserir o ID da conta da AWS que fornece acesso ao bucket do S3 existente ou ao novo bucket do S3 que será criado.
O prefixo Fabric-pool é usado por padrão porque a política do IAM para o conetor permite que a instância execute ações S3 em buckets nomeados com esse prefixo exato. Por exemplo, você pode nomear o bucket S3 Fabric-pool-AFF1, onde AFF1 é o nome do cluster. Você também pode definir o prefixo para os buckets usados na disposição em camadas. CertifiqueConfigurando permissões S3-se de que você tem permissões da AWS que reconhecem qualquer prefixo personalizado que você planeja usar.
-
* Classe de storage*: A disposição em camadas do BlueXP gerencia as transições de ciclo de vida dos dados em camadas. Os dados começam na classe Standard, mas você pode criar uma regra para aplicar uma classe de armazenamento diferente aos dados após um determinado número de dias.
Selecione a classe de armazenamento S3 para a qual você deseja transferir os dados em camadas e o número de dias antes que os dados sejam atribuídos a essa classe e clique em continuar. Por exemplo, a captura de tela abaixo mostra que os dados em camadas são atribuídos à classe Standard-IA da classe Standard após 45 dias no armazenamento de objetos.
Se você escolher manter dados nesta classe de armazenamento, os dados permanecerão na classe de armazenamento Standard e nenhuma regra será aplicada. "Consulte classes de armazenamento suportadas".
Observe que a regra de ciclo de vida é aplicada a todos os objetos no intervalo selecionado.
-
Credenciais: Insira a ID da chave de acesso e a chave secreta para um usuário do IAM que tenha as permissões S3 necessárias e clique em continuar.
O usuário do IAM deve estar na mesma conta da AWS que o intervalo selecionado ou criado na página S3 Bucket.
-
Rede: Insira os detalhes da rede e clique em continuar.
Selecione o espaço de IPspace no cluster do ONTAP onde residem os volumes que você deseja categorizar. As LIFs entre clusters para esse IPspace devem ter acesso de saída à Internet para que possam se conetar ao armazenamento de objetos do seu provedor de nuvem.
Opcionalmente, escolha se você usará um AWS PrivateLink que você configurou anteriormente. Consulte as informações de configuração acima. Uma caixa de diálogo é exibida para ajudar a guiá-lo através da configuração do endpoint.
Você também pode definir a largura de banda de rede disponível para carregar dados inativos para armazenamento de objetos definindo a "taxa de transferência máxima". Selecione o botão de opção Limited e insira a largura de banda máxima que pode ser usada ou selecione Unlimited para indicar que não há limite.
-
-
Na página volumes de nível, selecione os volumes para os quais você deseja configurar a disposição em categorias e inicie a página Diretiva de disposição em categorias:
-
Para selecionar todos os volumes, marque a caixa na linha de título (
) e clique em Configurar volumes. -
Para selecionar vários volumes, marque a caixa para cada volume (
) e clique em Configurar volumes. -
Para selecionar um único volume, clique na linha (ou
ícone) do volume.
-
-
Na caixa de diálogo Política de disposição em camadas, selecione uma política de disposição em camadas, ajuste opcionalmente os dias de resfriamento para os volumes selecionados e clique em aplicar.
Você configurou com sucesso a disposição de dados em camadas de volumes no cluster para o storage de objetos S3.
Você pode revisar informações sobre os dados ativos e inativos no cluster. "Saiba mais sobre como gerenciar suas configurações de disposição em camadas".
Também é possível criar storage de objetos adicional nos casos em que você pode querer categorizar dados de certos agregados em um cluster para armazenamentos de objetos diferentes. Ou se você planeja usar o espelhamento do FabricPool onde seus dados em camadas são replicados para um armazenamento de objetos adicional. "Saiba mais sobre como gerenciar armazenamentos de objetos".