Hiérarchiser les données des clusters ONTAP sur site vers Amazon S3 dans NetApp Cloud Tiering
Suggérer des modifications
PDF
Libérez de l'espace sur vos clusters ONTAP sur site en hiérarchisant les données inactives sur Amazon S3 dans NetApp Cloud Tiering.
Démarrage rapide
Commencez rapidement en suivant ces étapes. Les détails de chaque étape sont fournis dans les sections suivantes de cette rubrique.
Identifiez la méthode de configuration que vous utiliserezChoisissez si vous connecterez votre cluster ONTAP sur site directement à AWS S3 via l'Internet public, ou si vous utiliserez un VPN ou AWS Direct Connect et acheminerez le trafic via une interface de point de terminaison VPC privée vers AWS S3.
Préparez votre agent de consoleSi vous avez déjà déployé l'agent de console dans votre AWS VPC ou sur vos locaux, vous êtes prêt. Sinon, vous devrez créer l’agent pour hiérarchiser les données ONTAP vers le stockage AWS S3. Vous devrez également personnaliser les paramètres réseau de l'agent afin qu'il puisse se connecter à AWS S3.
Préparez votre cluster ONTAP sur siteDécouvrez votre cluster ONTAP dans la console NetApp , vérifiez que le cluster répond aux exigences minimales et personnalisez les paramètres réseau afin que le cluster puisse se connecter à AWS S3.
Préparez Amazon S3 comme cible de hiérarchisationConfigurez les autorisations permettant à l’agent de créer et de gérer le compartiment S3. Vous devrez également configurer des autorisations pour le cluster ONTAP sur site afin qu'il puisse lire et écrire des données dans le bucket S3.
Activer la hiérarchisation du cloud sur le systèmeSélectionnez un système sur site, sélectionnez Activer pour le service Cloud Tiering et suivez les invites pour hiérarchiser les données vers Amazon S3.
Configurer les licencesUne fois votre essai gratuit terminé, payez Cloud Tiering via un abonnement à la carte, une licence BYOL ONTAP Cloud Tiering ou une combinaison des deux :
-
Pour vous abonner depuis AWS Marketplace, "accéder à l'offre Marketplace" , sélectionnez S'abonner, puis suivez les instructions.
-
Pour payer en utilisant une licence Cloud Tiering BYOL, envoyez un e-mail à : ng-cloud-tiering@netapp.com?subject=Licensing [contactez-nous si vous devez en acheter une], puis"ajoutez-le à la console NetApp" .
Schémas de réseau pour les options de connexion
Il existe deux méthodes de connexion que vous pouvez utiliser lors de la configuration de la hiérarchisation des systèmes ONTAP sur site vers AWS S3.
-
Connexion publique - Connectez directement le système ONTAP à AWS S3 à l'aide d'un point de terminaison S3 public.
-
Connexion privée - Utilisez un VPN ou AWS Direct Connect et acheminez le trafic via une interface de point de terminaison VPC qui utilise une adresse IP privée.
Le diagramme suivant montre la méthode de connexion publique et les connexions que vous devez préparer entre les composants. Vous pouvez utiliser l'agent de console que vous avez installé sur vos locaux ou un agent que vous avez déployé dans AWS VPC.
Le diagramme suivant montre la méthode de connexion privée et les connexions que vous devez préparer entre les composants. Vous pouvez utiliser l'agent de console que vous avez installé sur vos locaux ou un agent que vous avez déployé dans AWS VPC.
|
La communication entre un agent et S3 est destinée uniquement à la configuration du stockage d'objets. |
Préparez votre agent de console
L'agent active les fonctionnalités de hiérarchisation à partir de la console NetApp . Un agent est requis pour hiérarchiser vos données ONTAP inactives.
Créer ou changer d'agents
Si vous avez déjà un agent déployé dans votre AWS VPC ou dans vos locaux, alors vous êtes prêt. Sinon, vous devrez créer un agent dans l’un de ces emplacements pour hiérarchiser les données ONTAP vers le stockage AWS S3. Vous ne pouvez pas utiliser un agent déployé chez un autre fournisseur de cloud.
Exigences de mise en réseau des agents
-
Assurez-vous que le réseau sur lequel l'agent est installé permet les connexions suivantes :
-
Une connexion HTTPS via le port 443 au service Cloud Tiering et à votre stockage d'objets S3("voir la liste des points de terminaison" )
-
Une connexion HTTPS via le port 443 vers votre LIF de gestion de cluster ONTAP
-
-
"Assurez-vous que l'agent dispose des autorisations nécessaires pour gérer le compartiment S3"
-
Si vous disposez d'une connexion Direct Connect ou VPN de votre cluster ONTAP au VPC et que vous souhaitez que la communication entre l'agent et S3 reste dans votre réseau interne AWS (une connexion privée), vous devrez activer une interface de point de terminaison VPC sur S3.Découvrez comment configurer une interface de point de terminaison VPC.
Préparez votre cluster ONTAP
Vos clusters ONTAP doivent répondre aux exigences suivantes lors de la hiérarchisation des données vers Amazon S3.
Exigences ONTAP
- Plateformes ONTAP prises en charge
-
-
Lorsque vous utilisez ONTAP 9.8 et versions ultérieures : vous pouvez hiérarchiser les données des systèmes AFF ou des systèmes FAS avec des agrégats entièrement SSD ou des agrégats entièrement HDD.
-
Lorsque vous utilisez ONTAP 9.7 et versions antérieures : vous pouvez hiérarchiser les données des systèmes AFF ou des systèmes FAS avec des agrégats entièrement SSD.
-
- Versions ONTAP prises en charge
-
-
ONTAP 9.2 ou version ultérieure
-
ONTAP 9.7 ou version ultérieure est requis si vous prévoyez d'utiliser une connexion AWS PrivateLink au stockage d'objets
-
- Volumes et agrégats pris en charge
-
Le nombre total de volumes que Cloud Tiering peut hiérarchiser peut être inférieur au nombre de volumes sur votre système ONTAP . C'est parce que les volumes ne peuvent pas être hiérarchisés à partir de certains agrégats. Consultez la documentation ONTAP pour "fonctionnalités ou caractéristiques non prises en charge par FabricPool" .
|
|
Cloud Tiering prend en charge les volumes FlexGroup à partir d' ONTAP 9.5. La configuration fonctionne de la même manière que n’importe quel autre volume. |
Exigences de mise en réseau des clusters
-
Le cluster nécessite une connexion HTTPS entrante de l'agent de console au LIF de gestion du cluster.
Une connexion entre le cluster et Cloud Tiering n'est pas requise.
-
Un LIF intercluster est requis sur chaque nœud ONTAP qui héberge les volumes que vous souhaitez hiérarchiser. Ces LIF interclusters doivent pouvoir accéder au magasin d’objets.
Le cluster initie une connexion HTTPS sortante via le port 443 depuis les LIF interclusters vers le stockage Amazon S3 pour les opérations de hiérarchisation. ONTAP lit et écrit des données vers et depuis le stockage d'objets : le stockage d'objets ne s'initialise jamais, il répond simplement.
-
Les LIF intercluster doivent être associés à l'IPspace ONTAP doit utiliser pour se connecter au stockage d'objets. "En savoir plus sur IPspaces" .
Lorsque vous configurez Cloud Tiering, vous êtes invité à indiquer l'espace IP à utiliser. Vous devez choisir l’espace IP auquel ces LIF sont associés. Il peut s'agir de l'espace IP « par défaut » ou d'un espace IP personnalisé que vous avez créé.
Si vous utilisez un espace IP différent de « Par défaut », vous devrez peut-être créer une route statique pour accéder au stockage d'objets.
Tous les LIF interclusters au sein de l'espace IP doivent avoir accès au magasin d'objets. Si vous ne pouvez pas configurer cela pour l'espace IP actuel, vous devrez créer un espace IP dédié où tous les LIF interclusters ont accès au magasin d'objets.
-
Si vous utilisez un point de terminaison d'interface VPC privé dans AWS pour la connexion S3, pour que HTTPS/443 soit utilisé, vous devrez charger le certificat de point de terminaison S3 dans le cluster ONTAP .Découvrez comment configurer une interface de point de terminaison VPC et charger le certificat S3.
Découvrez votre cluster ONTAP dans la console NetApp
Vous devez découvrir votre cluster ONTAP sur site dans la console NetApp avant de pouvoir commencer à hiérarchiser les données froides vers le stockage d'objets. Vous devrez connaître l’adresse IP de gestion du cluster et le mot de passe du compte utilisateur administrateur pour ajouter le cluster.
Préparez votre environnement AWS
Lorsque vous configurez la hiérarchisation des données pour un nouveau cluster, vous êtes invité à indiquer si vous souhaitez que le service crée un compartiment S3 ou si vous souhaitez sélectionner un compartiment S3 existant dans le compte AWS où l'agent est configuré. Le compte AWS doit disposer d’autorisations et d’une clé d’accès que vous pouvez saisir dans Cloud Tiering. Le cluster ONTAP utilise la clé d’accès pour hiérarchiser les données entrantes et sortantes de S3.
Par défaut, la hiérarchisation du Cloud crée le bucket pour vous. Si vous souhaitez utiliser votre propre bucket, vous pouvez en créer un avant de démarrer l'assistant d'activation de la hiérarchisation, puis sélectionner ce bucket dans l'assistant. "Découvrez comment créer des buckets S3 à partir de la console NetApp" . Le bucket doit être utilisé exclusivement pour stocker les données inactives de vos volumes - il ne peut pas être utilisé à d'autres fins. Le bucket S3 doit être dans un"région qui prend en charge le Cloud Tiering" .
|
|
Si vous envisagez de configurer Cloud Tiering pour utiliser une classe de stockage à moindre coût vers laquelle vos données hiérarchisées seront transférées après un certain nombre de jours, vous ne devez sélectionner aucune règle de cycle de vie lors de la configuration du bucket dans votre compte AWS. Cloud Tiering gère les transitions du cycle de vie. |
Configurer les autorisations S3
Vous devrez configurer deux ensembles d’autorisations :
-
Autorisations pour l'agent afin qu'il puisse créer et gérer le bucket S3.
-
Autorisations pour le cluster ONTAP sur site afin qu’il puisse lire et écrire des données dans le bucket S3.
-
Autorisations de l'agent de console:
-
Confirmer que "ces autorisations S3" font partie du rôle IAM qui fournit des autorisations à l'agent. Ils auraient dû être inclus par défaut lorsque vous avez déployé l’agent pour la première fois. Sinon, vous devrez ajouter les autorisations manquantes. Voir le "Documentation AWS : Modification des politiques IAM" pour les instructions.
-
Le bucket par défaut créé par Cloud Tiering a le préfixe « fabric-pool ». Si vous souhaitez utiliser un préfixe différent pour votre bucket, vous devrez personnaliser les autorisations avec le nom que vous souhaitez utiliser. Dans les autorisations S3, vous verrez une ligne
"Resource": ["arn:aws:s3:::fabric-pool*"]. Vous devrez remplacer « fabric-pool » par le préfixe que vous souhaitez utiliser. Par exemple, si vous souhaitez utiliser « tiering-1 » comme préfixe pour vos buckets, vous modifierez cette ligne en"Resource": ["arn:aws:s3:::tiering-1*"].Si vous souhaitez utiliser un préfixe différent pour les buckets que vous utiliserez pour des clusters supplémentaires dans cette même organisation NetApp Console, vous pouvez ajouter une autre ligne avec le préfixe pour d'autres buckets. Par exemple:
"Resource": ["arn:aws:s3:::tiering-1*"]
"Resource": ["arn:aws:s3:::tiering-2*"]
Si vous créez votre propre bucket et n'utilisez pas de préfixe standard, vous devez modifier cette ligne en
"Resource": ["arn:aws:s3:::*"]afin que n'importe quel bucket soit reconnu. Cependant, cela peut exposer tous vos buckets au lieu de ceux que vous avez conçus pour contenir les données inactives de vos volumes. -
-
Autorisations de cluster:
-
Lorsque vous activez le service, l’assistant de hiérarchisation vous invite à saisir une clé d’accès et une clé secrète. Ces informations d’identification sont transmises au cluster ONTAP afin ONTAP puisse hiérarchiser les données vers le compartiment S3. Pour cela, vous devrez créer un utilisateur IAM avec les autorisations suivantes :
"s3:ListAllMyBuckets", "s3:ListBucket", "s3:GetBucketLocation", "s3:GetObject", "s3:PutObject", "s3:DeleteObject"Voir le "Documentation AWS : Création d'un rôle pour déléguer des autorisations à un utilisateur IAM" pour plus de détails.
-
-
Créez ou localisez la clé d’accès.
Cloud Tiering transmet la clé d’accès au cluster ONTAP . Les informations d’identification ne sont pas stockées dans le service Cloud Tiering.
Configurez votre système pour une connexion privée à l'aide d'une interface de point de terminaison VPC
Si vous prévoyez d'utiliser une connexion Internet publique standard, toutes les autorisations sont définies par l'agent et vous n'avez rien d'autre à faire. Ce type de connexion est indiqué dans la sectionpremier diagramme ci-dessus .
Si vous souhaitez disposer d'une connexion Internet plus sécurisée entre votre centre de données local et le VPC, vous pouvez sélectionner une connexion AWS PrivateLink dans l'assistant d'activation de la hiérarchisation. Cela est nécessaire si vous prévoyez d'utiliser un VPN ou AWS Direct Connect pour connecter votre système sur site via une interface de point de terminaison VPC qui utilise une adresse IP privée. Ce type de connexion est illustré dans ledeuxième diagramme ci-dessus . Si vous souhaitez disposer d'une connexion Internet plus sécurisée entre votre centre de données local et le VPC, vous pouvez sélectionner une connexion AWS PrivateLink dans l'assistant d'activation de la hiérarchisation. Cela est nécessaire si vous prévoyez d'utiliser un VPN ou AWS Direct Connect pour connecter votre système sur site via une interface de point de terminaison VPC qui utilise une adresse IP privée. Ce type de connexion est illustré dans ledeuxième diagramme ci-dessus .
-
Créez une configuration de point de terminaison d’interface à l’aide de la console Amazon VPC ou de la ligne de commande. "Voir les détails sur l'utilisation d'AWS PrivateLink pour Amazon S3" .
-
Modifiez la configuration du groupe de sécurité associé à l’agent. Vous devez modifier la politique en « Personnalisé » (à partir de « Accès complet ») et vous devezajouter les autorisations d'agent S3 requises comme indiqué précédemment.
Si vous utilisez le port 80 (HTTP) pour communiquer avec le point de terminaison privé, vous êtes prêt. Vous pouvez désormais activer Cloud Tiering sur le cluster.
Si vous utilisez le port 443 (HTTPS) pour la communication avec le point de terminaison privé, vous devez copier le certificat du point de terminaison VPC S3 et l'ajouter à votre cluster ONTAP , comme indiqué dans les 4 étapes suivantes.
-
Obtenez le nom DNS du point de terminaison à partir de la console AWS.
-
Obtenez le certificat à partir du point de terminaison VPC S3. Vous faites cela en "connexion à la machine virtuelle qui héberge l'agent" et exécutez la commande suivante. Lors de la saisie du nom DNS du point de terminaison, ajoutez « bucket » au début, en remplaçant le « * » :
[ec2-user@ip-10-160-4-68 ~]$ openssl s_client -connect bucket.vpce-0ff5c15df7e00fbab-yxs7lt8v.s3.us-west-2.vpce.amazonaws.com:443 -showcerts -
À partir de la sortie de cette commande, copiez les données du certificat S3 (toutes les données comprises entre les balises BEGIN / END CERTIFICATE incluses) :
Certificate chain 0 s:/CN=s3.us-west-2.amazonaws.com` i:/C=US/O=Amazon/OU=Server CA 1B/CN=Amazon -----BEGIN CERTIFICATE----- MIIM6zCCC9OgAwIBAgIQA7MGJ4FaDBR8uL0KR3oltTANBgkqhkiG9w0BAQsFADBG … … GqvbOz/oO2NWLLFCqI+xmkLcMiPrZy+/6Af+HH2mLCM4EsI2b+IpBmPkriWnnxo= -----END CERTIFICATE----- -
Connectez-vous à l'interface de ligne de commande du cluster ONTAP et appliquez le certificat que vous avez copié à l'aide de la commande suivante (remplacez le nom de votre propre machine virtuelle de stockage) :
cluster1::> security certificate install -vserver <svm_name> -type server-ca Please enter Certificate: Press <Enter> when done
Transférez les données inactives de votre premier cluster vers Amazon S3
Après avoir préparé votre environnement AWS, commencez à hiérarchiser les données inactives de votre premier cluster.
-
Une clé d’accès AWS pour un utilisateur IAM disposant des autorisations S3 requises.
-
Sélectionnez le système ONTAP sur site.
-
Cliquez sur Activer pour la hiérarchisation du cloud dans le panneau de droite.
Si la destination de hiérarchisation Amazon S3 existe en tant que système sur la page Systèmes, vous pouvez faire glisser le cluster sur le système pour lancer l'assistant de configuration.
-
Définir le nom du stockage d’objets : saisissez un nom pour ce stockage d’objets. Il doit être unique par rapport à tout autre stockage d’objets que vous pouvez utiliser avec des agrégats sur ce cluster.
-
Sélectionner le fournisseur : Sélectionnez Amazon Web Services et sélectionnez Continuer.
-
Sélectionner le fournisseur : Sélectionnez Amazon Web Services et sélectionnez Continuer.
-
Complétez les sections de la page Configuration de la hiérarchisation :
-
S3 Bucket : ajoutez un nouveau bucket S3 ou sélectionnez un bucket S3 existant, sélectionnez la région du bucket et sélectionnez Continuer.
-
S3 Bucket : ajoutez un nouveau bucket S3 ou sélectionnez un bucket S3 existant, sélectionnez la région du bucket et sélectionnez Continuer.
Lorsque vous utilisez un agent sur site, vous devez saisir l'ID de compte AWS qui donne accès au compartiment S3 existant ou au nouveau compartiment S3 qui sera créé.
Le préfixe fabric-pool est utilisé par défaut car la stratégie IAM de l'agent permet à l'instance d'effectuer des actions S3 sur les buckets nommés avec ce préfixe exact. Par exemple, vous pouvez nommer le bucket S3 fabric-pool-AFF1, où AFF1 est le nom du cluster. Vous pouvez également définir le préfixe des buckets utilisés pour la hiérarchisation. Voirconfiguration des autorisations S3 pour vous assurer que vous disposez des autorisations AWS qui reconnaissent tout préfixe personnalisé que vous prévoyez d'utiliser.
-
Classe de stockage : Cloud Tiering gère les transitions du cycle de vie de vos données hiérarchisées. Les données commencent dans la classe Standard, mais vous pouvez créer une règle pour appliquer une classe de stockage différente aux données après un certain nombre de jours.
Sélectionnez la classe de stockage S3 vers laquelle vous souhaitez transférer les données hiérarchisées et le nombre de jours avant que les données ne soient attribuées à cette classe, puis sélectionnez Continuer. Par exemple, la capture d'écran ci-dessous montre que les données hiérarchisées sont attribuées à la classe Standard-IA à partir de la classe Standard après 45 jours dans le stockage d'objets.
Si vous choisissez Conserver les données dans cette classe de stockage, les données restent dans la classe de stockage Standard et aucune règle n'est appliquée. "Voir les classes de stockage prises en charge" .
Notez que la règle de cycle de vie est appliquée à tous les objets du bucket sélectionné.
-
Informations d'identification : saisissez l'ID de clé d'accès et la clé secrète d'un utilisateur IAM disposant des autorisations S3 requises, puis sélectionnez Continuer.
L'utilisateur IAM doit être dans le même compte AWS que le bucket que vous avez sélectionné ou créé sur la page S3 Bucket.
-
Réseau : Saisissez les détails du réseau et sélectionnez Continuer.
Sélectionnez l’espace IP dans le cluster ONTAP où résident les volumes que vous souhaitez hiérarchiser. Les LIF intercluster pour cet espace IP doivent disposer d'un accès Internet sortant afin de pouvoir se connecter au stockage d'objets de votre fournisseur de cloud.
Vous pouvez également choisir si vous utiliserez un AWS PrivateLink que vous avez précédemment configuré. Voir les informations de configuration ci-dessus. Une boîte de dialogue s'affiche pour vous guider dans la configuration du point de terminaison.
Vous pouvez également définir la bande passante réseau disponible pour télécharger des données inactives vers le stockage d'objets en définissant le « Taux de transfert maximal ». Sélectionnez le bouton radio Limité et entrez la bande passante maximale pouvant être utilisée, ou sélectionnez Illimité pour indiquer qu'il n'y a pas de limite.
-
-
Sur la page Volumes hiérarchisés, sélectionnez les volumes pour lesquels vous souhaitez configurer la hiérarchisation et lancez la page Politique de hiérarchisation :
-
Pour sélectionner tous les volumes, cochez la case dans la ligne de titre (
) et sélectionnez Configurer les volumes. -
Pour sélectionner plusieurs volumes, cochez la case correspondant à chaque volume (
) et sélectionnez Configurer les volumes. -
Pour sélectionner un seul volume, sélectionnez la ligne (ou
icône) pour le volume.
-
-
Dans la boîte de dialogue Politique de hiérarchisation, sélectionnez une politique de hiérarchisation, ajustez éventuellement les jours de refroidissement pour les volumes sélectionnés et sélectionnez Appliquer.
"En savoir plus sur les politiques de hiérarchisation des volumes et les jours de refroidissement" .
Vous avez configuré avec succès la hiérarchisation des données des volumes du cluster vers le stockage d’objets S3.
Vous pouvez consulter les informations sur les données actives et inactives du cluster. "En savoir plus sur la gestion de vos paramètres de hiérarchisation" .
Vous pouvez également créer un stockage d'objets supplémentaire dans les cas où vous souhaitez hiérarchiser les données de certains agrégats d'un cluster vers différents magasins d'objets. Ou si vous prévoyez d'utiliser FabricPool Mirroring où vos données hiérarchisées sont répliquées vers un magasin d'objets supplémentaire. "En savoir plus sur la gestion des magasins d'objets" .