Création de relations synchronisées
Lorsque vous créez une relation de synchronisation, le service de copie et de synchronisation BlueXP copie les fichiers de la source vers la cible. Après la copie initiale, le service synchronise les données modifiées toutes les 24 heures.
Avant de pouvoir créer certains types de relations de synchronisation, vous devez d'abord créer un environnement de travail dans BlueXP.
Créer des relations de synchronisation pour des types spécifiques d'environnements de travail
Si vous souhaitez créer des relations de synchronisation pour l'un des éléments suivants, vous devez d'abord créer ou détecter l'environnement de travail :
-
Amazon FSX pour ONTAP
-
Azure NetApp Files
-
Cloud Volumes ONTAP
-
Clusters ONTAP sur site
-
Créer ou découvrir l'environnement de travail.
-
Sélectionnez Canvas.
-
Sélectionnez un environnement de travail correspondant à l'un des types répertoriés ci-dessus.
-
Sélectionnez le menu d'action en regard de Synchroniser.
-
Sélectionnez Synchroniser les données de cet emplacement ou Synchroniser les données à cet emplacement et suivez les invites pour configurer la relation de synchronisation.
Créez d'autres types de relations de synchronisation
Procédez comme suit pour synchroniser des données depuis ou vers un type de stockage pris en charge autre que Amazon FSX pour les clusters ONTAP, Azure NetApp Files, Cloud Volumes ONTAP ou ONTAP sur site. Les étapes ci-dessous fournissent un exemple de configuration d'une relation de synchronisation à partir d'un serveur NFS vers un compartiment S3.
-
Dans BlueXP, sélectionnez Sync.
-
Sur la page Define Sync Relationship, choisissez une source et une cible.
Les étapes suivantes fournissent un exemple de création d'une relation de synchronisation entre un serveur NFS et un compartiment S3.
-
Sur la page NFS Server, entrez l'adresse IP ou le nom de domaine complet du serveur NFS que vous souhaitez synchroniser avec AWS.
-
Sur la page Data Broker Group, suivez les invites pour créer une machine virtuelle de courtier de données dans AWS, Azure ou Google Cloud Platform ou pour installer le logiciel de courtier de données sur un hôte Linux existant.
Pour plus de détails, reportez-vous aux pages suivantes :
-
Après avoir installé le courtier de données, sélectionnez Continuer.
-
sur la page répertoires, sélectionnez un répertoire ou un sous-répertoire de niveau supérieur.
Si la copie et la synchronisation BlueXP ne peuvent pas récupérer les exportations, sélectionnez Ajouter une exportation manuelle et entrez le nom d'une exportation NFS.
Si vous souhaitez synchroniser plusieurs répertoires sur le serveur NFS, vous devez créer des relations de synchronisation supplémentaires après avoir terminé. -
Sur la page AWS S3 Bucket, sélectionnez un compartiment :
-
Allez vers le bas pour sélectionner un dossier existant dans la rubrique ou pour sélectionner un nouveau dossier que vous créez dans la rubrique.
-
Sélectionnez Ajouter à la liste pour sélectionner un compartiment S3 qui n'est pas associé à votre compte AWS. "Des autorisations spécifiques doivent être appliquées au compartiment S3".
-
-
Sur la page Configuration godet, configurez le compartiment :
-
Optez pour l'activation du chiffrement des compartiments S3, puis sélectionnez une clé KMS AWS, saisissez l'ARN d'une clé KMS ou sélectionnez le chiffrement AES-256.
-
Sélectionnez une classe de stockage S3. "Afficher les classes de stockage prises en charge".
-
-
dans la page Settings, définissez comment les fichiers et dossiers source sont synchronisés et conservés à l'emplacement cible :
- Planification
-
Choisissez un programme récurrent pour les synchronisations ultérieures ou désactivez la planification de synchronisation. Vous pouvez planifier une relation pour synchroniser les données aussi souvent que toutes les 1 minute.
- Délai d'expiration de la synchronisation
-
Déterminez si la copie et la synchronisation BlueXP doivent annuler une synchronisation des données si la synchronisation n'a pas eu lieu au cours du nombre spécifié de minutes, d'heures ou de jours.
- Notifications
-
Vous permet de choisir de recevoir ou non les notifications de copie et de synchronisation BlueXP dans le Centre de notification de BlueXP. Vous pouvez activer des notifications pour la synchronisation des données avec succès, les échecs de synchronisation et les synchronisations de données annulées.
- Tentatives
-
Définissez le nombre de tentatives de copie et de synchronisation BlueXP pour synchroniser un fichier avant de le sauter.
- Synchronisation continue
-
Une fois la synchronisation initiale des données effectuée, la copie et la synchronisation BlueXP sont à l'écoute des modifications apportées au compartiment S3 source ou au compartiment Google Cloud Storage et elles synchronisent en continu toutes les modifications apportées à la cible au fur et à mesure qu'elles se produisent. Il n'est pas nécessaire d'effectuer une nouvelle analyse de la source à intervalles réguliers.
Ce paramètre est disponible uniquement lors de la création d'une relation de synchronisation et lors de la synchronisation des données à partir d'un compartiment S3 ou de Google Cloud Storage vers le stockage Azure Blob, CIFS, Google Cloud Storage, IBM Cloud Object Storage, NFS, S3, Et StorageGRID * ou* à partir d'Azure Blob Storage vers le stockage Azure Blob, CIFS, Google Cloud Storage, IBM Cloud Object Storage, NFS et StorageGRID.
Si vous activez ce paramètre, il affecte d'autres fonctions comme suit :
-
La planification de synchronisation est désactivée.
-
Les paramètres suivants sont rétablis à leurs valeurs par défaut : délai de synchronisation, fichiers récemment modifiés et Date de modification.
-
Si S3 est la source, le filtre par taille sera actif uniquement lors des événements de copie (et non lors des événements de suppression).
-
Une fois la relation créée, vous ne pouvez accélérer ou supprimer que la relation. Vous ne pouvez pas annuler les synchronisations, modifier les paramètres ou afficher les rapports.
Il est possible de créer une relation de synchronisation continue avec un compartiment externe. Pour ce faire, procédez comme suit :
-
Accédez à la console Google Cloud pour le projet de compartiment externe.
-
Accédez à Cloud Storage > Paramètres > compte de service de stockage cloud.
-
Mettez à jour le fichier local.json :
{ "protocols": { "gcp": { "storage-account-email": <storage account email> } } }
-
Redémarrez le courtier de données :
-
sudo pm2 arrêter tout
-
sudo pm2 démarrer tout
-
-
Créez une relation de synchronisation continue avec le compartiment externe approprié.
Le courtier en données utilisé pour créer une relation de synchronisation continue avec un compartiment externe ne pourra pas créer une autre relation de synchronisation continue avec un compartiment dans son projet.
-
-
- Comparer par
-
Indiquez si la copie et la synchronisation BlueXP doivent comparer certains attributs pour déterminer si un fichier ou un répertoire a changé et doit être à nouveau synchronisé.
Même si vous désactivez ces attributs, la copie et la synchronisation BlueXP comparent toujours la source et la cible en vérifiant les chemins, la taille des fichiers et les noms des fichiers. En cas de modifications, il synchronise ces fichiers et répertoires.
Vous pouvez activer ou désactiver la copie et la synchronisation BlueXP en comparant les attributs suivants :
-
Mtime : dernière heure modifiée pour un fichier. Cet attribut n'est pas valide pour les répertoires.
-
Uid, gid et mode : indicateurs d'autorisation pour Linux.
-
- Copier pour objets
-
Activez cette option pour copier les métadonnées et les balises de stockage objet. Si un utilisateur modifie les métadonnées sur la source, la copie et la synchronisation BlueXP copie cet objet lors de la prochaine synchronisation. Toutefois, si un utilisateur modifie les balises sur la source (et non les données elles-mêmes), la copie et la synchronisation BlueXP ne copie pas l'objet lors de la prochaine synchronisation.
Vous ne pouvez pas modifier cette option après avoir créé la relation.
La copie des balises est prise en charge avec les relations de synchronisation incluant Azure Blob ou un terminal compatible avec S3 (S3, StorageGRID ou stockage objet dans le cloud IBM) comme cible.
La copie de métadonnées est prise en charge avec des relations « cloud à cloud » entre l'un des terminaux suivants :
-
AWS S3
-
Blob d'Azure
-
Google Cloud Storage
-
IBM Cloud Object Storage
-
StorageGRID
-
- Fichiers récemment modifiés
-
Choisissez d'exclure les fichiers récemment modifiés avant la synchronisation planifiée.
- Supprimer des fichiers sur la source
-
Choisissez de supprimer des fichiers de l'emplacement source après la copie et la synchronisation BlueXP copie les fichiers vers l'emplacement cible. Cette option inclut le risque de perte de données car les fichiers source sont supprimés après leur copie.
Si vous activez cette option, vous devez également modifier un paramètre dans le fichier local.json du courtier de données. Ouvrez le fichier et mettez-le à jour comme suit :
{ "workers":{ "transferrer":{ "delete-on-source": true } } }
Après la mise à jour du fichier local.json, vous devez redémarrer :
pm2 restart all
. - Supprimer des fichiers sur la cible
-
Choisissez de supprimer des fichiers de l'emplacement cible, s'ils ont été supprimés de la source. La valeur par défaut est de ne jamais supprimer de fichiers de l'emplacement cible.
- Types de fichiers
-
Définissez les types de fichiers à inclure dans chaque synchronisation : fichiers, répertoires, liens symboliques et liens physiques.
Les liens physiques ne sont disponibles que pour les relations NFS à NFS non sécurisées. Les utilisateurs seront limités à un seul processus de scanner et à une seule simultanéité de scanner, et les analyses doivent être exécutées à partir d'un répertoire racine. - Exclure les extensions de fichier
-
Spécifiez les extensions de fichier ou de regex à exclure de la synchronisation en tapant l'extension de fichier et en appuyant sur entrée. Par exemple, tapez log ou .log pour exclure les fichiers *.log. Un séparateur n'est pas nécessaire pour les extensions multiples. La vidéo suivante présente une courte démonstration :
Exclure les extensions de fichier pour une relation de synchronisationLes expressions regex ou régulières diffèrent des caractères génériques ou des expressions glob. Cette fonction seulement fonctionne avec regex. - Exclure les répertoires
-
Spécifiez un maximum de 15 regex ou répertoires à exclure de la synchronisation en tapant leur nom ou répertoire complet et en appuyant sur entrée. Les répertoires .copy-Offload, .snapshot, ~snapshot sont exclus par défaut.
Les expressions regex ou régulières diffèrent des caractères génériques ou des expressions glob. Cette fonction seulement fonctionne avec regex. - Taille du fichier
-
Choisissez de synchroniser tous les fichiers, quelle que soit leur taille ou uniquement les fichiers qui se trouvent dans une plage de taille spécifique.
- Date de modification
-
Choisissez tous les fichiers quelle que soit leur date de dernière modification, les fichiers modifiés après une date spécifique, avant une date spécifique ou entre une plage de temps.
- Date de création
-
Lorsqu'un serveur SMB est source, ce paramètre vous permet de synchroniser les fichiers créés après une date spécifique, avant une date spécifique ou entre une plage horaire spécifique.
- ACL - liste de contrôle d'accès
-
Copiez les listes de contrôle d’accès uniquement, les fichiers uniquement ou les listes de contrôle d’accès et les fichiers à partir d’un serveur SMB en activant un paramètre lors de la création d’une relation ou après la création d’une relation.
-
Sur la page Tags/Metadata, choisissez d'enregistrer une paire clé-valeur en tant qu'étiquette sur tous les fichiers transférés dans le compartiment S3 ou d'attribuer une paire clé-valeur de métadonnées sur tous les fichiers.
Cette même fonctionnalité est disponible lors de la synchronisation de données sur StorageGRID et IBM Cloud Object Storage. Pour Azure et Google Cloud Storage, seule l'option de métadonnées est disponible. -
Passez en revue les détails de la relation de synchronisation, puis sélectionnez Créer une relation.
Résultat
La copie et la synchronisation BlueXP démarrent la synchronisation des données entre la source et la cible. Synchronisez les statistiques sur le temps de synchronisation, l'arrêt ou la disponibilité du nombre de fichiers copiés, numérisés ou supprimés. Vous pouvez ensuite gérer votre "synchroniser les relations", "gérez vos courtiers de données", ou "créez des rapports pour optimiser les performances et la configuration".
Créez des relations de synchronisation à partir de la classification BlueXP
La copie et la synchronisation BlueXP sont intégrées à la classification BlueXP. Dans la classification BlueXP, vous pouvez sélectionner les fichiers source que vous souhaitez synchroniser vers un emplacement cible à l'aide de la copie et de la synchronisation BlueXP.
Après avoir lancé la synchronisation des données à partir de la classification BlueXP, toutes les informations source sont contenues dans une seule étape et vous devez saisir uniquement quelques informations clés. Choisissez ensuite l'emplacement cible de la nouvelle relation de synchronisation.