La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Vérifiez l'intégrité de l'objet

12/06/2022 Contributeurs

Le système StorageGRID vérifie l'intégrité des données d'objet sur les nœuds de stockage, en vérifiant la présence d'objets corrompus et manquants.

Il existe deux processus de vérification : la vérification des antécédents et la vérification de l'existence des objets (anciennement appelée vérification de premier plan). Elles travaillent ensemble pour assurer l'intégrité des données. La vérification en arrière-plan s'exécute automatiquement et vérifie en continu l'exactitude des données d'objet. La vérification de l'existence d'un objet peut être déclenchée par un utilisateur pour vérifier plus rapidement l'existence (mais pas l'exactitude) d'objets.

Qu'est-ce que la vérification des antécédents ?

Le processus de vérification en arrière-plan vérifie automatiquement et en continu les nœuds de stockage pour détecter des copies corrompues de données d'objet et tente automatiquement de résoudre les problèmes qu'il trouve.

La vérification en arrière-plan vérifie l'intégrité des objets répliqués et des objets avec code d'effacement, comme suit :

Objets répliqués : si le processus de vérification en arrière-plan trouve un objet répliqué corrompu, la copie corrompue est supprimée de son emplacement et mise en quarantaine ailleurs sur le noeud de stockage. Une nouvelle copie non corrompue est ensuite générée et placée pour satisfaire la politique ILM active. Il se peut que la nouvelle copie ne soit pas placée sur le nœud de stockage utilisé pour la copie d'origine.

Les données d'objet corrompues sont mises en quarantaine au lieu d'être supprimées du système, de sorte qu'elles soient toujours accessibles. Pour plus d'informations sur l'accès aux données d'objet en quarantaine, contactez le support technique.

Objets avec code d'effacement : si le processus de vérification en arrière-plan détecte qu'un fragment d'un objet avec code d'effacement est corrompu, StorageGRID tente automatiquement de reconstruire le fragment manquant en place sur le même nœud de stockage, en utilisant les données restantes et les fragments de parité. Si le fragment corrompu ne peut pas être reconstruit, une tentative est effectuée pour récupérer une autre copie de l'objet. Lorsque la récupération réussit, une évaluation du ILM est effectuée pour créer une copie de remplacement de l'objet avec code d'effacement.

Le processus de vérification en arrière-plan vérifie uniquement les objets sur les nœuds de stockage. Elle ne vérifie pas les objets sur les nœuds d'archivage ou dans un pool de stockage cloud. Les objets doivent être âgés de plus de quatre jours pour être admissibles à la vérification des antécédents.

La vérification des antécédents s'exécute à un taux continu conçu pour ne pas interférer avec les activités ordinaires du système. Impossible d'arrêter la vérification de l'arrière-plan. Toutefois, vous pouvez augmenter le taux de vérification en arrière-plan pour vérifier plus rapidement le contenu d'un nœud de stockage si vous soupçonnez un problème.

Alertes et alarmes (anciennes) liées à la vérification des antécédents

Si le système détecte un objet corrompu qu'il ne peut pas corriger automatiquement (car la corruption empêche l'identification de l'objet), l'alerte objet corrompu non identifié détecté est déclenchée.

Si la vérification en arrière-plan ne peut pas remplacer un objet corrompu car elle ne peut pas localiser une autre copie, l'alerte objets perdus est déclenchée.

Modifier le taux de vérification des antécédents

Vous pouvez modifier la vitesse à laquelle la vérification en arrière-plan vérifie les données d'objet répliquées sur un nœud de stockage si vous avez des problèmes d'intégrité des données.

Ce dont vous avez besoin

Vous devez être connecté au Grid Manager à l'aide d'un navigateur web pris en charge.
Vous devez disposer d'autorisations d'accès spécifiques.

Description de la tâche

Vous pouvez modifier le taux de vérification pour la vérification en arrière-plan sur un nœud de stockage :

Adaptatif : paramètre par défaut. La tâche est conçue pour vérifier à un maximum de 4 Mo/s ou 10 objets/s (selon la première limite dépassée).
Élevé : la vérification du stockage s'effectue rapidement, à une vitesse qui peut ralentir les activités ordinaires des systèmes.

Utilisez le taux de vérification élevé uniquement si vous soupçonnez qu'une erreur matérielle ou logicielle pourrait avoir des données d'objet corrompues. Une fois la vérification de l'arrière-plan de priorité élevée terminée, le taux de vérification se réinitialise automatiquement sur Adaptive.

Étapes

Sélectionnez SUPPORT > Outils > topologie de grille.
Sélectionnez Storage Node LDR Verification.
Sélectionnez Configuration main.
Allez à LDR Vérification Configuration main.
Sous Vérification de l'arrière-plan, sélectionnez taux de vérification élevé ou taux de vérification adaptatif.

Le réglage du taux de vérification sur élevé déclenche l'alarme VPRI (taux de vérification) héritée au niveau des notifications.
Cliquez sur appliquer les modifications.
Surveiller les résultats de la vérification en arrière-plan des objets répliqués.
1. Accédez à NOEUDS Storage Node objets.
2. Dans la section Vérification, surveillez les valeurs de objets corrompus et objets corrompus non identifiés.
  
  Si la vérification en arrière-plan trouve des données d'objet répliqué corrompues, la mesure objets corrompus est incrémentée et StorageGRID tente d'extraire l'identificateur d'objet des données, comme suit :
  - Si l'identifiant d'objet peut être extrait, StorageGRID crée automatiquement une nouvelle copie des données de l'objet. La nouvelle copie peut être effectuée à tout emplacement du système StorageGRID conformément à la politique ILM active.
  - Si l'identificateur d'objet ne peut pas être extrait (car il a été corrompu), la mesure objets corrompus non identifiés est incrémentée et l'alerte objet corrompu non identifié détecté est déclenchée.
3. Si des données d'objet répliqué corrompues sont trouvées, contactez le support technique pour déterminer la cause première de la corruption.
Surveillez les résultats de la vérification en arrière-plan des objets avec code d'effacement.

Si la vérification en arrière-plan détecte des fragments corrompus de données d'objet codées par effacement, l'attribut fragments corrompus détectés est incrémenté. StorageGRID restaure en reconstruisant le fragment corrompu sur le même nœud de stockage.
1. Sélectionnez SUPPORT > Outils > topologie de grille.
2. Sélectionnez Storage Node LDR codage d'effacement.
3. Dans le tableau Résultats de la vérification, surveillez l'attribut fragments corrompus détectés (ECCD).
Une fois les objets corrompus automatiquement restaurés par le système StorageGRID, réinitialisez le nombre d'objets corrompus.
1. Sélectionnez SUPPORT > Outils > topologie de grille.
2. Sélectionnez Storage Node LDR Verification Configuration.
3. Sélectionnez Réinitialiser le nombre d'objets corrompus.
4. Cliquez sur appliquer les modifications.

Si vous êtes sûr que les objets mis en quarantaine ne sont pas nécessaires, vous pouvez les supprimer.

Si l'alerte objets perdus ou L'alarme héritée PERDUS (objets perdus) a été déclenchée, le support technique peut vouloir accéder aux objets mis en quarantaine pour aider à déboguer le problème sous-jacent ou à tenter la récupération des données.

Sélectionnez SUPPORT > Outils > topologie de grille.
Sélectionnez Storage Node LDR Verification Configuration.
Sélectionnez Supprimer les objets en quarantaine.
Sélectionnez appliquer les modifications.

Qu'est-ce que la vérification de l'existence d'objet ?

Le contrôle d'existence d'objet vérifie si toutes les copies répliquées attendues d'objets et de fragments avec code d'effacement existent sur un nœud de stockage. La vérification de l'existence des objets ne vérifie pas les données de l'objet lui-même (la vérification en arrière-plan le fait) ; elle permet plutôt de vérifier l'intégrité des périphériques de stockage, en particulier si un problème matériel récent pouvait affecter l'intégrité des données.

Contrairement à la vérification de l'arrière-plan, qui se produit automatiquement, vous devez démarrer manuellement un travail de vérification de l'existence d'un objet.

Le contrôle d'existence des objets lit les métadonnées de chaque objet stocké dans StorageGRID et vérifie l'existence de copies d'objet répliquées et de fragments d'objet avec code d'effacement. Les données manquantes sont traitées comme suit :

Copies répliquées : si une copie des données d'objet répliqué est manquante, StorageGRID tente automatiquement de remplacer la copie d'une autre copie stockée dans le système. Le nœud de stockage exécute une copie existante via une évaluation ILM. Elle détermine que la politique ILM actuelle n'est plus respectée pour cet objet, car une autre copie est manquante. Une nouvelle copie est générée et placée pour satisfaire à la politique ILM active du système. Cette nouvelle copie peut ne pas être placée au même endroit où la copie manquante a été stockée.
Fragments codés par effacement : si un fragment d'un objet codé par effacement est manquant, StorageGRID tente automatiquement de reconstruire le fragment manquant sur le même nœud de stockage en utilisant les fragments restants. Si le fragment manquant ne peut pas être reconstruit (car trop de fragments ont été perdus), ILM tente de trouver une autre copie de l'objet qu'il peut utiliser pour générer un nouveau fragment codé par effacement.

Exécutez la vérification de l'existence d'objet

Vous créez et exécutez un travail de vérification de l'existence d'un objet à la fois. Lorsque vous créez un travail, vous sélectionnez les nœuds de stockage et les volumes à vérifier. Vous sélectionnez également le contrôle de cohérence du travail.

Ce dont vous avez besoin

Vous êtes connecté au Grid Manager à l'aide d'un navigateur web pris en charge.
Vous disposez de l'autorisation Maintenance ou accès racine.
Vous avez vérifié que les nœuds de stockage à vérifier sont en ligne. Sélectionnez NOEUDS pour afficher la table des noeuds. Assurez-vous qu'aucune icône d'alerte n'apparaît en regard du nom du nœud pour les nœuds que vous souhaitez vérifier.
Vous avez vérifié que les procédures suivantes sont non exécutées sur les nœuds que vous voulez vérifier :
- Extension de la grille pour ajouter un nœud de stockage
- Désaffectation du nœud de stockage
- Restauration d'un volume de stockage défaillant
- Récupération d'un nœud de stockage avec un lecteur système défaillant
- Rééquilibrage EC
- Clone du nœud d'appliance

Le contrôle d'existence d'objet ne fournit pas d'informations utiles pendant que ces procédures sont en cours.

Description de la tâche

L'exécution d'une tâche de vérification de l'existence d'un objet peut prendre plusieurs jours ou plusieurs semaines, selon le nombre d'objets de la grille, les nœuds de stockage et les volumes sélectionnés et le contrôle de cohérence sélectionné. Vous ne pouvez exécuter qu'une seule tâche à la fois, mais vous pouvez sélectionner plusieurs nœuds de stockage et volumes en même temps.

Étapes

Sélectionnez MAINTENANCE tâches contrôle d'existence d'objet.
Sélectionnez Créer un travail. L'assistant création d'un objet Vérification de l'existence s'affiche.
Sélectionnez les nœuds contenant les volumes à vérifier. Pour sélectionner tous les nœuds en ligne, cochez la case Nom du nœud dans l'en-tête de colonne.

Vous pouvez effectuer vos recherches par nom de nœud ou site.

Vous ne pouvez pas sélectionner les nœuds qui ne sont pas connectés à la grille.
Sélectionnez Continuer.
Sélectionnez un ou plusieurs volumes pour chaque nœud de la liste. Vous pouvez rechercher des volumes à l'aide du numéro du volume de stockage ou du nom du nœud.

Pour sélectionner tous les volumes pour chaque nœud sélectionné, cochez la case Volume de stockage dans l'en-tête de colonne.
Sélectionnez Continuer.
Sélectionnez le contrôle de cohérence du travail.

Le contrôle de cohérence détermine le nombre de copies de métadonnées d'objet utilisées pour la vérification de l'existence de l'objet.
- Site fort : deux copies de métadonnées sur un seul site.
- Fort-global: Deux copies de métadonnées à chaque site.
- Tout (par défaut) : les trois copies des métadonnées de chaque site.
  
  Pour plus d'informations sur le contrôle de cohérence, reportez-vous aux descriptions de l'assistant.
Sélectionnez Continuer.
Vérifiez et vérifiez vos sélections. Vous pouvez sélectionner Précédent pour passer à l'étape précédente de l'assistant afin de mettre à jour vos sélections.

Un travail de vérification de l'existence d'un objet est généré et exécuté jusqu'à ce que l'un des événements suivants se produise :
- Le travail se termine.
- Vous mettez en pause ou annulez le travail. Vous pouvez reprendre un travail que vous avez mis en pause, mais vous ne pouvez pas reprendre un travail que vous avez annulé.
- Le travail se bloque. L'alerte * Vérification de l'existence de l'objet a calé* est déclenchée. Suivez les actions correctives spécifiées pour l'alerte.
- Le travail échoue. L'alerte échec de la vérification de l'existence de l'objet est déclenchée. Suivez les actions correctives spécifiées pour l'alerte.
- Un message "Service indisponible" ou "erreur de serveur interne" s'affiche. Au bout d'une minute, actualisez la page pour continuer à surveiller le travail.
  
  Si nécessaire, vous pouvez naviguer hors de la page de vérification de l'existence d'un objet et revenir à la page de suivi du travail.
Pendant l'exécution du travail, affichez l'onglet travail actif et notez la valeur des copies d'objet manquantes détectées.

Cette valeur représente le nombre total de copies manquantes d'objets répliqués et d'objets avec code d'effacement avec un ou plusieurs fragments manquants.

Si le nombre de copies d'objet manquantes détectées est supérieur à 100, il peut y avoir un problème avec le stockage du nœud de stockage.
Une fois le travail terminé, prenez les mesures supplémentaires requises :
- Si les copies d'objet manquantes détectées sont nulles, aucun problème n'a été trouvé. Aucune action n'est requise.
- Si les copies d'objet manquantes détectées sont supérieures à zéro et que l'alerte objets perdus n'a pas été déclenchée, toutes les copies manquantes ont été réparées par le système. Vérifiez que tout problème matériel a été corrigé pour éviter d'endommager ultérieurement les copies d'objet.
- Si les copies d'objet manquantes détectées sont supérieures à zéro et que l'alerte objets perdus a été déclenchée, l'intégrité des données pourrait être affectée. Contactez l'assistance technique.
- Vous pouvez étudier les copies d'objet perdues en utilisant grep pour extraire les messages d'audit LLST : grep LLST audit_file_name.
  
  Cette procédure est similaire à celle pour analyse des objets perdus, bien que pour les copies d'objet que vous recherchez LLST au lieu de OLST.
Si vous avez sélectionné le contrôle de cohérence fort site ou fort global pour le travail, attendez environ trois semaines pour la cohérence des métadonnées, puis relancez le travail sur les mêmes volumes.

Lorsque StorageGRID a eu le temps d'assurer la cohérence des métadonnées pour les nœuds et les volumes inclus dans le travail, réexécuter ce travail peut effacer les copies d'objet manquantes, ou faire vérifier d'autres copies d'objet si elles ne sont pas prises en compte.
1. Sélectionnez MAINTENANCE Vérification de l'existence d'objet Historique du travail.
2. Déterminez les travaux prêts à être réexécutés :
  1. Consultez la colonne end Time pour déterminer les tâches qui ont été exécutées il y a plus de trois semaines.
  2. Pour ces travaux, scannez la colonne de contrôle de cohérence pour obtenir un site fort ou fort-global.
3. Cochez la case pour chaque travail que vous souhaitez relancer, puis sélectionnez repassage.
4. Dans l'assistant repassage de travaux, vérifiez les nœuds et volumes sélectionnés et le contrôle de cohérence.
5. Lorsque vous êtes prêt à réexécuter les travaux, sélectionnez repassage.

L'onglet travail actif s'affiche. Tous les travaux que vous avez sélectionnés sont réexécutés comme un travail au niveau d'un contrôle de cohérence du site fort. Un champ travaux connexes de la section Détails répertorie les ID des travaux d'origine.

Une fois que vous avez terminé

Si vous avez toujours des problèmes d'intégrité des données, allez à SUPPORT Outils topologie de grille site Storage Node LDR Vérification Configuration main et augmentez le taux de vérification d'arrière-plan. La vérification en arrière-plan vérifie l'exactitude de toutes les données d'objet stockées et répare tout problème détecté. Trouver et réparer les problèmes le plus rapidement possible réduit le risque de perte de données.