Découvrez le rééquilibrage EC après l'extension de StorageGRID
Suggérer des modifications
PDF
Si vous effectuez une extension pour ajouter des nœuds de stockage et que vous utilisez des règles ILM pour le code d'effacement des données, vous devrez peut-être effectuer la procédure de rééquilibrage du code d'effacement (EC) si vous ne pouvez pas ajouter suffisamment de nœuds de stockage pour le schéma de code d'effacement que vous utilisez.
Après avoir pris en compte ces éléments, effectuez l'expansion, puis allez à "Rééquilibrer les données à code d'effacement après l'ajout de nœuds de stockage" pour exécuter la procédure.
Qu'est-ce que le rééquilibrage EC ?
Le rééquilibrage EC est une procédure StorageGRID qui peut s'avérer nécessaire après une extension de nœud de stockage. La procédure s'exécute sous forme de script en ligne de commande depuis le nœud d'administration principal. Lorsque vous exécutez la procédure de rééquilibrage EC, StorageGRID redistribue les fragments à code d'effacement entre les nœuds de stockage existants et les nouveaux nœuds ajoutés sur un site.
La procédure de rééquilibrage du code d'effacement :
-
Déplace uniquement les données d'objets codées par effacement. Ne déplace pas les données d'objets répliquées.
-
Redistribue les données au sein d'un site. Il ne déplace pas les données entre sites.
-
Redistribue les données entre tous les nœuds de stockage d'un site. Elle ne redistribue pas les données au sein des volumes de stockage.
-
Tente de répartir le même nombre d'octets entre chaque nœud. Les nœuds contenant davantage de données répliquées stockeront moins de données à code d'effacement après la fin du rééquilibrage.
-
Redistribue uniformément les données à code d'effacement entre les nœuds de stockage sans tenir compte des capacités relatives de chaque nœud. Les données répliquées sont incluses dans le calcul.
-
Ne distribuera pas les données à code d'effacement aux nœuds de stockage remplis à plus de 80 %.
-
Peut diminuer les performances des opérations ILM et des opérations client S3 lorsqu’il est exécuté—des ressources supplémentaires sont nécessaires pour redistribuer les fragments de code d'effacement.
Une fois la procédure de rééquilibrage EC terminée :
-
Les données à code d'effacement auront été déplacées des nœuds de stockage disposant de moins d'espace disponible vers des nœuds de stockage disposant de plus d'espace disponible.
-
La protection des données des objets à code d'effacement restera inchangée.
-
Les valeurs utilisées (%) peuvent différer entre les nœuds de stockage pour deux raisons :
-
Les copies d'objets répliquées continueront à consommer de l'espace sur les nœuds existants—la procédure de rééquilibrage EC ne déplace pas les données répliquées.
-
Les nœuds de plus grande capacité seront relativement moins remplis que les nœuds de plus petite capacité, même si tous les nœuds finiront par contenir à peu près la même quantité de données.
Par exemple, supposons que trois nœuds de 200 To soient remplis à 80 % chacun (200 × 0,8 = 160 To par nœud, soit 480 To pour le site). Si vous ajoutez un nœud de 400 To et exécutez la procédure de rééquilibrage, tous les nœuds disposeront désormais d'une quantité approximativement identique de données de code d'effacement (480 / 4 = 120 To). Cependant, le pourcentage d'utilisation du nœud le plus volumineux sera inférieur à celui des nœuds les plus petits.
-
Quand rééquilibrer les données codées par effacement
La procédure de rééquilibrage EC redistribue les données à code d'effacement existantes afin d'éviter que les nœuds ne deviennent ou ne restent pleins. La procédure permet de garantir que le codage EC puisse continuer sur le site.
Exécutez la procédure de rééquilibrage lorsqu'il existe un biais préoccupant dans la distribution des données sur un site et que ce site stocke principalement des données EC (puisque les données répliquées ne peuvent pas être déplacées par rééquilibrage).
Considérez le scénario suivant :
-
StorageGRID fonctionne sur un seul site, qui comprend trois nœuds de stockage.
-
La politique ILM utilise une règle de code d'effacement 2+1 pour tous les objets supérieurs à 1,0 Mo et une règle de réplication à 2 copies pour les objets plus petits.
-
Tous les nœuds de stockage sont complètement saturés. L’alerte Stockage objet insuffisant a été déclenchée au niveau de gravité majeur.
Le rééquilibrage n'est pas nécessaire si vous ajoutez suffisamment de nœuds.
Pour comprendre quand un rééquilibrage EC n'est pas nécessaire, supposons que vous ayez ajouté trois (ou plus) nouveaux nœuds de stockage. Dans ce cas, vous n'avez pas besoin d'effectuer de rééquilibrage EC. Les nœuds de stockage d'origine resteront pleins, mais les nouveaux objets utiliseront désormais les trois nouveaux nœuds pour le code d'effacement 2+1 : les deux fragments de données et le fragment de parité pourront chacun être stockés sur un nœud différent.
|
Bien que vous puissiez exécuter la procédure de rééquilibrage EC dans ce cas, le déplacement des données existantes codées par effacement diminuera temporairement les performances du grid, ce qui pourrait impacter les opérations des clients. |
Un rééquilibrage est nécessaire si vous ne pouvez pas ajouter suffisamment de nœuds
Pour comprendre quand un rééquilibrage EC est nécessaire, supposons que vous ne puissiez ajouter que deux nœuds de stockage au lieu de trois. Étant donné que le schéma 2+1 requiert au moins trois nœuds de stockage pour disposer d'espace disponible, les nœuds vides ne peuvent pas être utilisés pour de nouvelles données à code d'effacement.
Pour utiliser les nouveaux nœuds de stockage, vous devez exécuter la procédure de rééquilibrage EC. Lorsque cette procédure s'exécute, StorageGRID redistribue les données et fragments de parité à code d'effacement existants entre tous les nœuds de stockage du site. Dans cet exemple, une fois la procédure de rééquilibrage EC terminée, les cinq nœuds ne sont remplis qu'à 60 %, et l'ingestion d'objets peut se poursuivre selon le schéma de code d'effacement 2+1 sur tous les nœuds de stockage.
Recommandations pour le rééquilibrage du code d'effacement
NetApp nécessite un rééquilibrage du CE si toutes les affirmations suivantes sont vraies :
-
Vous utilisez le code d'effacement pour vos données d'objet.
-
L'alerte Stockage d'objets faible a été déclenchée pour un ou plusieurs nœuds de stockage sur un site, indiquant que les nœuds sont remplis à 80 % ou plus.
-
Vous ne pouvez pas ajouter suffisamment de nouveaux nœuds de stockage pour le schéma de code d'effacement utilisé. Voir "Ajouter de la capacité de stockage pour les objets à code d'effacement".
-
Vos clients S3 peuvent tolérer des performances moindres pour leurs opérations d'écriture et de lecture pendant l'exécution de la procédure de rééquilibrage EC.
Vous pouvez exécuter la procédure de rééquilibrage EC si vous préférez que les nœuds de stockage soient remplis à des niveaux similaires et si vos clients S3 peuvent tolérer des performances moindres pour leurs opérations d'écriture et de lecture pendant l'exécution de la procédure de rééquilibrage EC.
Comment la procédure de rééquilibrage EC interagit avec les autres tâches de maintenance
Vous ne pouvez pas effectuer certaines procédures de maintenance en même temps que la procédure de rééquilibrage EC.
| Procédure | Autorisé lors de la procédure de rééquilibrage du code d'effacement ? |
|---|---|
Procédures de rééquilibrage EC supplémentaires |
Non. Vous ne pouvez exécuter qu'une seule procédure de rééquilibrage EC à la fois. |
Procédure de mise hors service Travail de réparation de données EC |
Non.
|
Procédure d'expansion |
Non. Si vous devez ajouter de nouveaux nœuds de stockage lors d'une extension, exécutez la procédure de rééquilibrage EC après avoir ajouté tous les nouveaux nœuds. |
Procédure de mise à niveau |
Non. Si vous devez mettre à niveau le logiciel StorageGRID, effectuez la procédure de mise à niveau avant ou après avoir exécuté la procédure de rééquilibrage EC. Au besoin, vous pouvez interrompre la procédure de rééquilibrage EC pour effectuer une mise à niveau logicielle. |
Procédure de clonage de nœud d'appliance |
Non. Si vous devez cloner un nœud de stockage d'appliance, exécutez la procédure de rééquilibrage EC après avoir ajouté le nouveau nœud. |
Procédure de correctif |
Oui. Vous pouvez appliquer un correctif StorageGRID pendant l'exécution de la procédure de rééquilibrage EC. |
Autres procédures de maintenance |
Non. Vous devez interrompre la procédure de rééquilibrage EC avant d'exécuter d'autres procédures de maintenance. |
Comment la procédure de rééquilibrage EC interagit avec l'ILM
Pendant la procédure de rééquilibrage EC, évitez toute modification ILM susceptible de modifier l'emplacement des objets à code d'effacement existants. Par exemple, n'utilisez pas une règle ILM dont le profil de code d'effacement est différent. Si vous devez effectuer de telles modifications ILM, vous devez interrompre la procédure de rééquilibrage EC.