Services de configuration RAID du logiciel ONTAP Select pour le stockage local
Le RAID logiciel est une couche d'abstraction RAID implémentée dans la pile logicielle ONTAP. Elle fournit les mêmes fonctionnalités que la couche RAID sur une plateforme ONTAP traditionnelle telle que FAS. La couche RAID effectue des calculs de parité des disques et protège contre les pannes de disques individuelles au sein d'un nœud ONTAP Select.
Indépendamment des configurations RAID matérielles, ONTAP Select propose également une option RAID logicielle. Un contrôleur RAID matériel peut ne pas être disponible ou n'être pas souhaitable dans certains environnements, notamment lors du déploiement de ONTAP Select sur un matériel générique petit format. Software RAID étend les options de déploiement disponibles pour inclure de tels environnements. Pour activer le RAID logiciel dans votre environnement, voici quelques points à retenir :
-
Elle est disponible avec une licence Premium ou Premium XL.
-
Elle prend uniquement en charge les disques SSD ou NVMe (requiert une licence Premium XL) pour les disques racine ONTAP et de données.
-
Il nécessite un disque système distinct pour la partition de démarrage de la machine virtuelle ONTAP Select.
-
Choisissez un disque distinct, soit un disque SSD, soit un lecteur NVMe, pour créer un datastore pour les disques système (NVRAM, carte Boot/CF, coredump et Mediator dans une configuration à plusieurs nœuds).
-
Configuration RAID logicielle dans les systèmes dotés de contrôleurs RAID matériels
Lors de l'utilisation d'un RAID logiciel, l'absence de contrôleur RAID matériel est idéale, mais si un système possède déjà un contrôleur RAID, celui-ci doit répondre à l'une des exigences suivantes :
-
Vous devez désactiver le contrôleur RAID matériel pour que les disques puissent être présentés directement au système (JBOD). Cette modification peut généralement être effectuée dans le BIOS du contrôleur RAID.
-
Le contrôleur RAID matériel doit être en mode SAS HBA. Par exemple, certaines configurations BIOS proposent un mode « AHCI » en plus du RAID, que vous pouvez sélectionner pour activer le mode JBOD. Cela permet un passthrough, de sorte que les disques physiques puissent être vus tels quels sur l'hôte.
Selon le nombre maximal de disques pris en charge par le contrôleur, un contrôleur supplémentaire peut être nécessaire. Avec le mode HBA SAS, assurez-vous que le contrôleur d'E/S (HBA SAS) est pris en charge avec un débit minimum de 6 Gbit/s. Cependant, NetApp recommande un débit de 12 Gbit/s.
Aucun autre mode ou configuration de contrôleur RAID matériel n'est pris en charge. Par exemple, certains contrôleurs prennent en charge le RAID 0, ce qui permet artificiellement le passage des disques, mais les conséquences peuvent être indésirables. La taille des disques physiques pris en charge (SSD uniquement) est comprise entre 200 Go et 16 To.
|
|
Les administrateurs doivent garder le contrôle des disques utilisés par la machine virtuelle ONTAP Select et éviter toute utilisation involontaire de ces disques sur l'hôte. |
Disques système ONTAP Select
Les disques système sont les disques virtuels (VMDK) utilisés au sein de la machine virtuelle ONTAP Select pour diverses fonctions telles que le clustering, le démarrage, etc. Les disques système sont physiquement situés sur un seul disque physique (appelé collectivement disque physique système), tel qu’il apparaît depuis l’hôte. Le disque physique (SSD ou NVMe) doit contenir une banque de données DAS.
Lors du déploiement du cluster, ONTAP Deploy crée les disques système suivants sur le datastore DAS dédié pour l’ONTAP Select VM.
| VMDK | But | Taille |
|---|---|---|
Carte de démarrage / carte CF |
périphérique de démarrage |
10 GB |
Cœur |
vidage mémoire du noyau/espace utilisateur |
120 GB |
NVRAM |
NVRAM virtualisée (vNVRAM) Remarque : le disque vNVRAM nécessite un support rapide et durable. Par conséquent, seuls les datastores de type NVMe et SSD sont pris en charge. |
4 GB |
Comme bonne pratique, les disques système doivent être plus petits que les disques de données (Raw Device Mappings (RDM) pour les SSD et PCI passthrough pour les NVMe). Les disques système doivent uniquement contenir l’encombrement total des VMDK d’environ 134 Go, plus la marge disponible du datastore.
Il n'est pas possible de séparer davantage les disques système sur plusieurs datastores ou sur plusieurs disques physiques. Ils doivent résider sur un seul disque système physique. Vous pouvez consulter les informations relatives aux disques système en exécutant les commandes suivantes à partir du nœud ONTAP Select system node virtual-machine instance show-system-disks:
|
|
|
Configurations de disques virtuels et physiques pour ONTAP Select
Pour les configurations avec des contrôleurs RAID matériels, la redondance physique des disques est assurée par le contrôleur RAID. ONTAP Select se voit présenter un ou plusieurs disques de données à partir desquels l’administrateur ONTAP peut configurer des agrégats de données. Ces VMDKs sont répartis selon un format RAID 0, car l’utilisation du RAID logiciel ONTAP est redondante, inefficace et peu efficace en raison de la résilience fournie au niveau matériel. De plus, les VMDKs utilisés pour les disques système se trouvent dans le même datastore que les VMDKs utilisés pour stocker les données utilisateur.
Lors de l’utilisation d’un RAID logiciel, ONTAP Deploy présente à ONTAP Select un ensemble de disques système (VMDK) et de disques physiques RDM pour les SSD, ainsi que des périphériques d’E/S PCI en mode passthrough ou DirectPath pour les NVMe. Les figures suivantes montrent plus en détail la relation entre les disques NVMe et SSD, en mettant en évidence la différence entre les disques virtualisés utilisés pour les composants internes de la VM ONTAP Select et les disques physiques utilisés pour stocker les données utilisateur.
- Utilisation de disques virtualisés et de RDM avec des SSD
-
Utilise les RDM de l’hyperviseur pour présenter des disques de données SSD physiques à la VM, ce qui permet l’ajout et le remplacement dynamiques de disques sans redémarrer ONTAP Select.
- Utilisation de périphériques d’E/S en transfert direct ou DirectPath avec NVMe
-
Utilise le passthrough PCI ou les E/S DirectPath pour contourner la pile de stockage de l’hyperviseur et attribuer directement des lecteurs de données NVMe physiques aux disques de données. Cette configuration nécessite un redémarrage de la machine virtuelle lors de l’ajout ou du remplacement de lecteurs. Lorsque des lecteurs NVMe sont utilisés pour les données, le disque système doit également être un périphérique NVMe pour des raisons de performances.
Vous devez disposer d’un disque NVMe pour le datastore DAS dédié qui n’est pas configuré pour le passthrough PCI ou les E/S DirectPath.
Chaque disque de données est divisé en trois parties : une petite partition racine (stripe) et deux partitions de taille égale pour créer deux disques de données visibles dans la machine virtuelle ONTAP Select . Les partitions utilisent le schéma RD2 (Root Data Data), comme illustré dans les figures suivantes pour un cluster à nœud unique et pour un nœud d'une paire haute disponibilité (HA).
P désigne un lecteur de parité, DP désigne un lecteur à double parité, et S désigne un lecteur de secours.
- Partitionnement de disque RDD pour les clusters à un seul nœud
-

- Partitionnement de disque RDD pour les clusters multi-nœuds (paires haute disponibilité)
-

Le RAID logiciel ONTAP prend en charge les types RAID suivants : RAID 4, RAID-DP et RAID-TEC. Il s'agit des mêmes constructions RAID utilisées par les plateformes FAS et AFF. Pour le provisionnement racine, ONTAP Select prend uniquement en charge RAID 4 et RAID-DP. Lors de l'utilisation de RAID-TEC pour l'agrégat de données, la protection globale est de type RAID-DP. La haute disponibilité d'ONTAP Select utilise une architecture sans partage qui réplique la configuration de chaque nœud sur l'autre nœud. Cela signifie que chaque nœud doit stocker sa partition racine et une copie de la partition racine de son homologue. Un disque de données comporte une seule partition racine. Cela signifie que le nombre minimal de disques de données varie selon que le nœud ONTAP Select fait partie d'une paire haute disponibilité.
Pour les clusters à un seul nœud, toutes les partitions de données sont utilisées pour stocker des données locales (actives). Pour les nœuds faisant partie d'une paire haute disponibilité, une partition de données est utilisée pour stocker les données locales (actives) pour ce nœud et la seconde partition de données est utilisée pour mettre en miroir les données actives depuis le homologue haute disponibilité.
Périphériques en transfert direct (DirectPath E/S) par rapport aux RDM
Les hyperviseurs ESXi et KVM ne prennent pas en charge les disques NVMe en tant que RDM. Pour permettre à ONTAP Select de contrôler directement les disques NVMe, vous devez configurer ces disques comme périphériques passthrough dans ESXi ou KVM. Lorsque vous configurez un périphérique NVMe comme périphérique passthrough, la prise en charge du BIOS du serveur est requise et vous devrez peut-être redémarrer l'hôte. En outre, le nombre de périphériques passthrough pouvant être attribués par hôte est limité, et il peut varier selon la plateforme. Cependant, ONTAP Deploy limite ce nombre à 14 périphériques NVMe par nœud ONTAP Select. Cela signifie que la configuration NVMe offre une très forte densité d'IOPS (IOPS/To) au détriment de la capacité totale. Sinon, si vous souhaitez une configuration haute performance avec une plus grande capacité de stockage, la configuration recommandée consiste à utiliser une grande taille de VM ONTAP Select et un nombre nominal de disques SSD pour le stockage des données.
|
|
Pour exploiter pleinement les performances de NVMe, pensez à la taille importante des machines virtuelles ONTAP Select. |
Il existe une différence supplémentaire entre les périphériques de transfert et les RDM. Les RDM peuvent être mappés à une machine virtuelle en cours d'exécution. Les périphériques de transfert nécessitent un redémarrage de la machine virtuelle. Cela signifie que tout remplacement de disque NVMe ou extension de capacité (ajout de disque) nécessite un redémarrage de la machine virtuelle ONTAP Select . Ces opérations sont gérées par un workflow dans ONTAP Deploy. ONTAP Deploy gère le redémarrage ONTAP Select pour les clusters à nœud unique et le basculement/la restauration automatique pour les paires haute disponibilité. Cependant, il est important de noter la différence entre l'utilisation de disques de données SSD (aucun redémarrage/basculement ONTAP Select requis) et l'utilisation de disques de données NVMe (redémarrage/basculement ONTAP Select requis).
|
|
ONTAP Select prend en charge les disques NVMe en tant que disques SCSI sur les hyperviseurs Hyper-V. ONTAP Select ne prend pas en charge les disques NVMe en tant qu'affectations de périphériques discrets (périphériques passthrough) sur les hyperviseurs Hyper-V. |
Provisionnement des disques physiques et virtuels
Pour optimiser l'expérience utilisateur, le déploiement de ONTAP provisionne automatiquement les disques (virtuels) du datastore spécifié (disque du système physique) et les connecte à la machine virtuelle ONTAP Select. Cette opération a lieu automatiquement lors de la configuration initiale afin que la machine virtuelle ONTAP Select puisse démarrer. Les RDM sont partitionnés et l'agrégat racine est automatiquement créé. Si le nœud ONTAP Select fait partie d'une paire haute disponibilité, les partitions de données sont automatiquement attribuées à un pool de stockage local et à un pool de stockage en miroir. Cette affectation a lieu automatiquement lors des opérations de création de clusters et d'ajout de stockage.
Étant donné que les disques de données de la machine virtuelle ONTAP Select sont associés aux disques physiques sous-jacents, la création de configurations avec un plus grand nombre de disques physiques a des implications sur les performances.
|
|
Le type de groupe RAID de l'agrégat racine dépend du nombre de disques disponibles. Le déploiement de ONTAP sélectionne le type de groupe RAID approprié. S'il dispose de suffisamment de disques alloués au nœud, il utilise RAID-DP, sinon il crée un agrégat racine RAID-4. |
Lors de l'ajout de capacité à une machine virtuelle ONTAP Select via RAID logiciel, l'administrateur doit tenir compte de la taille du disque physique et du nombre de disques requis. Pour plus de détails, consultez la section "Augmenter la capacité de stockage" .
Comme pour les systèmes FAS et AFF , vous ne pouvez ajouter que des disques de capacité égale ou supérieure à un groupe RAID existant. Les disques de plus grande capacité sont dimensionnés de manière optimale. Si vous créez de nouveaux groupes RAID, la taille du nouveau groupe RAID doit correspondre à celle du groupe RAID existant afin de garantir une performance globale optimale.
Associez un disque ONTAP Select au disque ESXi, Hyper-V ou KVM correspondant
Les disques ONTAP Select sont généralement étiquetés NET x.y Vous pouvez utiliser la commande ONTAP suivante pour obtenir l'UUID du disque :
<system name>::> disk show NET-1.1
Disk: NET-1.1
Model: Micron_5100_MTFD
Serial Number: 1723175C0B5E
UID: *500A0751:175C0B5E*:00000000:00000000:00000000:00000000:00000000:00000000:00000000:00000000
BPS: 512
Physical Size: 894.3GB
Position: shared
Checksum Compatibility: advanced_zoned
Aggregate: -
Plex: -This UID can be matched with the device UID displayed in the ‘storage devices’ tab for the ESX host

Dans le shell ESXi, Hyper-V ou KVM, vous pouvez saisir la commande suivante pour faire clignoter la LED d’un disque physique donné (identifié par son naa.unique-id).
esxcli storage core device set -d <naa_id> -l=locator -L=<seconds>
Enable-PhysicalDiskIdentification -UniqueId <unique_id>
cat /sys/block/<block_device_id>/device/wwid
Pannes de plusieurs disques lors de l'utilisation du RAID logiciel
Il est possible qu'un système rencontre une situation dans laquelle plusieurs disques sont en panne en même temps. Le comportement du système dépend de la protection RAID de l'agrégat et du nombre de disques défaillants.
Un agrégat RAID4 peut survivre à une panne de disque, et un agrégat RAID-DP peut survivre à deux pannes de disque et un agrégat RAID-TEC peut survivre à trois défaillances de disques.
Si le nombre de disques défaillants est inférieur au nombre maximal de défaillances pris en charge par ce type RAID et si un disque de spare est disponible, le processus de reconstruction démarre automatiquement. Si des disques de spare ne sont pas disponibles, l'agrégat transmet des données en état dégradé jusqu'à l'ajout de disques de spare.
Si le nombre de disques défaillants est supérieur au nombre maximal de défaillances pris en charge par le type RAID, le plex local est marqué comme défectueux et l'état de l'agrégat est dégradé. Les données sont servies par le second plex résidant sur le partenaire de haute disponibilité. Cela signifie que toutes les demandes d'E/S du nœud 1 sont envoyées via le port d'interconnexion de cluster e0e (iSCSI) aux disques physiquement situés sur le nœud 2. Si le second plex tombe également en panne, l'agrégat est marqué comme étant en panne et les données sont indisponibles.
Un plex défaillant doit être supprimé puis recréé pour que la mise en miroir des données reprenne correctement. Notez qu'une panne multidisque entraînant la dégradation d'un agrégat de données entraîne également la dégradation d'un agrégat racine. ONTAP Select utilise le schéma de partitionnement root-data-data (RDD) pour diviser chaque disque physique en une partition racine et deux partitions de données. Par conséquent, la perte d'un ou plusieurs disques peut affecter plusieurs agrégats, notamment la racine locale ou la copie de l'agrégat racine distant, ainsi que l'agrégat de données local et la copie de l'agrégat de données distant.
Un plex défaillant est supprimé et recréé dans l'exemple de sortie suivant :
C3111E67::> storage aggregate plex delete -aggregate aggr1 -plex plex1
Warning: Deleting plex "plex1" of mirrored aggregate "aggr1" in a non-shared HA configuration will disable its synchronous mirror protection and disable
negotiated takeover of node "sti-rx2540-335a" when aggregate "aggr1" is online.
Do you want to continue? {y|n}: y
[Job 78] Job succeeded: DONE
C3111E67::> storage aggregate mirror -aggregate aggr1
Info: Disks would be added to aggregate "aggr1" on node "sti-rx2540-335a" in the following manner:
Second Plex
RAID Group rg0, 5 disks (advanced_zoned checksum, raid_dp)
Usable Physical
Position Disk Type Size Size
---------- ------------------------- ---------- -------- --------
shared NET-3.2 SSD - -
shared NET-3.3 SSD - -
shared NET-3.4 SSD 208.4GB 208.4GB
shared NET-3.5 SSD 208.4GB 208.4GB
shared NET-3.12 SSD 208.4GB 208.4GB
Aggregate capacity available for volume use would be 526.1GB.
625.2GB would be used from capacity license.
Do you want to continue? {y|n}: y
C3111E67::> storage aggregate show-status -aggregate aggr1
Owner Node: sti-rx2540-335a
Aggregate: aggr1 (online, raid_dp, mirrored) (advanced_zoned checksums)
Plex: /aggr1/plex0 (online, normal, active, pool0)
RAID Group /aggr1/plex0/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-1.1 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.2 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.3 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.10 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.11 0 SSD - 205.1GB 447.1GB (normal)
Plex: /aggr1/plex3 (online, normal, active, pool1)
RAID Group /aggr1/plex3/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-3.2 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.3 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.4 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.5 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.12 1 SSD - 205.1GB 447.1GB (normal)
10 entries were displayed..
|
|
Pour tester ou simuler une ou plusieurs défaillances de lecteur, utiliser le set advanced disk unfail -disk NET-x.y -spare true disk show -broken La sortie de la dernière commande doit être vide. |
NVRAM virtualisée
En général, les systèmes FAS de NetApp sont équipés d'une carte PCI NVRAM physique. Cette carte hautes performances contient une mémoire Flash non volatile qui permet de booster considérablement les performances en écriture. En effet, ONTAP permet à ce dernier de valider immédiatement les écritures entrantes sur le client. Il peut également planifier le déplacement des blocs de données modifiés vers le support de stockage plus lent, dans le cadre d'un processus appelé déchargement.
Les systèmes de produits de base ne sont généralement pas équipés de ce type d'équipement. La fonctionnalité de la carte NVRAM a donc été virtualisée et placée dans une partition sur le disque de démarrage du système ONTAP Select. C'est pour cette raison que le placement du disque virtuel système de l'instance est extrêmement important.