ONTAP Select Software RAID-Konfigurationsservices für lokal angeschlossenen Speicher
Software-RAID ist eine RAID-Abstraktionsschicht, die im ONTAP Software-Stack implementiert ist. Die Lösung bietet dieselben Funktionen wie die RAID-Ebene in einer herkömmlichen ONTAP Plattform wie FAS. Die RAID-Schicht berechnet für die Laufwerksparität und bietet Schutz vor einzelnen Laufwerksausfällen innerhalb eines ONTAP Select Node.
Unabhängig von den Hardware-RAID-Konfigurationen bietet ONTAP Select auch Software-RAID-Option. Ein Hardware-RAID-Controller ist möglicherweise nicht verfügbar oder in bestimmten Umgebungen möglicherweise nicht wünschenswert, beispielsweise wenn ONTAP Select auf einer Small Form-Factor-Standardhardware implementiert wird. Software RAID erweitert die verfügbaren Implementierungsoptionen auf solche Umgebungen. Um Software-RAID in Ihrer Umgebung zu aktivieren, sollten Sie sich hier einige Punkte merken:
-
Es ist mit einer Premium- oder Premium XL-Lizenz erhältlich.
-
Es unterstützt nur SSD- oder NVMe-Laufwerke (erfordert eine Premium-XL-Lizenz) für ONTAP Root- und Datenfestplatten.
-
Für die ONTAP Select VM Boot-Partition ist eine separate Systemfestplatte erforderlich.
-
Wählen Sie ein separates Laufwerk, entweder ein SSD- oder ein NVMe-Laufwerk, um einen Datastore für die Systemfestplatten zu erstellen (NVRAM, Boot/CF-Karte, Coredump und Mediator in einem Multi-Node-Setup).
-
Konfiguration von Software RAID in Systemen mit Hardware RAID-Controllern
Bei der Verwendung von Software-RAID ist das Fehlen eines Hardware-RAID-Controllers ideal. Verfügt ein System jedoch über einen vorhandenen RAID-Controller, muss dieser eine der folgenden Anforderungen erfüllen:
-
Sie müssen den Hardware-RAID-Controller deaktivieren, damit Festplatten direkt an das System übermittelt werden können (JBOD). Diese Änderung können Sie normalerweise im BIOS des RAID-Controllers vornehmen.
-
Der Hardware RAID-Controller muss im SAS HBA-Modus betrieben werden. Beispielsweise erlauben einige BIOS-Konfigurationen neben RAID auch einen "AHCI"-Modus, mit dem der JBOD-Modus aktiviert werden kann. Dadurch wird ein Passthrough ermöglicht, sodass die physischen Laufwerke auf dem Host unverändert erkannt werden.
Abhängig von der maximalen Anzahl der vom Controller unterstützten Laufwerke kann ein zusätzlicher Controller erforderlich sein. Stellen Sie im SAS-HBA-Modus sicher, dass der E/A-Controller (SAS-HBA) mit einer Geschwindigkeit von mindestens 6 Gbit/s unterstützt wird. NetApp empfiehlt jedoch eine Geschwindigkeit von 12 Gbit/s.
Andere Hardware-RAID-Controller-Modi oder -Konfigurationen werden nicht unterstützt. Einige Controller ermöglichen beispielsweise RAID 0, wodurch Festplatten künstlich durchgelassen werden können, was jedoch unerwünschte Auswirkungen haben kann. Die unterstützte Größe physischer Festplatten (nur SSD) liegt zwischen 200 GB und 16 TB.
|
|
Administratoren müssen nachverfolgen, welche Laufwerke von der ONTAP Select VM verwendet werden, und vermeiden die unbeabsichtigte Nutzung der Laufwerke auf dem Host. |
ONTAP Select Systemdatenträger
Systemfestplatten sind die virtuellen Festplatten (VMDKs), die in der ONTAP Select VM für verschiedene Aufgaben wie Clustering, Booten usw. verwendet werden. Die Systemfestplatten befinden sich physisch auf einer einzigen physischen Festplatte (gemeinsam als physische Systemfestplatte bezeichnet), aus Sicht des Hosts. Die physische Festplatte (SSD oder NVMe) muss einen DAS-Datenspeicher enthalten.
Während des Cluster Deployments erstellt ONTAP Deploy die folgenden Systemfestplatten auf dem dedizierten DAS-Datenspeicher für die ONTAP Select VM.
| VMDK | Zweck | Größe |
|---|---|---|
Boot / CF-Karte |
Boot-Gerät |
10 GB |
Kern |
Kernel-/Benutzerbereichs-Core-Dump |
120 GB |
NVRAM |
Virtualisierter NVRAM (vNVRAM) Hinweis: Die vNVRAM-Festplatte benötigt ein schnelles und langlebiges Speichermedium. Daher werden nur NVMe- und SSD-basierte Datenspeicher unterstützt. |
4 GB |
Als bewährte Methode sollten die Systemfestplatten kleiner sein als die Datenlaufwerke (Raw Device Mappings (RDMs) für SSDs und PCI Passthrough für NVMe). Die Systemfestplatten müssen lediglich den gesamten VMDK-Speicherbedarf von ca. 134 GB zuzüglich einer Datastore-Reserve aufnehmen können.
Es ist nicht möglich, die Systemfestplatten weiter auf mehrere Datastores oder mehrere physische Laufwerke aufzuteilen. Sie müssen sich auf einer einzigen physischen Systemfestplatte befinden. Informationen zu den Systemfestplatten können mit den folgenden Befehlen auf dem ONTAP Select Knoten angezeigt werden: system node virtual-machine instance show-system-disks
|
|
|
ONTAP Select virtuelle und physische Festplattenkonfigurationen
Bei Konfigurationen mit Hardware-RAID-Controllern wird die physische Festplattenredundanz durch den RAID-Controller bereitgestellt. ONTAP Select verfügt über eine oder mehrere Datenfestplatten, aus denen der ONTAP Administrator Datenaggregate konfigurieren kann. Diese VMDKs sind im RAID-0-Format gestreift, weil die Verwendung von ONTAP Software RAID aufgrund der auf Hardwareebene bereitgestellten Ausfallsicherheit redundant, ineffizient und unwirksam ist. Außerdem befinden sich die für Systemfestplatten verwendeten VMDKs im selben Datastore wie die VMDKs, die zum Speichern von Benutzerdaten verwendet werden.
Bei Verwendung von Software RAID stellt ONTAP Deploy ONTAP Select einen Satz von Systemfestplatten (VMDKs) und physischen Festplatten-RDMs für SSDs sowie PCI-Passthrough- oder DirectPath E/A-Geräte für NVMe bereit. Die folgenden Abbildungen zeigen die Beziehung zwischen NVMe- und SSD-Laufwerken detaillierter und heben den Unterschied zwischen den virtualisierten Festplatten hervor, die für die internen Komponenten der ONTAP Select VM verwendet werden, und den physischen Festplatten, die zur Speicherung von Benutzerdaten verwendet werden.
- Verwendung von virtualisierten Festplatten und RDMs mit SSDs
-
Verwendet Hypervisor-RDMs, um der VM physische SSD-Datenlaufwerke bereitzustellen, was das dynamische Hinzufügen und Ersetzen von Laufwerken ohne Neustart von ONTAP Select ermöglicht.
- Verwendung von Passthrough- oder DirectPath IO-Geräten mit NVMe
-
Verwendet PCI Passthrough oder DirectPath I/O, um den Hypervisor-Storage-Stack zu umgehen und physische NVMe-Datenlaufwerke den Datenfestplatten direkt zuzuweisen. Diese Konfiguration erfordert beim Hinzufügen oder Ersetzen von Laufwerken einen Neustart der VM. Bei der Verwendung von NVMe-Laufwerken für Daten sollte aus Performancegründen auch die Systemfestplatte ein NVMe-Gerät sein.
Sie benötigen ein NVMe-Laufwerk für den dedizierten DAS-Datenspeicher, das nicht für PCI-Passthrough oder DirectPath I/O konfiguriert ist.
Jeder Datenträger ist in drei Teile unterteilt: eine kleine Root-Partition (Stripe) und zwei gleich große Partitionen, um zwei Datenträger zu erstellen, die in der ONTAP Select VM angezeigt werden. Partitionen verwenden das Root Data Data (RD2)-Schema, wie in den folgenden Abbildungen für einen Einzelknotencluster und für einen Knoten in einem Hochverfügbarkeitspaar (HA) dargestellt.
P bezeichnet ein Paritätslaufwerk, DP bezeichnet ein Laufwerk mit doppelter Parität und S kennzeichnet ein Ersatzlaufwerk.
- RDD-Festplattenpartitionierung für Single-Node-Cluster
-

- RDD-Festplattenpartitionierung für Multi-Node-Cluster (HA pairs)
-

ONTAP Software RAID unterstützt die folgenden RAID-Typen: RAID 4, RAID-DP und RAID-TEC. Dies sind dieselben RAID-Konstrukte, die von FAS und AFF Plattformen verwendet werden. Für die Root-Provisionierung unterstützt ONTAP Select nur RAID 4 und RAID-DP. Bei Verwendung von RAID-TEC für das Datenaggregat entspricht der Gesamtschutz RAID-DP. ONTAP Select HA verwendet eine Shared-Nothing-Architektur, die die Konfiguration jedes Knotens auf den jeweils anderen Knoten repliziert. Das bedeutet, dass jeder Knoten seine Root-Partition und eine Kopie der Root-Partition des Peer-Knotens speichern muss. Eine Datenfestplatte verfügt über eine einzelne Root-Partition. Das bedeutet, dass die Mindestanzahl an Datenfestplatten davon abhängt, ob der ONTAP Select Knoten Teil eines HA-Paars ist.
Bei Single-Node-Clustern werden alle Datenpartitionen zur Speicherung lokaler (aktiver) Daten verwendet. Bei Nodes, die Teil eines HA-Paars sind, wird eine Datenpartition verwendet, um lokale (aktive) Daten dieses Nodes zu speichern. Anschließend wird die zweite Datenpartition verwendet, um aktive Daten vom HA-Peer zu spiegeln.
Passthrough-Geräte (DirectPath IO) im Vergleich zu RDMs
ESXi- und KVM-Hypervisoren unterstützen NVMe-Festplatten nicht als RDMs. Damit ONTAP Select NVMe-Festplatten direkt steuern kann, müssen diese Laufwerke in ESXi oder KVM als Passthrough-Geräte konfiguriert werden. Wenn ein NVMe-Gerät als Passthrough-Gerät konfiguriert wird, erfordert dies Unterstützung durch das Server-BIOS, und möglicherweise muss der Host neu gestartet werden. Außerdem ist die Anzahl der Passthrough-Geräte, die pro Host zugewiesen werden können, begrenzt, wobei dies je nach Plattform variieren kann. ONTAP Deploy beschränkt dies jedoch auf 14 NVMe-Geräte pro ONTAP Select Knoten. Das bedeutet, dass die NVMe-Konfiguration eine sehr hohe IOPS-Dichte (IOPS/TB) auf Kosten der Gesamtkapazität bietet. Alternativ wird für eine Konfiguration mit hoher Performance und größerer Storage-Kapazität eine große ONTAP Select VM-Größe und eine moderate Anzahl von SSD-Laufwerken für das Daten-Storage empfohlen.
|
|
Wenn Sie alle Vorteile der NVMe-Performance nutzen möchten, sollten Sie sich die Größe einer großen ONTAP Select VM genauer betrachten. |
Es besteht ein weiterer Unterschied zwischen Passthrough-Geräten und RDMs. RDMs können einer laufenden VM zugeordnet werden. Passthrough-Geräte erfordern einen VM-Neustart. Das bedeutet, dass jeder NVMe-Laufwerksaustausch oder jede Kapazitätserweiterung (Laufwerkserweiterung) einen ONTAP Select VM-Neustart erfordert. Der Laufwerksaustausch und die Kapazitätserweiterung (Laufwerkserweiterung) werden durch einen Workflow in ONTAP Deploy gesteuert. ONTAP Deploy verwaltet den ONTAP Select Neustart für Single-Node-Cluster und das Failover/Failback für HA-Paare. Beachten Sie jedoch den Unterschied zwischen der Arbeit mit SSD-Datenlaufwerken (kein ONTAP Select Neustart/Failover erforderlich) und der Arbeit mit NVMe-Datenlaufwerken (ONTAP Select Neustart/Failover erforderlich).
|
|
ONTAP Select unterstützt NVMe-Laufwerke als SCSI-Festplatten auf Hyper-V-Hypervisoren. ONTAP Select unterstützt NVMe-Laufwerke nicht als Discrete Device Assignments (Passthrough-Geräte) auf Hyper-V-Hypervisoren. |
Bereitstellung physischer und virtueller Festplatten
Um eine effizientere Benutzererfahrung zu ermöglichen, stellt ONTAP Deployment automatisch die (virtuellen) Systemfestplatten vom angegebenen Datenspeicher (physische Systemfestplatte) bereit und wird an die ONTAP Select VM angeschlossen. Dieser Vorgang läuft automatisch während der Ersteinrichtung ab, sodass die ONTAP Select VM gebootet werden kann. Die RDMs werden partitioniert und das Root-Aggregat wird automatisch erstellt. Wenn der ONTAP Select Node Teil eines HA-Paars ist, werden die Datenpartitionen automatisch einem lokalen Storage-Pool und einem gespiegelten Storage-Pool zugewiesen. Diese Zuweisung erfolgt automatisch sowohl bei der Cluster-Erstellung als auch beim Storage-Hinzufügen.
Da die Datenfestplatten auf der ONTAP Select VM mit den zugrunde liegenden physischen Festplatten verknüpft sind, hat dies Auswirkungen auf die Performance, wenn Konfigurationen mit einer größeren Anzahl physischer Festplatten erstellt werden.
|
|
Der RAID-Gruppen-Typ des Root-Aggregats hängt von der Anzahl der verfügbaren Festplatten ab. ONTAP Deploy wählt den entsprechenden RAID-Gruppen-Typ aus. Wenn dem Knoten genügend Festplatten zugewiesen sind, verwendet er RAID-DP, sonst erstellt es ein RAID-4-Root-Aggregat. |
Beim Erweitern der Kapazität einer ONTAP Select VM mithilfe von Software-RAID muss der Administrator die physische Laufwerksgröße und die Anzahl der benötigten Laufwerke berücksichtigen. Weitere Informationen finden Sie unter "Erhöhung der Storage-Kapazität" .
Ähnlich wie bei FAS und AFF -Systemen können Sie einer bestehenden RAID-Gruppe nur Laufwerke mit gleicher oder größerer Kapazität hinzufügen. Laufwerke mit größerer Kapazität haben die richtige Größe. Wenn Sie neue RAID-Gruppen erstellen, sollte die Größe der neuen RAID-Gruppe der Größe der bestehenden RAID-Gruppe entsprechen, um sicherzustellen, dass die Gesamtleistung nicht beeinträchtigt wird.
Zuordnung einer ONTAP Select Festplatte zur entsprechenden ESXi-, Hyper-V- oder KVM-Festplatte
ONTAP Select-Festplatten werden in der Regel als NET x.y. bezeichnet Sie können die Festplatten-UUID mit dem folgenden ONTAP-Befehl abrufen:
<system name>::> disk show NET-1.1
Disk: NET-1.1
Model: Micron_5100_MTFD
Serial Number: 1723175C0B5E
UID: *500A0751:175C0B5E*:00000000:00000000:00000000:00000000:00000000:00000000:00000000:00000000
BPS: 512
Physical Size: 894.3GB
Position: shared
Checksum Compatibility: advanced_zoned
Aggregate: -
Plex: -This UID can be matched with the device UID displayed in the ‘storage devices’ tab for the ESX host

In der ESXi-, Hyper-V- oder KVM-Shell können Sie den folgenden Befehl eingeben, um die LED für eine bestimmte physische Festplatte (identifiziert durch ihre naa.unique-id) blinken zu lassen.
esxcli storage core device set -d <naa_id> -l=locator -L=<seconds>
Enable-PhysicalDiskIdentification -UniqueId <unique_id>
cat /sys/block/<block_device_id>/device/wwid
Beim Einsatz von Software-RAID treten mehrere Laufwerksausfälle auf
Es ist möglich, dass ein System eine Situation vorfindet, in der sich mehrere Laufwerke gleichzeitig in einem ausgefallenen Zustand befinden. Das Verhalten des Systems hängt vom aggregierten RAID-Schutz und der Anzahl der ausgefallenen Laufwerke ab.
Ein RAID4-Aggregat kann gegen einen Festplattenausfall überleben, ein RAID-DP Aggregat zwei Festplattenausfälle überleben, und ein RAID-TEC Aggregat kann drei Festplattenausfälle überleben.
Wenn die Anzahl fehlerhafter Festplatten unter der maximalen Anzahl von Ausfällen des RAID-Typs liegt und eine Ersatzfestplatte verfügbar ist, wird der Rekonstruktionsprozess automatisch gestartet. Wenn keine freien Festplatten verfügbar sind, stellt das Aggregat Daten im beeinträchtigten Zustand bereit, bis Ersatzfestplatten hinzugefügt werden.
Wenn die Anzahl fehlerhafter Festplatten die maximal vom RAID-Typ unterstützte Anzahl an Ausfällen beträgt, ist der lokale Plex als fehlgeschlagen markiert und der Aggregatzustand ist herabgestuft. Die Daten werden vom zweiten Plex auf dem HA Partner bedient. Das bedeutet, dass alle I/O-Anfragen für Node 1 über Cluster Interconnect Port e0e (iSCSI) an die Festplatten gesendet werden, die sich physisch auf Node 2 befinden. Wenn auch der zweite Plex fehlschlägt, ist das Aggregat als fehlgeschlagen markiert und Daten sind nicht verfügbar.
Ein ausgefallener Plex muss gelöscht und neu erstellt werden, damit die korrekte Datenspiegelung fortgesetzt werden kann. Beachten Sie, dass ein Ausfall mehrerer Festplatten, der zur Beeinträchtigung eines Datenaggregats führt, auch zur Beeinträchtigung eines Root-Aggregats führt. ONTAP Select verwendet das Root-Data-Data (RDD)-Partitionierungsschema, um jedes physische Laufwerk in eine Root-Partition und zwei Datenpartitionen aufzuteilen. Der Verlust einer oder mehrerer Festplatten kann daher mehrere Aggregate beeinträchtigen, darunter das lokale Root-Aggregat oder die Kopie des Remote-Root-Aggregats sowie das lokale Datenaggregat und die Kopie des Remote-Datenaggregats.
Ein fehlgeschlagener Plex wird in der folgenden Beispielausgabe gelöscht und neu erstellt:
C3111E67::> storage aggregate plex delete -aggregate aggr1 -plex plex1
Warning: Deleting plex "plex1" of mirrored aggregate "aggr1" in a non-shared HA configuration will disable its synchronous mirror protection and disable
negotiated takeover of node "sti-rx2540-335a" when aggregate "aggr1" is online.
Do you want to continue? {y|n}: y
[Job 78] Job succeeded: DONE
C3111E67::> storage aggregate mirror -aggregate aggr1
Info: Disks would be added to aggregate "aggr1" on node "sti-rx2540-335a" in the following manner:
Second Plex
RAID Group rg0, 5 disks (advanced_zoned checksum, raid_dp)
Usable Physical
Position Disk Type Size Size
---------- ------------------------- ---------- -------- --------
shared NET-3.2 SSD - -
shared NET-3.3 SSD - -
shared NET-3.4 SSD 208.4GB 208.4GB
shared NET-3.5 SSD 208.4GB 208.4GB
shared NET-3.12 SSD 208.4GB 208.4GB
Aggregate capacity available for volume use would be 526.1GB.
625.2GB would be used from capacity license.
Do you want to continue? {y|n}: y
C3111E67::> storage aggregate show-status -aggregate aggr1
Owner Node: sti-rx2540-335a
Aggregate: aggr1 (online, raid_dp, mirrored) (advanced_zoned checksums)
Plex: /aggr1/plex0 (online, normal, active, pool0)
RAID Group /aggr1/plex0/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-1.1 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.2 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.3 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.10 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.11 0 SSD - 205.1GB 447.1GB (normal)
Plex: /aggr1/plex3 (online, normal, active, pool1)
RAID Group /aggr1/plex3/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-3.2 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.3 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.4 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.5 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.12 1 SSD - 205.1GB 447.1GB (normal)
10 entries were displayed..
|
|
Um einen oder mehrere Laufwerksausfälle zu testen oder zu simulieren, verwenden Sie das set advanced disk unfail -disk NET-x.y -spare true disk show -broken Die Ausgabe des letzten Befehls sollte leer sein. |
Virtualisierter NVRAM
NetApp FAS Systeme verfügen üblicherweise über eine physische NVRAM PCI-Karte. Bei dieser Karte handelt es sich um eine hochperformante Karte mit nichtflüchtigem Flash-Speicher, die die Schreib-Performance erheblich steigert. Dies erfolgt durch die Gewährung von ONTAP, dass eingehende Schreibvorgänge sofort bestätigt werden können. Zudem kann die Verschiebung geänderter Datenblöcke in einem Prozess, der als Auslagerung bezeichnet wird, auf langsamere Storage-Medien geplant werden.
Herkömmliche Systeme sind in der Regel nicht mit dieser Art von Geräten ausgestattet. Daher wurde die Funktionalität der NVRAM-Karte virtualisiert und in eine Partition auf der Boot-Festplatte des ONTAP Select Systems platziert. Aus diesem Grund ist die Platzierung der virtuellen Systemfestplatte der Instanz extrem wichtig.