ONTAP Select Software RAID-Konfigurationsservices für lokal angeschlossenen Speicher
Software-RAID ist eine RAID-Abstraktionsschicht, die im ONTAP Software-Stack implementiert ist. Die Lösung bietet dieselben Funktionen wie die RAID-Ebene in einer herkömmlichen ONTAP Plattform wie FAS. Die RAID-Schicht berechnet für die Laufwerksparität und bietet Schutz vor einzelnen Laufwerksausfällen innerhalb eines ONTAP Select Node.
Unabhängig von den Hardware-RAID-Konfigurationen bietet ONTAP Select auch Software-RAID-Option. Ein Hardware-RAID-Controller ist möglicherweise nicht verfügbar oder in bestimmten Umgebungen möglicherweise nicht wünschenswert, beispielsweise wenn ONTAP Select auf einer Small Form-Factor-Standardhardware implementiert wird. Software RAID erweitert die verfügbaren Implementierungsoptionen auf solche Umgebungen. Um Software-RAID in Ihrer Umgebung zu aktivieren, sollten Sie sich hier einige Punkte merken:
-
Es ist mit einer Premium- oder Premium XL-Lizenz erhältlich.
-
Es unterstützt nur SSD- oder NVMe-Laufwerke (erfordert eine Premium-XL-Lizenz) für ONTAP Root- und Datenfestplatten.
-
Für die ONTAP Select VM Boot-Partition ist eine separate Systemfestplatte erforderlich.
-
Wählen Sie ein separates Laufwerk, entweder ein SSD- oder ein NVMe-Laufwerk, um einen Datastore für die Systemfestplatten zu erstellen (NVRAM, Boot/CF-Karte, Coredump und Mediator in einem Multi-Node-Setup).
-
|
|
Software-RAID-Konfiguration für lokalen angeschlossenen Speicher
Bei der Verwendung von Software-RAID ist das Fehlen eines Hardware-RAID-Controllers ideal, aber wenn ein System über einen vorhandenen RAID-Controller verfügt, muss es die folgenden Anforderungen erfüllen:
-
Sie müssen den Hardware-RAID-Controller deaktivieren, damit Festplatten direkt an das System übermittelt werden können (JBOD). Diese Änderung können Sie normalerweise im BIOS des RAID-Controllers vornehmen.
-
Alternativ sollte sich der Hardware-RAID-Controller im SAS-HBA-Modus befinden. Manche BIOS-Konfigurationen erlauben beispielsweise zusätzlich zu RAID einen AHCI-Modus, den Sie im JBOD-Modus aktivieren können. Dies ermöglicht ein Passthrough, sodass die physischen Laufwerke auf dem Host so angezeigt werden, wie sie sind.
Abhängig von der maximalen Anzahl der vom Controller unterstützten Laufwerke kann ein zusätzlicher Controller erforderlich sein. Stellen Sie im SAS-HBA-Modus sicher, dass der E/A-Controller (SAS-HBA) mit einer Geschwindigkeit von mindestens 6 Gbit/s unterstützt wird. NetApp empfiehlt jedoch eine Geschwindigkeit von 12 Gbit/s.
Andere Hardware-RAID-Controller-Modi oder -Konfigurationen werden nicht unterstützt. Einige Controller ermöglichen beispielsweise RAID 0, wodurch Festplatten künstlich durchgelassen werden können, was jedoch unerwünschte Auswirkungen haben kann. Die unterstützte Größe physischer Festplatten (nur SSD) liegt zwischen 200 GB und 16 TB.
|
Administratoren müssen nachverfolgen, welche Laufwerke von der ONTAP Select VM verwendet werden, und vermeiden die unbeabsichtigte Nutzung der Laufwerke auf dem Host. |
Virtuelle und physische ONTAP Select-Festplatten
Bei Konfigurationen mit Hardware-RAID-Controllern wird die Redundanz physischer Festplatten durch den RAID-Controller gegeben. ONTAP Select wird mit einer oder mehreren VMDKs präsentiert, von denen der ONTAP Administrator Datenaggregate konfigurieren kann. Diese VMDKs werden im RAID 0-Format verteilt, da ONTAP Software RAID aufgrund der Ausfallsicherheit auf Hardware-Ebene redundant, ineffizient und ineffektiv ist. Darüber hinaus befinden sich die für Systemfestplatten verwendeten VMDKs im selben Datenspeicher wie die VMDKs, die zum Speichern von Benutzerdaten verwendet werden.
Bei Verwendung von Software-RAID präsentiert ONTAP Deploy ONTAP Select mit einer Reihe von VMDKs und physischen Datenträgern, Raw Device Mappings [RDMs] für SSDs und Passthrough- oder DirectPath-IO-Geräten für NVMe.
Die folgenden Abbildungen zeigen diese Beziehung detaillierter, wobei der Unterschied zwischen den virtualisierten Festplatten für die inneren Komponenten von ONTAP Select VMs und den physischen Festplatten zum Speichern von Benutzerdaten hervorgehoben wird.
ONTAP Select Software RAID: Einsatz von virtualisierten Festplatten und RDMs
Die Systemfestplatten (VMDKs) befinden sich im selben Datenspeicher und auf derselben physischen Festplatte. Die virtuelle NVRAM-Festplatte benötigt ein schnelles und langlebiges Medium. Daher werden nur NVMe und SSD-Datastores unterstützt.
Die Systemfestplatten (VMDKs) befinden sich im selben Datenspeicher und auf derselben physischen Festplatte. Die virtuelle NVRAM-Festplatte benötigt ein schnelles und langlebiges Medium. Daher werden nur NVMe und SSD-Datastores unterstützt. Bei der Nutzung von NVMe-Laufwerken zu Daten sollte die Systemfestplatte auch aus Performance-Gründen ein NVMe-Gerät sein. Ein guter Kandidat für die Systemfestplatte in einer gesamten NVMe-Konfiguration ist eine INTEL Optane-Karte.
|
Mit der aktuellen Version können ONTAP Select Systemfestplatten nicht weiter in mehrere Datastores oder mehrere physische Laufwerke getrennt werden. |
Jeder Datenträger ist in drei Teile unterteilt: eine kleine Root-Partition (Stripe) und zwei gleich große Partitionen, um zwei Datenträger zu erstellen, die in der ONTAP Select VM angezeigt werden. Partitionen verwenden das Root Data Data (RD2)-Schema, wie in den folgenden Abbildungen für einen Einzelknotencluster und für einen Knoten in einem Hochverfügbarkeitspaar (HA) dargestellt.
P
bezeichnet ein Paritätslaufwerk, DP
bezeichnet ein Laufwerk mit doppelter Parität und S
kennzeichnet ein Ersatzlaufwerk.
RDD-Festplattenpartitionierung für Single-Node-Cluster
RDD-Festplattenpartitionierung für Multinode-Cluster (HA-Paare)
ONTAP Software-RAID unterstützt die folgenden RAID-Typen: RAID 4, RAID-DP und RAID-TEC. Dies sind dieselben RAID-Konstrukte, die auch von FAS und AFF Plattformen verwendet werden. Für die Root-Bereitstellung unterstützt ONTAP Select nur RAID 4 und RAID-DP. Bei Verwendung von RAID-TEC für das Datenaggregat erfolgt der Gesamtschutz über RAID-DP. ONTAP Select HA verwendet eine Shared-Nothing-Architektur, die die Konfiguration jedes Knotens auf den anderen Knoten repliziert. Das bedeutet, dass jeder Knoten seine eigene Root-Partition und eine Kopie der Root-Partition des Peers speichern muss. Eine Datenfestplatte verfügt über eine einzelne Root-Partition. Die Mindestanzahl an Datenfestplatten variiert daher, je nachdem, ob der ONTAP Select Knoten Teil eines HA-Paares ist oder nicht.
Bei Single-Node-Clustern werden alle Datenpartitionen zur Speicherung lokaler (aktiver) Daten verwendet. Bei Nodes, die Teil eines HA-Paars sind, wird eine Datenpartition verwendet, um lokale (aktive) Daten dieses Nodes zu speichern. Anschließend wird die zweite Datenpartition verwendet, um aktive Daten vom HA-Peer zu spiegeln.
Passthrough-Geräte (DirectPath IO) und RAW Device Maps (RDMs)
ESX- und KVM-Hypervisoren unterstützen NVMe-Festplatten nicht als Raw Device Maps (RDMs). Damit ONTAP Select die direkte Steuerung von NVMe-Festplatten übernehmen kann, müssen Sie diese Laufwerke als Passthrough-Geräte in ESX oder KVM konfigurieren. Wenn Sie ein NVMe-Gerät als Passthrough-Gerät konfigurieren, benötigt es Unterstützung vom Server-BIOS, und Sie müssen den Host möglicherweise neu starten. Darüber hinaus gibt es Beschränkungen hinsichtlich der Anzahl der Passthrough-Geräte, die pro Host zugewiesen werden können, die je nach Plattform variieren können. ONTAP Deploy begrenzt dies jedoch auf 14 NVMe-Geräte pro ONTAP Select Knoten. Dies bedeutet, dass die NVMe-Konfiguration eine sehr hohe IOP-Dichte (IOPs/TB) auf Kosten der Gesamtkapazität bietet. Wenn Sie alternativ eine Hochleistungskonfiguration mit größerer Speicherkapazität wünschen, ist die empfohlene Konfiguration eine große ONTAP Select VM-Größe, eine INTEL Optane-Karte für die Systemfestplatte und eine nominale Anzahl von SSD-Laufwerken zur Datenspeicherung.
|
Wenn Sie alle Vorteile der NVMe-Performance nutzen möchten, sollten Sie sich die Größe einer großen ONTAP Select VM genauer betrachten. |
Es besteht ein weiterer Unterschied zwischen Passthrough-Geräten und RDMs. RDMs können einer laufenden VM zugeordnet werden. Passthrough-Geräte erfordern einen VM-Neustart. Das bedeutet, dass jeder NVMe-Laufwerksaustausch oder jede Kapazitätserweiterung (Laufwerkserweiterung) einen ONTAP Select VM-Neustart erfordert. Der Laufwerksaustausch und die Kapazitätserweiterung (Laufwerkserweiterung) werden durch einen Workflow in ONTAP Deploy gesteuert. ONTAP Deploy verwaltet den ONTAP Select Neustart für Single-Node-Cluster und das Failover/Failback für HA-Paare. Beachten Sie jedoch den Unterschied zwischen der Arbeit mit SSD-Datenlaufwerken (kein ONTAP Select Neustart/Failover erforderlich) und der Arbeit mit NVMe-Datenlaufwerken (ONTAP Select Neustart/Failover erforderlich).
Bereitstellung physischer und virtueller Festplatten
Um eine effizientere Benutzererfahrung zu ermöglichen, stellt ONTAP Deployment automatisch die (virtuellen) Systemfestplatten vom angegebenen Datenspeicher (physische Systemfestplatte) bereit und wird an die ONTAP Select VM angeschlossen. Dieser Vorgang läuft automatisch während der Ersteinrichtung ab, sodass die ONTAP Select VM gebootet werden kann. Die RDMs werden partitioniert und das Root-Aggregat wird automatisch erstellt. Wenn der ONTAP Select Node Teil eines HA-Paars ist, werden die Datenpartitionen automatisch einem lokalen Storage-Pool und einem gespiegelten Storage-Pool zugewiesen. Diese Zuweisung erfolgt automatisch sowohl bei der Cluster-Erstellung als auch beim Storage-Hinzufügen.
Da die Datenfestplatten auf der ONTAP Select VM mit den zugrunde liegenden physischen Festplatten verknüpft sind, hat dies Auswirkungen auf die Performance, wenn Konfigurationen mit einer größeren Anzahl physischer Festplatten erstellt werden.
|
Der RAID-Gruppen-Typ des Root-Aggregats hängt von der Anzahl der verfügbaren Festplatten ab. ONTAP Deploy wählt den entsprechenden RAID-Gruppen-Typ aus. Wenn dem Knoten genügend Festplatten zugewiesen sind, verwendet er RAID-DP, sonst erstellt es ein RAID-4-Root-Aggregat. |
Beim Erweitern der Kapazität einer ONTAP Select VM mithilfe von Software-RAID muss der Administrator die physische Laufwerksgröße und die Anzahl der benötigten Laufwerke berücksichtigen. Weitere Informationen finden Sie unter "Erhöhung der Storage-Kapazität" .
Ähnlich wie bei FAS und AFF -Systemen können Sie einer bestehenden RAID-Gruppe nur Laufwerke mit gleicher oder größerer Kapazität hinzufügen. Laufwerke mit größerer Kapazität haben die richtige Größe. Wenn Sie neue RAID-Gruppen erstellen, sollte die Größe der neuen RAID-Gruppe der Größe der bestehenden RAID-Gruppe entsprechen, um sicherzustellen, dass die Gesamtleistung nicht beeinträchtigt wird.
Ordnen Sie eine ONTAP Select Festplatte der entsprechenden ESX- oder KVM-Festplatte zu
ONTAP Select-Festplatten werden in der Regel als NET x.y. bezeichnet Sie können die Festplatten-UUID mit dem folgenden ONTAP-Befehl abrufen:
<system name>::> disk show NET-1.1
Disk: NET-1.1
Model: Micron_5100_MTFD
Serial Number: 1723175C0B5E
UID: *500A0751:175C0B5E*:00000000:00000000:00000000:00000000:00000000:00000000:00000000:00000000
BPS: 512
Physical Size: 894.3GB
Position: shared
Checksum Compatibility: advanced_zoned
Aggregate: -
Plex: -This UID can be matched with the device UID displayed in the ‘storage devices’ tab for the ESX host
In der ESXi- oder KVM-Shell können Sie den folgenden Befehl eingeben, um die LED für eine bestimmte physische Festplatte (identifiziert durch ihre naa.unique-id) blinken zu lassen.
esxcli storage core device set -d <naa_id> -l=locator -L=<seconds>
cat /sys/block/<block_device_id>/device/wwid
Beim Einsatz von Software-RAID treten mehrere Laufwerksausfälle auf
Es ist möglich, dass ein System eine Situation vorfindet, in der sich mehrere Laufwerke gleichzeitig in einem ausgefallenen Zustand befinden. Das Verhalten des Systems hängt vom aggregierten RAID-Schutz und der Anzahl der ausgefallenen Laufwerke ab.
Ein RAID4-Aggregat kann gegen einen Festplattenausfall überleben, ein RAID-DP Aggregat zwei Festplattenausfälle überleben, und ein RAID-TEC Aggregat kann drei Festplattenausfälle überleben.
Wenn die Anzahl fehlerhafter Festplatten unter der maximalen Anzahl von Ausfällen des RAID-Typs liegt und eine Ersatzfestplatte verfügbar ist, wird der Rekonstruktionsprozess automatisch gestartet. Wenn keine freien Festplatten verfügbar sind, stellt das Aggregat Daten im beeinträchtigten Zustand bereit, bis Ersatzfestplatten hinzugefügt werden.
Wenn die Anzahl fehlerhafter Festplatten die maximal vom RAID-Typ unterstützte Anzahl an Ausfällen beträgt, ist der lokale Plex als fehlgeschlagen markiert und der Aggregatzustand ist herabgestuft. Die Daten werden vom zweiten Plex auf dem HA Partner bedient. Das bedeutet, dass alle I/O-Anfragen für Node 1 über Cluster Interconnect Port e0e (iSCSI) an die Festplatten gesendet werden, die sich physisch auf Node 2 befinden. Wenn auch der zweite Plex fehlschlägt, ist das Aggregat als fehlgeschlagen markiert und Daten sind nicht verfügbar.
Ein ausgefallener Plex muss gelöscht und neu erstellt werden, damit die korrekte Datenspiegelung fortgesetzt werden kann. Beachten Sie, dass ein Ausfall mehrerer Festplatten, der zur Beeinträchtigung eines Datenaggregats führt, auch zur Beeinträchtigung eines Root-Aggregats führt. ONTAP Select verwendet das Root-Data-Data (RDD)-Partitionierungsschema, um jedes physische Laufwerk in eine Root-Partition und zwei Datenpartitionen aufzuteilen. Der Verlust einer oder mehrerer Festplatten kann daher mehrere Aggregate beeinträchtigen, darunter das lokale Root-Aggregat oder die Kopie des Remote-Root-Aggregats sowie das lokale Datenaggregat und die Kopie des Remote-Datenaggregats.
Ein fehlgeschlagener Plex wird in der folgenden Beispielausgabe gelöscht und neu erstellt:
C3111E67::> storage aggregate plex delete -aggregate aggr1 -plex plex1 Warning: Deleting plex "plex1" of mirrored aggregate "aggr1" in a non-shared HA configuration will disable its synchronous mirror protection and disable negotiated takeover of node "sti-rx2540-335a" when aggregate "aggr1" is online. Do you want to continue? {y|n}: y [Job 78] Job succeeded: DONE C3111E67::> storage aggregate mirror -aggregate aggr1 Info: Disks would be added to aggregate "aggr1" on node "sti-rx2540-335a" in the following manner: Second Plex RAID Group rg0, 5 disks (advanced_zoned checksum, raid_dp) Usable Physical Position Disk Type Size Size ---------- ------------------------- ---------- -------- -------- shared NET-3.2 SSD - - shared NET-3.3 SSD - - shared NET-3.4 SSD 208.4GB 208.4GB shared NET-3.5 SSD 208.4GB 208.4GB shared NET-3.12 SSD 208.4GB 208.4GB Aggregate capacity available for volume use would be 526.1GB. 625.2GB would be used from capacity license. Do you want to continue? {y|n}: y C3111E67::> storage aggregate show-status -aggregate aggr1 Owner Node: sti-rx2540-335a Aggregate: aggr1 (online, raid_dp, mirrored) (advanced_zoned checksums) Plex: /aggr1/plex0 (online, normal, active, pool0) RAID Group /aggr1/plex0/rg0 (normal, advanced_zoned checksums) Usable Physical Position Disk Pool Type RPM Size Size Status -------- --------------------------- ---- ----- ------ -------- -------- ---------- shared NET-1.1 0 SSD - 205.1GB 447.1GB (normal) shared NET-1.2 0 SSD - 205.1GB 447.1GB (normal) shared NET-1.3 0 SSD - 205.1GB 447.1GB (normal) shared NET-1.10 0 SSD - 205.1GB 447.1GB (normal) shared NET-1.11 0 SSD - 205.1GB 447.1GB (normal) Plex: /aggr1/plex3 (online, normal, active, pool1) RAID Group /aggr1/plex3/rg0 (normal, advanced_zoned checksums) Usable Physical Position Disk Pool Type RPM Size Size Status -------- --------------------------- ---- ----- ------ -------- -------- ---------- shared NET-3.2 1 SSD - 205.1GB 447.1GB (normal) shared NET-3.3 1 SSD - 205.1GB 447.1GB (normal) shared NET-3.4 1 SSD - 205.1GB 447.1GB (normal) shared NET-3.5 1 SSD - 205.1GB 447.1GB (normal) shared NET-3.12 1 SSD - 205.1GB 447.1GB (normal) 10 entries were displayed..
|
Um einen oder mehrere Laufwerksausfälle zu testen oder zu simulieren, verwenden Sie das set advanced disk unfail -disk NET-x.y -spare true disk show -broken Die Ausgabe des letzten Befehls sollte leer sein. |
Virtualisierter NVRAM
NetApp FAS Systeme verfügen üblicherweise über eine physische NVRAM PCI-Karte. Bei dieser Karte handelt es sich um eine hochperformante Karte mit nichtflüchtigem Flash-Speicher, die die Schreib-Performance erheblich steigert. Dies erfolgt durch die Gewährung von ONTAP, dass eingehende Schreibvorgänge sofort bestätigt werden können. Zudem kann die Verschiebung geänderter Datenblöcke in einem Prozess, der als Auslagerung bezeichnet wird, auf langsamere Storage-Medien geplant werden.
Herkömmliche Systeme sind in der Regel nicht mit dieser Art von Geräten ausgestattet. Daher wurde die Funktionalität der NVRAM-Karte virtualisiert und in eine Partition auf der Boot-Festplatte des ONTAP Select Systems platziert. Aus diesem Grund ist die Platzierung der virtuellen Systemfestplatte der Instanz extrem wichtig.