Alle lokal angeschlossenen Festplatten, die ONTAP Select als Datenspeicher bereitstellen, müssen hinter einem RAID-Controller sitzen. Die meisten Standardserver sind mit mehreren RAID-Controller-Optionen in unterschiedlichen Preisklassen erhältlich, die jeweils unterschiedliche Funktionsumfänge bieten. Das Ziel ist, so viele dieser Optionen wie möglich zu unterstützen, sofern sie bestimmte Mindestanforderungen an den Controller erfüllen.

Der RAID-Controller, der die ONTAP Select Festplatten verwaltet, muss die folgenden Anforderungen erfüllen:

Alle lokal angeschlossenen Festplatten, die ONTAP Select als Speichermedium dienen, müssen in RAID-Gruppen mit RAID 5 oder RAID 6 konfiguriert werden. Bei SAS-Festplatten und SSDs ermöglicht die Verwendung von RAID-Gruppen mit bis zu 24 Festplatten ONTAP, die eingehenden Leseanfragen auf eine größere Anzahl von Festplatten zu verteilen. Dies führt zu einer deutlichen Leistungssteigerung. Bei SAS/SSD-Konfigurationen wurden Leistungstests mit Einzel-LUN- und Multi-LUN-Konfigurationen durchgeführt. Da keine signifikanten Unterschiede festgestellt wurden, empfiehlt NetApp aus Gründen der Einfachheit, die geringstmögliche Anzahl an LUNs zu erstellen, die für Ihre Konfigurationsanforderungen erforderlich ist.

Für NL-SAS- und SATA-Laufwerke gelten andere Best Practices. Aus Performancegründen beträgt die Mindestanzahl an Festplatten weiterhin acht, die RAID-Gruppengröße sollte jedoch nicht größer als 12 Laufwerke sein. NetApp empfiehlt außerdem, pro RAID-Gruppe ein Ersatzlaufwerk zu verwenden; alternativ können jedoch auch globale Ersatzlaufwerke für alle RAID-Gruppen genutzt werden. Beispielsweise können Sie zwei Ersatzlaufwerke für jeweils drei RAID-Gruppen verwenden, wobei jede RAID-Gruppe aus acht bis zwölf Laufwerken besteht.

Viele RAID-Controller unterstützen bis zu drei Betriebsmodi, die jeweils einen signifikanten Unterschied im Datenpfad von Schreibanforderungen darstellen. Diese drei Modi sind wie folgt:

Der Writeback-Modus bietet den kürzesten Datenpfad, da die E/A-Bestätigung unmittelbar nach dem Eintritt der Blöcke in den Cache erfolgt. Dieser Modus bietet die geringste Latenz und den höchsten Durchsatz für gemischte lesen/schreiben-Workloads. Ohne BBU oder nichtflüchtige Flash-Technologie besteht jedoch das Risiko eines Datenverlusts bei einem Stromausfall während des Betriebs in diesem Modus.

ONTAP Select benötigt eine Notstromversorgung (Batterie-Backup) oder eine Flash-Einheit; dadurch können wir sicher sein, dass zwischengespeicherte Blöcke im Falle eines solchen Fehlers auf die Festplatte geschrieben werden. Aus diesem Grund ist es erforderlich, dass der RAID-Controller im Writeback-Modus konfiguriert ist.

Die gängigste Serverkonfiguration sieht vor, dass alle lokal angeschlossenen Festplatten hinter einem einzigen RAID-Controller sitzen. Sie sollten mindestens zwei LUNs bereitstellen: eine für den Hypervisor und eine für die ONTAP Select VM.

Nehmen wir beispielsweise einen HP DL380 g8 mit sechs internen Festplatten und einem einzigen Smart Array P420i RAID-Controller. Alle internen Festplatten werden von diesem RAID-Controller verwaltet, und es ist kein weiterer Speicher im System vorhanden.

Die folgende Abbildung zeigt diese Konfigurationsart. In diesem Beispiel ist kein weiterer Speicher im System vorhanden; daher muss der Hypervisor den Speicher mit dem ONTAP Select Node teilen.

Server-LUN-Konfiguration mit ausschließlich RAID-verwalteten Spindeln

Durch die Bereitstellung der OS-LUNs aus derselben RAID-Gruppe wie ONTAP Select profitiert das Hypervisor-Betriebssystem (und jede Client-VM, die ebenfalls von diesem Speicher bereitgestellt wird) vom RAID-Schutz. Diese Konfiguration verhindert, dass der Ausfall eines einzelnen Laufwerks das gesamte System außer Betrieb setzt.

Die andere von Serverherstellern angebotene Konfigurationsmöglichkeit sieht den Einsatz mehrerer RAID- oder Festplattencontroller vor. In dieser Konfiguration wird ein Satz von Festplatten von einem Festplattencontroller verwaltet, der möglicherweise RAID-Dienste anbietet oder auch nicht. Ein zweiter Satz von Festplatten wird von einem Hardware-RAID-Controller verwaltet, der RAID 5/6-Dienste bereitstellen kann.

Bei dieser Konfigurationsart sollte der Satz von Festplatten, der sich hinter dem RAID-Controller befindet und RAID 5/6-Dienste bereitstellen kann, ausschließlich von der ONTAP Select VM genutzt werden. Abhängig von der gesamten verwalteten Speicherkapazität sollten Sie die Festplatten in eine oder mehrere RAID-Gruppen und eine oder mehrere LUNs konfigurieren. Diese LUNs würden dann zur Erstellung eines oder mehrerer Datenspeicher verwendet, wobei alle Datenspeicher durch den RAID-Controller geschützt werden.

Der erste Satz von Festplatten ist für das Hypervisor-Betriebssystem und jede Client-VM reserviert, die keinen ONTAP-Speicher verwendet, wie in der folgenden Abbildung dargestellt.

Server-LUN-Konfiguration auf gemischtem RAID/Nicht-RAID-System

Es gibt zwei Fälle, in denen die Konfigurationen einer einzelnen RAID-Gruppe/einer einzelnen LUN angepasst werden müssen. Bei Verwendung von NL-SAS- oder SATA-Laufwerken darf die RAID-Gruppe maximal 12 Laufwerke umfassen. Außerdem kann eine einzelne LUN größer werden als die zugrunde liegenden Hypervisor-Speichergrenzen – entweder die maximale Größe eines einzelnen Dateisystembereichs oder die maximale Gesamtgröße des Speicherpools. Dann muss der zugrunde liegende physische Speicher in mehrere LUNs aufgeteilt werden, um die erfolgreiche Erstellung des Dateisystems zu ermöglichen.

Die maximale Größe eines Datenspeichers beträgt bei einigen Versionen von ESXi 64TB.

Wenn an einen Server mehr als 64TB Speicher angeschlossen sind, müssen möglicherweise mehrere LUNs bereitgestellt werden, die jeweils kleiner als 64TB sind. Die Erstellung mehrerer RAID-Gruppen zur Verbesserung der RAID-Rebuild-Zeit für SATA/NL-SAS-Laufwerke führt ebenfalls dazu, dass mehrere LUNs bereitgestellt werden.

Werden mehrere LUNs benötigt, ist ein wichtiger Aspekt sicherzustellen, dass diese LUNs eine ähnliche und konsistente Leistung aufweisen. Dies ist besonders wichtig, wenn alle LUNs in einem einzigen ONTAP Aggregat verwendet werden sollen. Alternativ, wenn eine Teilmenge von einer oder mehreren LUNs ein deutlich abweichendes Leistungsprofil aufweist, empfehlen wir dringend, diese LUNs in einem separaten ONTAP Aggregat zu isolieren.

Mehrere Dateisystem-Extents können verwendet werden, um einen einzelnen Datenspeicher bis zur maximalen Größe des Datenspeichers zu erstellen. Um die Kapazität zu begrenzen, für die eine ONTAP Select-Lizenz erforderlich ist, stellen Sie sicher, dass während der Clusterinstallation eine Kapazitätsobergrenze festgelegt wird. Diese Funktion ermöglicht es ONTAP Select, nur einen Teil des Speicherplatzes in einem Datenspeicher zu verwenden (und daher nur für diesen Teil eine Lizenz zu benötigen).

Alternativ kann man zunächst einen einzelnen Datenspeicher auf einer einzelnen LUN erstellen. Wenn zusätzlicher Speicherplatz benötigt wird, der eine größere ONTAP Select-Kapazitätslizenz erfordert, kann dieser dem gleichen Datenspeicher als Erweiterung bis zur maximalen Größe des Datenspeichers hinzugefügt werden. Nach Erreichen der maximalen Größe können neue Datenspeicher erstellt und zu ONTAP Select hinzugefügt werden. Beide Arten der Kapazitätserweiterung werden unterstützt und können mithilfe der ONTAP Deploy storage-add-Funktion durchgeführt werden. Jeder ONTAP Select Node kann so konfiguriert werden, dass er bis zu 400TB Speicher unterstützt. Die Bereitstellung von Kapazität aus mehreren Datenspeichern erfordert einen zweistufigen Prozess.

Mit der initialen Clustererstellung kann ein ONTAP Select Cluster erstellt werden, der einen Teil oder den gesamten Speicherplatz des initialen Datenspeichers belegt. Ein zweiter Schritt besteht darin, eine oder mehrere Kapazitätserweiterungen mithilfe zusätzlicher Datenspeicher durchzuführen, bis die gewünschte Gesamtkapazität erreicht ist. Diese Funktionalität wird im Abschnitt "Speicherkapazität erhöhen" detailliert beschrieben.

In jedem Datenspeicher wird ein 2%iger Puffer ungenutzt gelassen. Dieser Speicherplatz benötigt keine Kapazitätslizenz, da er von ONTAP Select nicht verwendet wird. ONTAP Deploy berechnet die genaue Anzahl der Gigabyte für den Puffer automatisch, sofern keine Kapazitätsbegrenzung angegeben ist. Ist eine Kapazitätsbegrenzung angegeben, wird diese zuerst durchgesetzt. Liegt die Größe der Kapazitätsbegrenzung innerhalb der Puffergröße, schlägt die Clustererstellung mit einer Fehlermeldung fehl, die den korrekten maximalen Größenparameter angibt, der als Kapazitätsbegrenzung verwendet werden kann:

VMFS 6 wird sowohl für Neuinstallationen als auch als Ziel einer Storage-vMotion-Operation einer bestehenden ONTAP Deploy oder ONTAP Select VM unterstützt.

VMware unterstützt keine In-Place-Upgrades von VMFS 5 auf VMFS 6. Daher ist Storage vMotion der einzige Mechanismus, der es einer VM ermöglicht, von einem VMFS-5-Datenspeicher auf einen VMFS-6-Datenspeicher zu wechseln. Die Unterstützung für Storage vMotion mit ONTAP Select und ONTAP Deploy wurde jedoch erweitert, um neben dem spezifischen Zweck der Migration von VMFS 5 auf VMFS 6 auch andere Szenarien abzudecken.

Im Kern stellt ONTAP Select ONTAP eine Reihe virtueller Festplatten bereit, die aus einem oder mehreren Speicherpools stammen. ONTAP wird eine Reihe virtueller Festplatten präsentiert, die es als physische behandelt, und der verbleibende Teil des Speicher-Stacks wird vom Hypervisor abstrahiert. Die folgende Abbildung zeigt diese Beziehung genauer und hebt die Beziehung zwischen dem physischen RAID-Controller, dem Hypervisor und der ONTAP Select VM hervor.

Zuordnung von virtuellen zu physischen Festplatten

Um eine optimierte Benutzererfahrung zu gewährleisten, stellt das ONTAP Select-Verwaltungstool ONTAP Deploy virtuelle Festplatten automatisch aus dem zugehörigen Speicherpool bereit und bindet sie an die ONTAP Select VM ein. Dieser Vorgang erfolgt automatisch sowohl bei der Ersteinrichtung als auch bei Speichererweiterungen. Ist der ONTAP Select Node Teil eines HA-Paares, werden die virtuellen Festplatten automatisch einem lokalen und einem Spiegel-Speicherpool zugewiesen.

ONTAP Select unterteilt den zugrunde liegenden angeschlossenen Speicher in gleich große virtuelle Festplatten, die jeweils 16 TB nicht überschreiten. Wenn der ONTAP Select Node Teil eines HA-Paares ist, werden auf jedem Cluster-Node mindestens zwei virtuelle Festplatten erstellt und dem lokalen und dem Spiegelplex zugewiesen, um innerhalb eines gespiegelten Aggregats verwendet zu werden.

Beispielsweise kann einem ONTAP Select ein Datenspeicher oder eine LUN mit 31TB zugewiesen werden (der verbleibende Speicherplatz nach der Bereitstellung der VM und der Bereitstellung der System- und Root-Disks). Dann werden vier virtuelle Festplatten mit jeweils etwa 7,75TB erstellt und dem entsprechenden lokalen und Spiegel-Plex von ONTAP zugewiesen.

NetApp FAS-Systeme sind üblicherweise mit einer physischen NVRAM-PCI-Karte ausgestattet, einer leistungsstarken Karte mit nichtflüchtigem Flash-Speicher. Diese Karte ermöglicht eine deutliche Steigerung der Schreibleistung, indem sie ONTAP die Möglichkeit gibt, eingehende Schreibvorgänge sofort an den Client zurückzumelden. Außerdem kann sie die Rückübertragung geänderter Datenblöcke auf das langsamere Speichermedium in einem als Destaging bezeichneten Prozess planen.

Standardsysteme sind üblicherweise nicht mit dieser Art von Hardware ausgestattet. Daher wurde die Funktionalität dieser NVRAM-Karte virtualisiert und in eine Partition auf der ONTAP Select-Systemstartfestplatte ausgelagert. Aus diesem Grund ist die Platzierung der virtuellen Systemfestplatte der Instanz äußerst wichtig. Deshalb erfordert das Produkt das Vorhandensein eines physischen RAID-Controllers mit ausfallsicherem Cache für lokal angeschlossene Speicherkonfigurationen.

NVRAM befindet sich in einer eigenen VMDK. Die Aufteilung des NVRAM in eine eigene VMDK ermöglicht es der ONTAP Select VM, den vNVMe-Treiber zur Kommunikation mit ihrer NVRAM VMDK zu verwenden. Es ist außerdem erforderlich, dass die ONTAP Select VM Hardwareversion 13 verwendet, die mit ESXi 8.0 und höher kompatibel ist.

Die Interaktion zwischen der virtualisierten NVRAM-Systempartition und dem RAID-Controller lässt sich am besten veranschaulichen, indem man den Datenpfad einer Schreibanforderung beim Eintritt in das System nachverfolgt.

Eingehende Schreibanforderungen an die ONTAP Select VM richten sich an die NVRAM-Partition der VM. Auf der Virtualisierungsebene befindet sich diese Partition innerhalb einer ONTAP Select-Systemfestplatte, einer VMDK, die an die ONTAP Select VM angehängt ist. Auf der physischen Ebene werden diese Anforderungen, wie alle geänderten Blöcke, die auf die zugrunde liegenden Spindeln abzielen, im lokalen RAID-Controller zwischengespeichert. Von hier aus wird der Schreibvorgang an den Host bestätigt.

Physisch befindet sich der Block derzeit im RAID-Controller-Cache und wartet darauf, auf die Festplatte geschrieben zu werden. Logisch liegt der Block im NVRAM und wartet darauf, auf die entsprechenden Benutzerdatenfestplatten übertragen zu werden.

Da geänderte Blöcke automatisch im lokalen Cache des RAID-Controllers gespeichert werden, werden eingehende Schreibvorgänge in die NVRAM-Partition automatisch zwischengespeichert und regelmäßig auf physische Speichermedien geschrieben. Dies ist nicht mit dem regelmäßigen Schreiben des NVRAM-Inhalts zurück auf ONTAP-Datenfestplatten zu verwechseln. Diese beiden Vorgänge stehen in keinem Zusammenhang und finden zu unterschiedlichen Zeiten und mit unterschiedlichen Frequenzen statt.

Die folgende Abbildung zeigt den I/O-Pfad eines eingehenden Schreibvorgangs. Sie verdeutlicht den Unterschied zwischen der physischen Schicht (repräsentiert durch den RAID-Controller-Cache und die Festplatten) und der virtuellen Schicht (repräsentiert durch den NVRAM der VM und die virtuellen Datenfestplatten).

Eingehende Schreibvorgänge an ONTAP Select VM