Konfiguration von NVMe over RoCE Switches für VMware in E-Series
Änderungen vorschlagen
PDFs
Für das NVMe over RoCE-Protokoll werden die Switches konfiguriert und der NVMe Qualified Name (NQN) des Hosts ermittelt.
|
Volumes müssen für die Verwendung der 512-Byte-Emulation (512e) konfiguriert werden, wenn 4096-Byte-Laufwerke verwendet werden, um die Kompatibilität mit VMware sicherzustellen. Weitere Informationen zum Konfigurieren eines Volumes für die 512-Byte-Emulation (512e) finden Sie in der Online-Hilfe des SANtricity System Manager. |
Schritt 1: Notieren Sie Ihre Konfiguration
Es ist möglich, eine PDF-Datei dieser Seite zu erstellen und auszudrucken und anschließend das folgende Arbeitsblatt zu verwenden, um Ihre protokollspezifischen Speicherkonfigurationsinformationen zu erfassen. Diese Informationen werden bei der Durchführung von Bereitstellungsaufgaben benötigt.
Die Abbildung zeigt einen Host, der mit einem E-Series Storage-Array verbunden ist, das durch VLANs und/oder separate Subnetze getrennt ist. Ein VLAN/Subnetz ist durch die blaue Linie gekennzeichnet, das andere VLAN/Subnetz durch die rote Linie. Jedes VLAN/Subnetz enthält mindestens einen Initiator-Port und die Hälfte der Ziel-Ports. Die Anzahl der Host- und/oder Controller-Ports variiert je nach Anzahl der Netzwerkschnittstellen und dem Controller-Modell. Möglicherweise stehen mehr Ports zur Verfügung, bis zu 6 pro Controller.
Host-Mapping-Informationen
| Zuordnung des Hostnamens | |
|---|---|
Host-OS-Typ |
|
Host-NQN |
|
Ziel-NQN |
Schritt 2: Konfigurieren Sie die NVMe/RoCE-Switches
Die Switches werden entsprechend den Empfehlungen des Anbieters für NVMe over RoCE konfiguriert. Diese Empfehlungen können sowohl Konfigurationsrichtlinien als auch Code-Updates enthalten.
Diese Aufgabe beschreibt die allgemeinen Schritte zur Konfiguration der Switches für NVMe über RoCE. Spezifische Anweisungen finden Sie in der Dokumentation Ihres Switch-Herstellers.
Stellen Sie sicher, dass Sie Folgendes haben:
-
Zwei separate Netzwerke für Hochverfügbarkeit. Stellen Sie sicher, dass Sie Ihren NVMe-over-RoCE-Datenverkehr in separaten Netzwerksegmenten isolieren.
Informieren Sie sich in der Dokumentation des Switch-Anbieters.
Schritt 3: Netzwerk konfigurieren
Sie können Ihr NVMe-over-RoCE-Netzwerk auf verschiedene Arten einrichten, je nach Ihren Datenspeicheranforderungen. Wenden Sie sich an Ihren Netzwerkadministrator, um Tipps zur Auswahl der besten Konfiguration für Ihre Umgebung zu erhalten.
Diese Aufgabe beschreibt die allgemeinen Schritte zur Konfiguration des Netzwerks für NVMe über RoCE. Spezifische Anweisungen finden Sie in der Dokumentation Ihres Switch-Herstellers.
Stellen Sie sicher, dass Sie Folgendes haben:
-
Der Switch ist für verlustfreies Ethernet für NVMe über RDMA konfiguriert (falls sich der Switch im Pfad befindet).
Bei der Planung Ihrer NVMe over RoCE Netzwerkverbindung sollten Sie beachten, dass der "VMware Configuration Maximums Guide" angibt, dass die maximal unterstützte Anzahl von RDMA NVMe Initiator Ports pro Server 2 beträgt. Diese Anforderung sollten Sie berücksichtigen, um die Konfiguration zu vieler Pfade zu vermeiden.
Um eine gute Multipathing-Konfiguration zu gewährleisten, verwenden Sie mehrere Netzwerksegmente für das NVMe-over-RoCE-Netzwerk. Platzieren Sie mindestens einen Host-seitigen Port und mindestens einen Port von jedem Array-Controller in einem Netzwerksegment und eine identische Gruppe von Host-seitigen und Array-seitigen Ports in einem anderen Netzwerksegment. Verwenden Sie nach Möglichkeit mehrere Ethernet-Switches, um zusätzliche Redundanz bereitzustellen.
Informieren Sie sich in der Dokumentation des Switch-Anbieters.
Schritt 4: Netzwerkkonfiguration auf der Array-Seite
Sie verwenden die SANtricity System Manager-Oberfläche, um NVMe over RoCE-Netzwerke auf der Array-Seite zu konfigurieren.
Diese Anleitung beschreibt, wie Sie die NVMe-over-RoCE-Portkonfiguration über die Seite Controller & Komponenten im SANtricity System Manager aufrufen. Sie können auch über die Seite NVMe-over-RoCE-Ports konfigurieren im SANtricity System Manager auf die Konfiguration zugreifen.
Stellen Sie sicher, dass Sie Folgendes haben:
-
Die IP-Adresse oder der Domänenname für einen der Speicher-Array-Controller.
-
Passwort für die System Manager-GUI oder Role-Based Access Control (RBAC) oder LDAP und ein Verzeichnisdienst sind für den entsprechenden Sicherheitszugriff auf das Speichersystem konfiguriert. Siehe die Online-Hilfe des SANtricity System Manager für weitere Informationen über "Zugriffsmanagement".
-
Geben Sie in Ihrem Browser die folgende URL ein: https://<DomainNameOrIPAddress>
IPAddressIst die Adresse für einen der Storage Array Controller.Wenn SANtricity System Manager zum ersten Mal auf einem Array geöffnet wird, das nicht konfiguriert wurde, wird die Eingabeaufforderung Administratorkennwort festlegen angezeigt. Rollenbasierte Zugriffsverwaltung konfiguriert vier lokale Rollen: Administration, Support, Sicherheit und Monitoring. Die letzten drei Rollen haben zufällige Passwörter, die nicht erraten werden können. Nachdem Sie ein Passwort für die Administratorrolle festgelegt haben, können Sie alle Passwörter mit den Admin-Anmeldedaten ändern. Weitere Informationen zu den vier lokalen Benutzerrollen finden Sie in der Online-Hilfe des SANtricity-System-Managers.
-
Geben Sie in den Feldern Administratorpasswort festlegen und Passwort bestätigen das Passwort für die Administratorrolle ein und klicken Sie dann auf Passwort festlegen.
Der Setup-Assistent wird gestartet, wenn keine Pools, Volume-Gruppen, Workloads oder Benachrichtigungen konfiguriert sind.
-
Schließen Sie den Setup-Assistenten.
Sie verwenden den Assistenten später, um zusätzliche Setup-Aufgaben abzuschließen.
-
Wählen Sie Hardware > Controllers and components.
-
Klicken Sie auf den Controller mit den NVMe over RoCE-Ports, die Sie konfigurieren möchten.
Das Kontextmenü des Controllers wird angezeigt.
-
Wählen Sie NVMe over RoCE Ports konfigurieren aus.
Das Dialogfeld „NVMe über RoCE-Ports konfigurieren“ wird geöffnet.
-
Wählen Sie in der Dropdown-Liste den Port aus, den Sie konfigurieren möchten, und klicken Sie dann auf Weiter.
-
Wählen Sie die Einstellungen für den Konfigurationsanschluss aus, und klicken Sie dann auf Weiter.
Um alle Porteinstellungen anzuzeigen, klicken Sie rechts im Dialogfeld auf den Link Weitere Porteinstellungen anzeigen.
Port-Einstellung Beschreibung Konfigurierte Geschwindigkeit des ethernet-Ports
Wählen Sie die gewünschte Geschwindigkeit. Die Optionen, die in der Dropdown-Liste angezeigt werden, hängen von der maximalen Geschwindigkeit ab, die Ihr Netzwerk unterstützen kann (zum Beispiel 200 Gb/s).
IPv4 aktivieren/IPv6 aktivieren
Wählen Sie eine oder beide Optionen aus, um die Unterstützung für IPv4- und IPv6-Netzwerke zu aktivieren.
MTU-Größe (Verfügbar durch Klicken auf „Weitere Porteinstellungen anzeigen“.)
Geben Sie bei Bedarf eine neue Größe in Byte für die maximale Übertragungseinheit (MTU) ein.
Die Standardgröße der maximalen Übertragungseinheit (MTU) beträgt 4200 Byte pro Frame. Sie müssen einen Wert zwischen 1500 und 9000 eingeben.
Wenn Sie IPv4 aktivieren ausgewählt haben, wird ein Dialogfeld zur Auswahl von IPv4-Einstellungen geöffnet, nachdem Sie auf Weiter geklickt haben. Wenn Sie IPv6 aktivieren ausgewählt haben, wird ein Dialogfeld zur Auswahl von IPv6-Einstellungen geöffnet, nachdem Sie auf Weiter geklickt haben. Wenn Sie beide Optionen ausgewählt haben, wird zuerst das Dialogfeld für IPv4-Einstellungen geöffnet, und nach dem Klicken auf Weiter wird das Dialogfeld für IPv6-Einstellungen geöffnet.
Konfigurieren Sie die IPv4- und/oder IPv6-Einstellungen automatisch oder manuell. Um alle Porteinstellungen anzuzeigen, klicken Sie rechts im Dialogfeld auf den Link Weitere Einstellungen anzeigen.
Port-Einstellung Beschreibung Automatische Ermittlung der Konfiguration
Wählen Sie diese Option aus, um die Konfiguration automatisch abzurufen.
Statische Konfiguration manuell festlegen
Wählen Sie diese Option aus, und geben Sie dann eine statische Adresse in die Felder ein. Geben Sie bei IPv4 die Subnetzmaske und das Gateway des Netzwerks an. Geben Sie für IPv6 die routingfähige IP-Adresse und die Router-IP-Adresse ein.
-
Klicken Sie Auf Fertig Stellen.
-
Schließen Sie System Manager.
Schritt 5: Host-seitige Netzwerkkonfiguration
Durch die Konfiguration von NVMe over RoCE-Netzwerken auf der Hostseite kann der VMware NVMe over RDMA storage adapter initiator eine Sitzung mit dem Array herstellen.
Wenn der Host über Ethernet-Switches mit dem Speichersystem verbunden ist, muss das verlustfreie Netzwerk auf den Switches wie in Schritt 2 und Schritt 3 beschrieben konfiguriert werden. In diesem Fall hat die switchbasierte Einrichtung des verlustfreien Netzwerks Vorrang, und die unten beschriebene hostseitige Voraussetzung ist nicht erforderlich.
Wenn der Host über eine direkte Verbindung zum Speicher-Array verfügt (kein Switch im Pfad), ist die folgende Voraussetzung zu erfüllen, bevor Sie die NVMe over RDMA Adapter auf Hostseite konfigurieren.
Die Konfiguration des verlustfreien Ethernet erfolgt mithilfe von Priority Flow Control (PFC) auf Basis des Differentiated Services Code Point (DSCP).
Weitere Informationen finden sich unter "Konfiguration von verlustfreiem Ethernet für NVMe over RDMA".
Diese Aufgabe erstellt die NVMe over RDMA Host-Adapter und fügt Controller-Verbindungen zum Speicher hinzu.
-
Identifizieren Sie RDMA-Netzwerkadapter und notieren Sie den mit vmnic gepaarten Uplink.
Weitere Informationen finden sich unter "RDMA-Netzwerkadapter anzeigen".
-
Konfigurieren Sie die VMkernel-Portbindung für den RDMA-Adapter mithilfe eines vSphere Standard-Switches.
Weitere Informationen finden sich unter "Konfigurieren Sie die VMkernel-Bindung für den RDMA-Adapter".
-
Fügen Sie den Software-NVMe-over-RDMA-Adapter hinzu.
Weitere Informationen finden sich unter "Software-NVMe-over-RDMA- oder NVMe-over-TCP-Adapter hinzufügen".
-
NVMe-Controller für NVMe über RDMA hinzufügen.
Weitere Informationen finden sich unter "Controller für NVMe over Fabrics hinzufügen".
|
|
Die Host NQN kann während dieses Vorgangs im Dialogfeld „Controller hinzufügen“ abgerufen werden. Diese wird später für die Konfiguration der Host-Zuordnungen benötigt. |
Nach erfolgreichem Hinzufügen können die Verbindungen in der Ansicht „Speicheradapter“ im vSphere Client eingesehen werden. Falls dies nicht erfolgreich war, ist mit Schritt 6 fortzufahren, um die Kommunikation mit den Ports zu überprüfen und etwaige Verbindungseinstellungen zu korrigieren.
Schritt 6: Überprüfen der IP-Netzwerkverbindungen
Sie überprüfen IP-Netzwerkverbindungen des Internet Protocol (Internet Protocol), indem Sie Ping-Tests verwenden, um sicherzustellen, dass Host und Array kommunizieren können.
-
Auf dem Host wird der folgende Befehl ausgeführt:
vmkping <NVMe over RoCE_target_IP_address\>
In diesem Beispiel ist die NVMe over RoCE-Ziel-IP-Adresse 192.6.21.231.
vmkping -d 192.6.21.231 PING 192.6.21.231 (192.6.21.231): 56 data bytes 64 bytes from 192.6.21.231: icmp_seq=0 ttl=64 time=0.902 ms 64 bytes from 192.6.21.231: icmp_seq=1 ttl=64 time=0.406 ms 64 bytes from 192.6.21.231: icmp_seq=2 ttl=64 time=0.855 ms --- 192.6.21.231 ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.406/0.721/0.902 ms
-
Geben Sie einen
vmkping-Befehl von der Initiatoradresse jedes Hosts (der IP-Adresse des für NVMe over RoCE verwendeten Ethernet-Ports des Hosts) an jeden Controller-NVMe-over-RoCE-Port aus. Führen Sie diese Aktion von jedem Host-Server in der Konfiguration aus und ändern Sie die IP-Adressen nach Bedarf.
Falls der Befehl mit der Meldung sendto() failed (Message too long)fehlschlägt, überprüfen Sie die MTU-Größe für die Ethernet-Schnittstellen am Host-Server, am Storage Controller und an den Switch-Ports. -
Falls die Erkennung in Schritt 5 fehlgeschlagen ist, kehren Sie zum Konfigurationsverfahren für die hostseitige Netzwerkverbindung über NVMe over RoCE zurück, um das Hinzufügen der Ziel-Controller abzuschließen.