Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe-of Host-Konfiguration für ESXi 7.x mit ONTAP

Beitragende

Sie können NVMe over Fabrics (NVMe-of) auf Initiator-Hosts, die ESXi 7.x ausführen, und ONTAP als Ziel konfigurieren.

Instandhaltung

  • Ab ONTAP 9.7 unterstützt NVMe over Fibre Channel (NVMe/FC) jetzt auch VMware vSphere Versionen.

  • Ab 7.0U3c wird die NVMe/TCP Funktion für den ESXi Hypervisor unterstützt.

  • Ab ONTAP 9.10.1 wird die NVMe/TCP Funktion für ONTAP unterstützt.

Funktionen

  • Auf dem ESXi-Initiator-Host kann NVMe/FC- und FCP-Datenverkehr über dieselben Adapter-Ports ausgeführt werden. Siehe "Hardware Universe" Für eine Liste der unterstützten FC-Adapter und Controller. Siehe "NetApp Interoperabilitätsmatrix" Erhalten Sie auf der aktuellen Liste der unterstützten Konfigurationen und Versionen.

  • Ab ONTAP 9.9.1 P3 wird die NVMe/FC-Funktion für ESXi 7.0 Update 3 unterstützt.

  • Für ESXi 7.0 und neuere Versionen ist HPP (High Performance Plugin) das Standard-Plug-in für NVMe-Geräte.

Bekannte Einschränkungen

Die folgenden Konfigurationen werden nicht unterstützt:

  • RDM-Zuordnung

  • VVols

NVMe/FC aktivieren

  1. Überprüfen Sie den NQN-String des ESXi-Hosts und vergewissern Sie sich, dass er mit der NQN-Zeichenfolge des Hosts für das entsprechende Subsystem im ONTAP-Array übereinstimmt:

    # esxcli nvme  info get
    Host NQN: nqn.2014-08.com.vmware:nvme:nvme-esx
    
    # vserver nvme subsystem host show -vserver vserver_nvme
      Vserver Subsystem             Host NQN
      ------- ------------------- ----------------------------------------
      vserver_nvme ss_vserver_nvme nqn.2014-08.com.vmware:nvme:nvme-esx

Konfigurieren Sie Broadcom/Emulex

  1. Überprüfen Sie, ob die Konfiguration mit dem erforderlichen Treiber/der erforderlichen Firmware unterstützt wird, indem Sie auf verweisen "NetApp Interoperabilitätsmatrix".

  2. Legen Sie den Parameter lpfc-Treiber fest lpfc_enable_fc4_type=3 NVMe/FC-Unterstützung in der ermöglichen lpfc Treiber und starten Sie den Host neu.

Hinweis Ab vSphere 7.0 Update 3 werden die brcmnvmefc Treiber ist nicht mehr verfügbar. Deshalb, das lpfc Er enthält nun die bereits mit dem bereitgestellten NVMe-over-Fibre-Channel-Funktionen (NVMe/FC) brcmnvmefc Treiber.
Hinweis Der lpfc_enable_fc4_type=3 Der Parameter ist standardmäßig für die Adapter der LPe35000-Serie eingestellt. Sie müssen den folgenden Befehl ausführen, um ihn manuell für Adapter der LPe32000-Serie und der LPe31000-Serie einzustellen.
# esxcli system module parameters set -m lpfc -p lpfc_enable_fc4_type=3

#esxcli system module parameters list  -m lpfc | grep lpfc_enable_fc4_type
lpfc_enable_fc4_type              int     3      Defines what FC4 types are supported

#esxcli storage core adapter list
HBA Name  Driver   Link State  UID                                   Capabilities         Description
--------  -------  ----------  ------------------------------------  -------------------  -----------
vmhba1    lpfc     link-up     fc.200000109b95456f:100000109b95456f  Second Level Lun ID  (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter    FC HBA
vmhba2    lpfc     link-up     fc.200000109b954570:100000109b954570  Second Level Lun ID  (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter    FC HBA
vmhba64   lpfc     link-up     fc.200000109b95456f:100000109b95456f                       (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter   NVMe HBA
vmhba65   lpfc     link-up     fc.200000109b954570:100000109b954570                       (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter   NVMe HBA

Konfiguration von Marvell/QLogic

Schritte
  1. Überprüfen Sie, ob die Konfiguration mit dem erforderlichen Treiber/der erforderlichen Firmware unterstützt wird, indem Sie auf lesen "NetApp Interoperabilitätsmatrix".

  2. Stellen Sie die ein qlnativefc Treiberparameter ql2xnvmesupport=1 NVMe/FC-Unterstützung in der ermöglichen qlnativefc Treiber und starten Sie den Host neu.

    # esxcfg-module -s 'ql2xnvmesupport=1' qlnativefc

    Hinweis Der qlnativefc Der Treiberparameter ist für die Adapter der Serie QLE 277x standardmäßig eingestellt. Sie müssen den folgenden Befehl ausführen, um ihn manuell für Adapter der Serie QLE 277x einzustellen.
    esxcfg-module -l | grep qlnativefc
    qlnativefc               4    1912
  3. Überprüfen Sie, ob nvme auf dem Adapter aktiviert ist:

      #esxcli storage core adapter list
    HBA Name  Driver      Link State  UID                                   Capabilities         Description
    --------  ----------  ----------  ------------------------------------  -------------------  -----------
     vmhba3    qlnativefc  link-up     fc.20000024ff1817ae:21000024ff1817ae  Second Level Lun ID  (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter    FC Adapter
    vmhba4    qlnativefc  link-up     fc.20000024ff1817af:21000024ff1817af  Second Level Lun ID  (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter FC Adapter
    vmhba64   qlnativefc  link-up     fc.20000024ff1817ae:21000024ff1817ae                       (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter  NVMe FC Adapter
    vmhba65   qlnativefc  link-up     fc.20000024ff1817af:21000024ff1817af                       (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter  NVMe FC Adapter

NVMe/FC validieren

  1. Vergewissern Sie sich, dass der NVMe/FC-Adapter auf dem ESXi Host aufgeführt ist:

    # esxcli nvme adapter list
    
    Adapter  Adapter Qualified Name           Transport Type  Driver      Associated Devices
    -------  -------------------------------  --------------  ----------  ------------------
    vmhba64  aqn:qlnativefc:21000024ff1817ae  FC              qlnativefc
    vmhba65  aqn:qlnativefc:21000024ff1817af  FC              qlnativefc
    vmhba66  aqn:lpfc:100000109b579d9c 	      FC              lpfc
    vmhba67  aqn:lpfc:100000109b579d9d 	      FC              lpfc
  2. Vergewissern Sie sich, dass die NVMe/FC-Namespaces ordnungsgemäß erstellt wurden:

    Die UUIDs im folgenden Beispiel repräsentieren die NVMe/FC Namespace-Geräte.

    # esxcfg-mpath -b
    uuid.5084e29a6bb24fbca5ba076eda8ecd7e : NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       vmhba65:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:2f:00:a0:98:df:e3:d1
       vmhba65:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:1a:00:a0:98:df:e3:d1
       vmhba64:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:18:00:a0:98:df:e3:d1
       vmhba64:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:19:00:a0:98:df:e3:d1
    Hinweis In ONTAP 9.7 beträgt die Standardblockgröße für einen NVMe/FC Namespace 4 KB. Diese Standardgröße ist nicht mit ESXi kompatibel. Wenn Sie also Namespaces für ESXi erstellen, müssen Sie die Namespace-Blockgröße als 512 b festlegen. Sie können dies mit dem tun vserver nvme namespace create Befehl.
    Beispiel

    vserver nvme namespace create -vserver vs_1 -path /vol/nsvol/namespace1 -size 100g -ostype vmware -block-size 512B

    Siehe "ONTAP 9 Befehlsman-Pages" Entnehmen.

  3. Überprüfen Sie den Status der einzelnen ANA-Pfade der jeweiligen NVMe/FC-Namespace-Geräte:

    esxcli storage hpp path list -d uuid.5084e29a6bb24fbca5ba076eda8ecd7e
    fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201800a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba64:C0:T0:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active
       Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}
    
    fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:201a00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba65:C0:T1:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active
       Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}
    
    fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:202f00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba65:C0:T0:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active unoptimized
       Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}
    
    fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201900a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba64:C0:T1:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active unoptimized
       Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}

Konfiguration von NVMe/TCP

Ab 7.0U3c werden die erforderlichen NVMe/TCP Module standardmäßig geladen. Informationen zur Konfiguration des Netzwerks und des NVMe/TCP-Adapters finden Sie in der Dokumentation zu VMware vSphere.

NVMe/TCP validieren

Schritte
  1. Überprüfen Sie den Status des NVMe/TCP-Adapters.

    [root@R650-8-45:~] esxcli nvme adapter list
    Adapter    Adapter Qualified Name
    --------- -------------------------------
    vmhba64    aqn:nvmetcp:34-80-0d-30-ca-e0-T
    vmhba65    aqn:nvmetc:34-80-13d-30-ca-e1-T
    list
    Transport Type   Driver   Associated Devices
    ---------------  -------  ------------------
    TCP              nvmetcp    vmnzc2
    TCP              nvmetcp    vmnzc3
  2. Verwenden Sie den folgenden Befehl, um die NVMe/TCP-Verbindungen aufzulisten:

    [root@R650-8-45:~] esxcli nvme controller list
    Name
    -----------
    nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.100.11:4420
    nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.101.11:4420
    Controller Number  Adapter   Transport Type   IS Online
    ----------------- ---------  ---------------  ---------
    1580              vmhba64    TCP              true
    1588              vmhba65    TCP              true
  3. Verwenden Sie den folgenden Befehl, um die Anzahl der Pfade zu einem NVMe-Namespace aufzulisten:

    [root@R650-8-45:~] esxcli storage hpp path list -d uuid.400bf333abf74ab8b96dc18ffadc3f99
    tcp.vmnic2:34:80:Od:30:ca:eo-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99
       Runtime Name: vmhba64:C0:T0:L3
       Device: uuid.400bf333abf74ab8b96dc18ffadc3f99
       Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99)
       Path State: active unoptimized
       Path config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}
    
    tcp.vmnic3:34:80:Od:30:ca:el-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99
       Runtime Name: vmhba65:C0:T1:L3
       Device: uuid.400bf333abf74ab8b96dc18ffadc3f99
       Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99)
       Path State: active
       Path config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für ESXi 7.x mit ONTAP weist folgende bekannte Probleme auf:

NetApp Bug ID Titel Behelfslösung

"1420654"

ONTAP Node ist nicht betriebsbereit, wenn das NVMe/FC-Protokoll mit ONTAP Version 9.9.1 verwendet wird

Prüfen und beheben Sie Netzwerkprobleme in der Host-Fabric. Wenn dies nicht hilft, aktualisieren Sie auf einen Patch, der dieses Problem behebt.