La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Configuration hôte NVMe-of pour SUSE Linux Enterprise Server 15 SP3 avec ONTAP

05/03/2024 Contributeurs

NVMe over Fabrics ou NVMe-of (y compris NVMe/FC et autres transports) est pris en charge avec SUSE Linux Enterprise Server 15 SP3 (SLES15 SP3) avec ANA (Asymmetric namespace Access). ANA est l'équivalent ALUA de l'environnement NVMe-of et est actuellement implémentée avec NVMe Multipath dans le noyau. Les détails de l'activation de NVMe-of avec NVMe Multipath intégré au noyau à l'aide d'ANA sur SLES15 SP3 et ONTAP en tant que cible ont été documentés ici.

Reportez-vous à la "Matrice d'interopérabilité NetApp" pour des informations précises sur les configurations prises en charge.

Caractéristiques

SLES15 SP3 prend en charge NVMe/FC et autres transports.
Nous ne prenons pas en charge Sanlunn pour NVMe-of. Par conséquent, IL n'y a pas de prise en charge DE LUHU pour NVMe-of sur SLES15 SP3. Vous pouvez utiliser le plug-in NetApp inclus dans l'interface de ligne de commande native nvme pour la même utilisation. Cette opération doit être compatible avec tous les transports NVMe-of.
Le trafic NVMe et SCSI peut être exécuté sur le même hôte existant. En fait, ce chiffre devrait correspondre à la configuration hôte couramment déployée pour les clients. Par conséquent, pour SCSI, vous pouvez configurer dm-multipath Comme d'habitude pour les LUN SCSI, ce qui entraîne des périphériques mpath, tandis que le protocole NVMe multipath peut être utilisé pour configurer les périphériques NVMe-of multipathing sur l'hôte.

Limites connues

Le démarrage SAN à l'aide du protocole NVMe-of n'est pas pris en charge pour le moment.

Activez NVMe Multipath dans le noyau

Les chemins d'accès multiples NVMe in-kernel sont déjà activés par défaut sur les hôtes SLES tels que SLES15 SP3. Par conséquent, aucun paramètre supplémentaire n'est requis ici. Reportez-vous à la "Matrice d'interopérabilité NetApp" pour des informations précises sur les configurations prises en charge.

Packs d'initiateurs NVMe-of

Reportez-vous à la "Matrice d'interopérabilité NetApp" pour des informations précises sur les configurations prises en charge.

Vérifiez que les modules MU requis pour le noyau et le nvme-cli sont installés sur l'hôte MU SLES15 SP3.

Exemple :

# uname -r
5.3.18-59.5-default

# rpm -qa|grep nvme-cli
nvme-cli-1.13-3.3.1.x86_64

Le progiciel MU nvme-cli ci-dessus comprend maintenant les éléments suivants :

Scripts de connexion automatique NVMe/FC - requis pour la connexion automatique NVMe/FC-(re)lorsque les chemins sous-jacents vers les espaces de noms sont restaurés, ainsi que durant le redémarrage de l'hôte :

# rpm -ql nvme-cli-1.13-3.3.1.x86_64
/etc/nvme
/etc/nvme/hostid
/etc/nvme/hostnqn
/usr/lib/systemd/system/nvmefc-boot-connections.service
/usr/lib/systemd/system/nvmefc-connect.target
/usr/lib/systemd/system/nvmefc-connect@.service
...

Règle ONTAP udev - Nouvelle règle udev pour s'assurer que l'équilibreur de chargement round-Robin de chemins d'accès multiples NVMe s'applique par défaut à tous les espaces de noms ONTAP :

# rpm -ql nvme-cli-1.13-3.3.1.x86_64
/etc/nvme
/etc/nvme/hostid
/etc/nvme/hostnqn
/usr/lib/systemd/system/nvmefc-boot-connections.service
/usr/lib/systemd/system/nvmf-autoconnect.service
/usr/lib/systemd/system/nvmf-connect.target
/usr/lib/systemd/system/nvmf-connect@.service
/usr/lib/udev/rules.d/70-nvmf-autoconnect.rules
/usr/lib/udev/rules.d/71-nvmf-iopolicy-netapp.rules
...
# cat /usr/lib/udev/rules.d/71-nvmf-iopolicy-netapp.rules
# Enable round-robin for NetApp ONTAP and NetApp E-Series
ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"
ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{model}=="NetApp E-Series", ATTR{iopolicy}="round-robin"

Le plug-in NetApp pour périphériques ONTAP - le plug-in NetApp existant a désormais également été modifié pour gérer les espaces de noms ONTAP.

Vérifiez la chaîne hostnqn à /etc/nvme/hostnqn Sur l'hôte et assurez-vous qu'il correspond correctement à la chaîne hostnqn pour le sous-système correspondant de la matrice ONTAP. Par exemple :

# cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:3ca559e1-5588-4fc4-b7d6-5ccfb0b9f054
::> vserver nvme subsystem host show -vserver vs_fcnvme_145
Vserver     Subsystem      Host NQN
-------     ---------      ----------------------------------
vs_nvme_145 nvme_145_1 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
            nvme_145_2 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
            nvme_145_3 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
            nvme_145_4 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
            nvme_145_5 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
5 entries were displayed.

Suivez les étapes ci-dessous en fonction de l'adaptateur FC utilisé sur l'hôte.

Configurez NVMe/FC

Broadcom/Emulex

Vérifiez que vous disposez des versions de carte et de micrologiciel recommandées. Par exemple :
```
# cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
# cat /sys/class/scsi_host/host*/fwrev
12.8.340.8, sli-4:2:c
12.8.840.8, sli-4:2:c
```
- Les pilotes lpfc les plus récents (boîte de réception et boîte de réception) ont déjà la valeur par défaut lpfc_enable_fc4_type définie sur 3. Vous n'avez donc plus besoin de la définir explicitement dans l' /etc/modprobe.d/lpfc.conf, et recréez le initrd. Le lpfc nvme le support est déjà activé par défaut :
  # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
- Le pilote natif lpfc de la boîte de réception est déjà la dernière version et compatible avec NVMe/FC. Par conséquent, il n'est pas nécessaire d'installer le pilote oob lpfc.
  # cat /sys/module/lpfc/version 0:12.8.0.10

Vérifiez que les ports initiateurs sont opérationnels :

# cat /sys/class/fc_host/host*/port_name
0x100000109b579d5e
0x100000109b579d5f
# cat /sys/class/fc_host/host*/port_state
Online
Online

Vérifiez que les ports initiateurs NVMe/FC sont activés et que vous voyez les ports cibles, et que tous sont en cours d'exécution. Dans cet exemple, 1 seul port initiateur est activé et connecté à deux LIFs cibles, comme indiqué dans le résultat :

# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b579d5e WWNN x200000109b579d5e DID x011c00 ONLINE
NVME RPORT WWPN x208400a098dfdd91 WWNN x208100a098dfdd91 DID x011503 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x208500a098dfdd91 WWNN x208100a098dfdd91 DID x010003 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000e49 Cmpl 0000000e49 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000003ceb594f Issue 000000003ce65dbe OutIO fffffffffffb046f
abort 00000bd2 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000014f4 Err 00012abd
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b579d5f WWNN x200000109b579d5f DID x011b00 ONLINE
NVME RPORT WWPN x208300a098dfdd91 WWNN x208100a098dfdd91 DID x010c03 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x208200a098dfdd91 WWNN x208100a098dfdd91 DID x012a03 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000e50 Cmpl 0000000e50 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000003c9859ca Issue 000000003c93515e OutIO fffffffffffaf794
abort 00000b73 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000159d Err 000135c3

Redémarrez l'hôte.

Activation d'une taille d'E/S de 1 Mo (facultatif)

ONTAP signale un DTO (MAX Data Transfer Size) de 8 dans les données Identify Controller, ce qui signifie que la taille maximale de la demande d'E/S doit être de 1 Mo. Toutefois, pour émettre des demandes d'E/S de 1 Mo pour l'hôte NVMe/FC Broadcom, le paramètre lpfc lpfc_sg_seg_cnt doit également être incrémenté jusqu'à 256 à partir de la valeur par défaut 64. Pour ce faire, suivez les instructions suivantes :

Ajoutez la valeur 256 dans le champ correspondant modprobe lpfc.conf fichier :
```
# cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
```
Exécutez un dracut -f et redémarrez l'hôte.
Après le redémarrage, vérifiez que le paramètre ci-dessus a été appliqué en vérifiant la valeur sysfs correspondante :
```
# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256
```

L'hôte Broadcom NVMe/FC doit désormais pouvoir envoyer des demandes d'E/S de 1 Mo sur les périphériques de l'espace de noms ONTAP.

Marvell/QLogic

Le pilote qla2xxx natif de la boîte de réception inclus dans le noyau mobile SLES15 SP3 plus récent comporte les derniers correctifs en amont, essentiels pour la prise en charge de ONTAP.

Vérifiez que vous exécutez les versions de pilote de carte et de micrologiciel prises en charge, par exemple :

# cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k
QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k

La vérification ql2xnvmeenable Est défini pour que l'adaptateur Marvell puisse fonctionner comme un initiateur NVMe/FC :

# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1

Configurez NVMe/TCP

Contrairement à NVMe/FC, NVMe/TCP ne propose pas de fonctionnalité de connexion automatique. Cela a mis en place deux limitations majeures sur l'hôte Linux NVMe/TCP :

Pas de reconnexion automatique après rétablissement des chemins NVMe/TCP ne peut pas se reconnecter automatiquement à un chemin qui est rétabli au-delà de la valeur par défaut ctrl-loss-tmo minuterie de 10 minutes après un chemin descendant.
Pas de connexion automatique pendant le démarrage de l'hôte NVMe/TCP ne peut pas se connecter automatiquement lors du démarrage de l'hôte.

Vous devez définir la période de nouvelle tentative pour les événements de basculement sur au moins 30 minutes afin d'éviter les délais. Vous pouvez augmenter la période de relance en augmentant la valeur du temporisateur ctrl_Loss_tmo. Voici les détails :

Étapes

Vérifiez si le port initiateur peut récupérer les données de la page du journal de découverte sur les LIF NVMe/TCP prises en charge :

# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
Discovery Log Number of Records 10, Generation counter 119
=====Discovery Log Entry 0======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.2.56
sectype: none
=====Discovery Log Entry 1======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 1
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.1.51
sectype: none
=====Discovery Log Entry 2======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
traddr: 192.168.2.56
sectype: none
...

Vérifiez que d'autres combos LIF cible-initiateur NVMe/TCP sont en mesure de récupérer les données de la page du journal de découverte. Par exemple :

# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57

Courez nvme connect-all Contrôlez l'ensemble des LIF cible initiateur-initiateur NVMe/TCP prises en charge sur l'ensemble des nœuds. Assurez-vous de définir une plus longue durée ctrl_loss_tmo période de relance de la minuterie (par exemple, 30 minutes, qui peuvent être réglées à -l 1800) au cours de la connexion-all de sorte qu'il réessaie pendant une période plus longue en cas de perte de chemin. Par exemple :
```
# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800
```

Validez la spécification NVMe-of

Vérifier que le chemin d'accès multiples NVMe dans le noyau est activé en cochant la case :
```
# cat /sys/module/nvme_core/parameters/multipath
Y
```
Vérifiez que les paramètres NVMe-of appropriés (par exemple, model réglez sur NetApp ONTAP Controller et load balancing iopolicy réglez sur round-robin) Pour les espaces de noms ONTAP respectifs reflètent correctement sur l'hôte :
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller

# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin
```

Vérifier que les espaces de noms ONTAP reflètent correctement sur l'hôte. Par exemple :

# nvme list
Node           SN                    Model                   Namespace
------------   --------------------- ---------------------------------
/dev/nvme0n1   81CZ5BQuUNfGAAAAAAAB  NetApp ONTAP Controller   1

Usage                Format         FW Rev
-------------------  -----------    --------
85.90 GB / 85.90 GB  4 KiB + 0 B    FFFFFFFF

Autre exemple :

# nvme list
Node           SN                    Model                   Namespace
------------   --------------------- ---------------------------------
/dev/nvme0n1   81CYrBQuTHQFAAAAAAAC  NetApp ONTAP Controller   1

Usage                Format         FW Rev
-------------------  -----------    --------
85.90 GB / 85.90 GB  4 KiB + 0 B    FFFFFFFF

Vérifiez que l'état du contrôleur de chaque chemin est actif et que le statut ANA est correct. Par exemple :

# nvme list-subsys /dev/nvme1n1
nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.04ba0732530911ea8e8300a098dfdd91:subsystem.nvme_145_1
\
+- nvme2 fc traddr=nn-0x208100a098dfdd91:pn-0x208200a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live non-optimized
+- nvme3 fc traddr=nn-0x208100a098dfdd91:pn-0x208500a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live non-optimized
+- nvme4 fc traddr=nn-0x208100a098dfdd91:pn-0x208400a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live optimized
+- nvme6 fc traddr=nn-0x208100a098dfdd91:pn-0x208300a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live optimized

Autre exemple :

#nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.37ba7d9cbfba11eba35dd039ea165514:subsystem.nvme_114_tcp_1
\
+- nvme0 tcp traddr=192.168.2.36 trsvcid=4420 host_traddr=192.168.1.4 live optimized
+- nvme1 tcp traddr=192.168.1.31 trsvcid=4420 host_traddr=192.168.1.4 live optimized
+- nvme10 tcp traddr=192.168.2.37 trsvcid=4420 host_traddr=192.168.1.4 live non-optimized
+- nvme11 tcp traddr=192.168.1.32 trsvcid=4420 host_traddr=192.168.1.4 live non-optimized
+- nvme20 tcp traddr=192.168.2.36 trsvcid=4420 host_traddr=192.168.2.5 live optimized
+- nvme21 tcp traddr=192.168.1.31 trsvcid=4420 host_traddr=192.168.2.5 live optimized
+- nvme30 tcp traddr=192.168.2.37 trsvcid=4420 host_traddr=192.168.2.5 live non-optimized
+- nvme31 tcp traddr=192.168.1.32 trsvcid=4420 host_traddr=192.168.2.5 live non-optimized

Vérifiez que le plug-in NetApp affiche les valeurs appropriées pour chaque système d'espace de noms ONTAP. Par exemple :

# nvme netapp ontapdevices -o column
Device       Vserver          Namespace Path
---------    -------          --------------------------------------------------
/dev/nvme1n1 vserver_fcnvme_145 /vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns

NSID  UUID                                   Size
----  ------------------------------         ------
1      23766b68-e261-444e-b378-2e84dbe0e5e1  85.90GB


# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
     {
       "Device" : "/dev/nvme1n1",
       "Vserver" : "vserver_fcnvme_145",
       "Namespace_Path" : "/vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns",
       "NSID" : 1,
       "UUID" : "23766b68-e261-444e-b378-2e84dbe0e5e1",
       "Size" : "85.90GB",
       "LBA_Data_Size" : 4096,
       "Namespace_Size" : 20971520
     }
  ]
}

Autre exemple :

# nvme netapp ontapdevices -o column
Device       Vserver          Namespace Path
---------    -------          --------------------------------------------------
/dev/nvme0n1 vs_tcp_114       /vol/tcpnvme_114_1_0_1/tcpnvme_114_ns

NSID  UUID                                   Size
----  ------------------------------         ------
1      a6aee036-e12f-4b07-8e79-4d38a9165686  85.90GB


# nvme netapp ontapdevices -o json
{
     "ONTAPdevices" : [
     {
          "Device" : "/dev/nvme0n1",
           "Vserver" : "vs_tcp_114",
          "Namespace_Path" : "/vol/tcpnvme_114_1_0_1/tcpnvme_114_ns",
          "NSID" : 1,
          "UUID" : "a6aee036-e12f-4b07-8e79-4d38a9165686",
          "Size" : "85.90GB",
          "LBA_Data_Size" : 4096,
          "Namespace_Size" : 20971520
       }
  ]

}

Problèmes connus

Il n'y a pas de problème connu.

Configuration hôte NVMe-of pour SUSE Linux Enterprise Server 15 SP3 avec ONTAP

Creating your file...

Caractéristiques

Limites connues

Activez NVMe Multipath dans le noyau

Packs d'initiateurs NVMe-of

Configurez NVMe/FC

Broadcom/Emulex

Activation d'une taille d'E/S de 1 Mo (facultatif)

Marvell/QLogic

Configurez NVMe/TCP

Validez la spécification NVMe-of

Problèmes connus