Configuration hôte NVMe-of pour RHEL 8.7 avec ONTAP
NVMe over Fabrics ou NVMe-of (y compris NVMe/FC et autres transports) est pris en charge par Red Hat Enterprise Linux (RHEL) 8.7 avec ANA (Asymmetric Namespace Access). ANA est l'équivalent ALUA (Asymmetric Logical Unit Access) dans l'environnement NVMe-of, et actuellement implémenté avec NVMe Multipath dans le noyau. Au cours de cette procédure, vous activez NVMe-of avec le multichemin NVMe dans le noyau en utilisant ANA sur RHEL 8.7 et ONTAP comme cible.
Voir la "Matrice d'interopérabilité NetApp" pour des informations précises sur les configurations prises en charge.
Caractéristiques
RHEL 8.7 inclut la prise en charge de NVMe/TCP (en tant que fonctionnalité de prévisualisation technologique) en plus de NVMe/FC. Le plug-in NetApp du package nvme-cli natif est capable d'afficher les détails ONTAP pour les namespaces NVMe/FC et NVMe/TCP.
Limites connues
-
Pour RHEL 8.7, le chemin d'accès multiples NVMe intégré au noyau reste désactivé par défaut. Par conséquent, vous devez l'activer manuellement.
-
NVMe/TCP sur RHEL 8.7 reste une fonction d'aperçu technologique en raison de problèmes ouverts. Reportez-vous à la "Notes de version de RHEL 8.7" pour plus d'informations.
-
Le démarrage SAN à l'aide du protocole NVMe-of n'est pas pris en charge pour le moment.
Activez NVMe Multipath dans le noyau
Vous pouvez utiliser la procédure suivante pour activer les chemins d'accès multiples NVMe in-kernel.
-
Installez RHEL 8.7 sur le serveur.
-
Une fois l'installation terminée, vérifiez que vous exécutez le noyau RHEL 8.7 spécifié. Voir la "Matrice d'interopérabilité NetApp" pour obtenir la liste la plus récente des versions prises en charge.
Exemple :
# uname -r 4.18.0-425.3.1.el8.x86_64
-
Installer le
nvme-cli
groupe :Exemple :
# rpm -qa|grep nvme-cli nvme-cli-1.16-5.el8.x86_64
-
Activer le multichemin NVMe dans le noyau :
Exemple
# grubby --args=nvme_core.multipath=Y --update-kernel /boot/vmlinuz-4.18.0-425.3.1.el8.x86_64
-
Sur l'hôte, vérifiez la chaîne NQN hôte à
/etc/nvme/hostnqn
Et vérifiez qu'il correspond à la chaîne NQN hôte pour le sous-système correspondant de la matrice ONTAP. Exemple :# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:a7f7a1d4-311a-11e8-b634- 7ed30aef10b7 ::> vserver nvme subsystem host show -vserver vs_nvme167 Vserver Subsystem Host NQN ----------- --------------- ---------------- vs_nvme167 rhel_167_LPe35002 nqn.2014-08.org.nvmexpress:uuid: a7f7a1d4-311a-11e8-b634-7ed30aef10b7
Si les chaînes NQN hôte ne correspondent pas, vous devez utiliser le vserver modify
Commande pour mettre à jour la chaîne NQN hôte sur le sous-système NVMe ONTAP correspondant afin qu'elle corresponde à la chaîne NQN hôte/etc/nvme/hostnqn
sur l'hôte. -
Redémarrez l'hôte.
Si vous avez l'intention d'exécuter à la fois le trafic existant NVMe et SCSI sur le même hôte, NetApp vous recommande d'utiliser respectivement le protocole multivoie NVMe intégré pour les namespaces ONTAP et le protocole dm-multipath pour les LUN ONTAP. Cela signifie que les espaces de noms ONTAP doivent être exclus de dm-multipath afin d'empêcher dm-multipath de demander ces dispositifs d'espace de noms. Pour ce faire, vous pouvez ajouter le paramètre enable_Foreign au
/etc/multipath.conf
fichier :# cat /etc/multipath.conf defaults { enable_foreign NONE }
Redémarrez le démon multipathd en exécutant un
systemctl restart multipathd
commande permettant d'appliquer le nouveau paramètre.
Configurez NVMe/FC
Vous pouvez configurer NVMe/FC pour les cartes Broadcom/Emulex ou Marvell/Qlogic.
-
Vérifiez que vous utilisez la carte prise en charge. Voir la "Matrice d'interopérabilité NetApp" pour consulter la liste la plus récente des cartes prises en charge.
# cat /sys/class/scsi_host/host*/modelname LPe35002-M2 LPe35002-M2 # cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe35002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe35002-M2 2-Port 32Gb Fibre Channel Adapter
-
Vérifiez que vous utilisez le micrologiciel et le pilote recommandés pour la boîte de réception Broadcom lpfc. Voir la "Matrice d'interopérabilité NetApp" pour obtenir la liste la plus récente des versions de pilote de carte et de micrologiciel prises en charge.
# cat /sys/class/scsi_host/host*/fwrev 14.0.505.12, sli-4:6:d 14.0.505.12, sli-4:6:d # cat /sys/module/lpfc/version 0:14.0.0.15
-
Vérifiez-le
lpfc_enable_fc4_type
est défini sur 3# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Vérifiez que les ports initiateurs sont opérationnels et que vous pouvez voir les LIFs cibles.
# cat /sys/class/fc_host/host*/port_name 0x100000109b95467c 0x100000109b95467b # cat /sys/class/fc_host/host*/port_state Online Online # cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b95467c WWNN x200000109b95467c DID x0a1500 ONLINE NVME RPORT WWPN x2071d039ea36a105 WWNN x206ed039ea36a105 DID x0a0907 TARGET DISCSRVC ONLINE NVME RPORT WWPN x2072d039ea36a105 WWNN x206ed039ea36a105 DID x0a0805 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 00000001c7 Cmpl 00000001c7 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 0000000004909837 Issue 0000000004908cfc OutIO fffffffffffff4c5 abort 0000004a noxri 00000000 nondlp 00000458 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000061 Err 00017f43 NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b95467b WWNN x200000109b95467b DID x0a1100 ONLINE NVME RPORT WWPN x2070d039ea36a105 WWNN x206ed039ea36a105 DID x0a1007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x206fd039ea36a105 WWNN x206ed039ea36a105 DID x0a0c05 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 00000001c7 Cmpl 00000001c7 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 0000000004909464 Issue 0000000004908531 OutIO fffffffffffff0cd abort 0000004f noxri 00000000 nondlp 00000361 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 0000006b Err 00017f99
Boîte de réception native qla2xxx
Le pilote inclus dans le noyau RHEL 8.7 dispose des derniers correctifs essentiels à la prise en charge de ONTAP.
-
Vérifiez que vous exécutez les versions du pilote de carte et du micrologiciel prises en charge à l'aide de la commande suivante :
# cat /sys/class/fc_host/host*/symbolic_name QLE2772 FW:v9.08.02 DVR:v10.02.07.400-k-debug QLE2772 FW:v9.08.02 DVR:v10.02.07.400-k-debug
-
La vérification
ql2xnvmeenable
Est défini, ce qui permet à l'adaptateur Marvell de fonctionner comme un initiateur NVMe/FC à l'aide de la commande suivante :# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
Activer les E/S de 1 Mo (en option)
ONTAP signale une taille DE transfert MAX Data de 8 DANS les données Identify Controller, ce qui signifie que la taille maximale des demandes d'E/S peut atteindre 1 Mo. Toutefois, pour émettre des demandes d'E/S d'une taille de 1 Mo pour un hôte Broadcom NVMe/FC, vous devez augmenter le lpfc
valeur du lpfc_sg_seg_cnt
à 256 à partir de la valeur par défaut de 64.
-
Réglez le
lpfc_sg_seg_cnt
paramètre à 256.# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
Exécutez un
dracut -f
et redémarrez l'hôte. -
Vérifiez-le
lpfc_sg_seg_cnt
est 256.# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
|
Cela ne s'applique pas aux hôtes NVMe/FC Qlogic. |
Configurez NVMe/TCP
NVMe/TCP ne dispose pas de la fonctionnalité de connexion automatique. Par conséquent, si un chemin tombe en panne et n'est pas rétabli dans le délai par défaut de 10 minutes, NVMe/TCP ne peut pas se reconnecter automatiquement. Pour éviter une temporisation, vous devez définir la période de nouvelle tentative pour les événements de basculement sur incident à au moins 30 minutes.
-
Vérifiez si le port initiateur peut récupérer les données de la page du journal de découverte sur les LIF NVMe/TCP prises en charge :
# nvme discover -t tcp -w 192.168.211.5 -a 192.168.211.14 Discovery Log Number of Records 8, Generation counter 10 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 0 trsvcid: 8009 subnqn: nqn.199208.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:discovery traddr: 192.168.211.15 sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 1 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:discovery traddr: 192.168.111.15 sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 2 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:discovery traddr: 192.168.211.14 sectype: none =====Discovery Log Entry 3====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 3 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:discovery traddr: 192.168.111.14 sectype: none =====Discovery Log Entry 4====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:subsystem.rhel_tcp_165 traddr: 192.168.211.15 sectype: none =====Discovery Log Entry 5====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 1 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:subsystem.rhel_tcp_165 traddr: 192.168.111.15 sectype: none =====Discovery Log Entry 6====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 2 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:subsystem.rhel_tcp_165 traddr: 192.168.211.14 sectype: none =====Discovery Log Entry 7====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 3 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:subsystem.rhel_tcp_165 traddr: 192.168.111.14 sectype: none [root@R650-13-79 ~]#
-
Vérifiez que d'autres combos LIF cible-initiateur NVMe/TCP peuvent extraire les données de la page du journal de découverte. Par exemple :
# nvme discover -t tcp -w 192.168.211.5 -a 192.168.211.14 # nvme discover -t tcp -w 192.168.211.5 -a 192.168.211.15 # nvme discover -t tcp -w 192.168.111.5 -a 192.168.111.14 # nvme discover -t tcp -w 192.168.111.5 -a 192.168.111.15
-
Courez
nvme connect-all
Contrôlez l'ensemble des LIF cible initiateur-initiateur NVMe/TCP prises en charge sur l'ensemble des nœuds. Assurez-vous de définir une plus longue duréectrl_loss_tmo
période de relance de la minuterie (par exemple, 30 minutes, qui peuvent être réglées à-l 1800
) au cours de la connexion-all de sorte qu'il réessaie pendant une période plus longue en cas de perte de chemin. Par exemple :# nvme connect-all -t tcp -w 192.168.211.5-a 192.168.211.14 -l 1800 # nvme connect-all -t tcp -w 192.168.211.5 -a 192.168.211.15 -l 1800 # nvme connect-all -t tcp -w 192.168.111.5 -a 192.168.111.14 -l 1800 # nvme connect-all -t tcp -w 192.168.111.5 -a 192.168.111.15 -l 1800
Validez la spécification NVMe-of
La procédure suivante permet de valider NVMe-of.
-
Vérifier que le chemin d'accès multiples NVMe dans le noyau est activé en cochant la case :
# cat /sys/module/nvme_core/parameters/multipath Y
-
Vérifiez que les paramètres NVMe-of appropriés (par exemple,
model
réglez surNetApp ONTAP Controller
et équilibrage de la chargeiopolicy
réglez surround-robin
) Pour les espaces de noms ONTAP respectifs reflètent correctement sur l'hôte :# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Vérifier que les espaces de noms ONTAP reflètent correctement sur l'hôte. Par exemple :
# nvme list Node SN Model Namespace ------------ --------------------- --------------------------------- /dev/nvme0n1 81Gx7NSiKSRNAAAAAAAB NetApp ONTAP Controller 1 Usage Format FW Rev ------------------- ----------- -------- 21.47 GB / 21.47 GB 4 KiB + 0 B FFFFFFFF
-
Vérifiez que l'état du contrôleur de chaque chemin est actif et que le statut ANA est correct. Par exemple :
# nvme list-subsys /dev/nvme1n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.154a5833c78c11ecb069d039ea359e4b:subsystem.rhel_tcp_165 \ +- nvme0 tcp traddr=192.168.211.15 trsvcid=4420 host_traddr=192.168.211.5 live non-optimized +- nvme1 tcp traddr=192.168.211.14 trsvcid=4420 host_traddr=192.168.211.5 live optimized +- nvme2 tcp traddr=192.168.111.15 trsvcid=4420 host_traddr=192.168.111.5 live non-optimized +- nvme3 tcp traddr=192.168.111.14 trsvcid=4420 host_traddr=192.168.111.5 live optimized
-
Vérifiez que le plug-in NetApp affiche les valeurs appropriées pour chaque système d'espace de noms ONTAP. Par exemple :
# nvme netapp ontapdevices -o column Device Vserver Namespace Path --------- ------- -------------------------------------------------- /dev/nvme0n1 vs_tcp79 /vol/vol1/ns1 NSID UUID Size ---- ------------------------------ ------ 1 79c2c569-b7fa-42d5-b870-d9d6d7e5fa84 21.47GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_tcp79", "Namespace_Path" : "/vol/vol1/ns1", "NSID" : 1, "UUID" : "79c2c569-b7fa-42d5-b870-d9d6d7e5fa84", "Size" : "21.47GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 5242880 }, ] }
Problèmes connus
La configuration hôte NVMe-of pour RHEL 8.7 avec ONTAP présente les problèmes connus suivants :
ID de bug NetApp | Titre | Description | ID Bugzilla |
---|---|---|---|
Les hôtes NVMe-of RHEL 8.7 créent des contrôleurs de découverte persistants dupliqués |
Sur les hôtes NVMe over Fabrics (NVMe-of), vous pouvez utiliser la commande nvme Discover -p pour créer des contrôleurs de découverte persistants (CDP). Lorsque cette commande est utilisée, un seul PDC doit être créé par combinaison initiateur-cible. Toutefois, si vous exécutez ONTAP 9.10.1 et Red Hat Enterprise Linux (RHEL) 8.7 avec un hôte NVMe-of, un PDC en double est créé à chaque exécution de « nvme Discover -p ». Cela entraîne une utilisation inutile des ressources sur l'hôte et la cible. |
2087000 |