Configuration hôte NVMe/FC pour RHEL 8.1 avec ONTAP
NVMe/FC est pris en charge sur ONTAP 9.6 ou version ultérieure pour Red Hat Enterprise Linux (RHEL) 8.1. Un hôte RHEL 8.1 peut exécuter le trafic NVMe et SCSI via les mêmes ports d'adaptateur FC initiator. Voir la "Hardware Universe" Pour obtenir la liste des contrôleurs et adaptateurs FC pris en charge,
Voir la "Matrice d'interopérabilité NetApp" pour obtenir la liste la plus récente des configurations prises en charge.
Limites connues
-
Les scripts natifs de connexion automatique NVMe/FC ne sont pas disponibles dans le
nvme-cli
création de package. Vous pouvez utiliser le script de connexion automatique externe fourni par le fournisseur de l'adaptateur de bus hôte (HBA). -
La fonctionnalité NVMe multipath est désactivée par défaut. Par conséquent, vous devez l'activer manuellement.
-
Par défaut, l'équilibrage de la charge Round-Robin n'est pas activé. Vous pouvez activer cette fonctionnalité en écrivant un
udev
règle. -
Le démarrage SAN à l'aide du protocole NVMe-of n'est pas pris en charge pour le moment.
Activation de NVMe/FC
Vous pouvez utiliser la procédure suivante pour activer NVMe/FC.
-
Installez Red Hat Enterprise Linux 8.1 sur le serveur.
-
Une fois l'installation terminée, vérifiez que vous exécutez le noyau RHEL spécifié :
# uname -r 4.18.0-147.el8.x86_64
Voir la "Matrice d'interopérabilité NetApp" pour obtenir la liste la plus récente des versions prises en charge.
-
Installer le
nvme-cli-1.8.1-3.el8
groupe :# rpm -qa|grep nvme-cli nvme-cli-1.8.1-3.el8.x86_64
-
Activer le multichemin NVMe dans le noyau :
# grubby –args=nvme_core.multipath=Y –update-kernel /boot/vmlinuz-4.18.0-147.el8.x86_64
-
Ajoutez la chaîne suivante en tant que règle udev séparée à
/lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules
. Cela permet l'équilibrage de la charge à la volée pour les chemins d'accès multiples NVMe :# Enable round-robin for NetApp ONTAP ACTION==”add”, SUBSYSTEM==”nvme-subsystem”, ATTR{model}==”NetApp ONTAP Controller”, ATTR{iopolicy}=”round-robin
-
Sur l'hôte RHEL 8.1, vérifiez la chaîne NQN de l'hôte à l'adresse
/etc/nvme/hostnqn
Et vérifiez qu'il correspond à la chaîne NQN de l'hôte pour le sous-système correspondant sur la matrice ONTAP :# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
*> vserver nvme subsystem host show -vserver vs_nvme_10 Vserver Subsystem Host NQN ------- --------- -------------------------------------- ----------- rhel_141_nvme_ss_10_0 nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
Si les chaînes NQN hôte ne correspondent pas, utilisez le vserver modify
Commande permettant de mettre à jour la chaîne NQN de l'hôte sur votre sous-système de matrice ONTAP correspondant pour qu'elle corresponde à la chaîne NQN de l'hôte à partir de/etc/nvme/hostnqn
sur l'hôte. -
Redémarrez l'hôte.
Configurez la carte FC Broadcom pour NVMe/FC
Vous pouvez utiliser la procédure suivante pour configurer une carte FC Broadcom.
-
Vérifiez que vous utilisez la carte prise en charge. Voir la "Matrice d'interopérabilité NetApp" pour consulter la liste la plus récente des cartes prises en charge.
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
Copiez et installez le pilote de la boîte d'envoi Broadcom lpfc et les scripts de connexion automatique :
# tar -xvzf elx-lpfc-dd-rhel8-12.4.243.20-ds-1.tar.gz # cd elx-lpfc-dd-rhel8-12.4.2453.20-ds-1 # ./elx_lpfc_install-sh -i -n
Les pilotes natifs fournis avec le système d'exploitation sont appelés pilotes intégrés. Si vous téléchargez les pilotes de la boîte d'envoi (pilotes non inclus avec une version du système d'exploitation), un script de connexion automatique est inclus dans le téléchargement et doit être installé dans le cadre du processus d'installation du pilote. -
Redémarrez l'hôte.
-
Vérifiez que vous utilisez les versions recommandées du micrologiciel Broadcom lpfc, du pilote de boîte d'envoi et du package de connexion automatique :
# cat /sys/class/scsi_host/host*/fwrev 12.4.243.20, sil-4.2.c 12.4.243.20, sil-4.2.c
# cat /sys/module/lpfc/version 0:12.4.243.20
# rpm -qa | grep nvmefc nvmefc-connect-12.6.61.0-1.noarch
-
Vérifiez-le
lpfc_enable_fc4_type
est défini sur 3 :# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Vérifiez que les ports initiateurs sont opérationnels :
# cat /sys/class/fc_host/host*/port_name 0x10000090fae0ec61 0x10000090fae0ec62
# cat /sys/class/fc_host/host*/port_state Online Online
-
Vérifier que les ports initiateurs NVMe/FC sont activés, en cours d'exécution et que vous pouvez voir les LIFs cibles :
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 NVME 2947 SCSI 2977 ELS 250 NVME LPORT lpfc0 WWPN x10000090fae0ec61 WWNN x20000090fae0ec61 DID x012000 ONLINE NVME RPORT WWPN x202d00a098c80f09 WWNN x202c00a098c80f09 DID x010201 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203100a098c80f09 WWNN x202c00a098c80f09 DID x010601 TARGET DISCSRVC ONLINE NVME Statistics …
Activez la taille d'E/S 1 Mo pour Broadcom NVMe/FC
ONTAP signale une taille de transfert MAX Data (MDT) de 8 dans les données Identify Controller. La taille maximale des demandes d'E/S peut donc atteindre 1 Mo. Pour émettre des demandes d'E/S d'une taille de 1 Mo pour un hôte Broadcom NVMe/FC, vous devez augmenter la lpfc
valeur du lpfc_sg_seg_cnt
paramètre à 256 par rapport à la valeur par défaut 64.
-
Réglez le
lpfc_sg_seg_cnt
paramètre sur 256 :# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
Lancer une
dracut -f
commande et redémarrer l'hôte : -
Vérifiez que
lpfc_sg_seg_cnt
est 256 :# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
Cela ne s'applique pas aux hôtes NVMe/FC Qlogic. |
Validation de la spécification NVMe/FC
La procédure suivante permet de valider NVMe/FC.
-
Vérifiez les paramètres NVMe/FC suivants.
# cat /sys/module/nvme_core/parameters/multipath Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Vérifier que les espaces de noms sont créés.
# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ----------------------- /dev/nvme0n1 80BADBKnB/JvAAAAAAAC NetApp ONTAP Controller 1 53.69 GB / 53.69 GB 4 KiB + 0 B FFFFFFFF
-
Vérifiez le statut des chemins ANA.
# nvme list-subsys/dev/nvme0n1 Nvme-subsysf0 – NQN=nqn.1992-08.com.netapp:sn.341541339b9511e8a9b500a098c80f09:subsystem.rhel_141_nvme_ss_10_0 \ +- nvme0 fc traddr=nn-0x202c00a098c80f09:pn-0x202d00a098c80f09 host_traddr=nn-0x20000090fae0ec61:pn-0x10000090fae0ec61 live optimized +- nvme1 fc traddr=nn-0x207300a098dfdd91:pn-0x207600a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x207300a098dfdd91:pn-0x207500a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x207300a098dfdd91:pn-0x207700a098dfdd91 host traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live inaccessible
-
Vérifier le plug-in NetApp pour les systèmes ONTAP.
# nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID UUID Size ------- -------- ------------------------- ------ ----- ----- /dev/nvme0n1 vs_nvme_10 /vol/rhel_141_vol_10_0/rhel_141_ns_10_0 1 55baf453-f629-4a18-9364-b6aee3f50dad 53.69GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { Device" : "/dev/nvme0n1", "Vserver" : "vs_nvme_10", "Namespace_Path" : "/vol/rhel_141_vol_10_0/rhel_141_ns_10_0", "NSID" : 1, "UUID" : "55baf453-f629-4a18-9364-b6aee3f50dad", "Size" : "53.69GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 13107200 } ]