La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Configurer RHEL 9.x pour NVMe-oF avec stockage ONTAP

12/16/2025 Contributeurs

Les hôtes Red Hat Enterprise Linux (RHEL) prennent en charge les protocoles NVMe over Fibre Channel (NVMe/FC) et NVMe over TCP (NVMe/TCP) avec Asymmetric Namespace Access (ANA). ANA fournit une fonctionnalité de multi-accès équivalente à l'accès aux unités logiques asymétriques (ALUA) dans les environnements iSCSI et FCP.

Apprenez à configurer les hôtes NVMe over Fabrics (NVMe-oF) pour RHEL 9.x. Pour plus d'assistance et d'informations sur les fonctionnalités, consultez "Prise en charge et fonctionnalités de RHEL ONTAP".

NVMe-oF avec RHEL 9.x présente les limitations connues suivantes :

Le nvme disconnect-all Cette commande déconnecte les systèmes de fichiers racine et de données et peut entraîner une instabilité du système. Ne pas utiliser cette commande sur des systèmes démarrant à partir d'un SAN via des espaces de noms NVMe-TCP ou NVMe-FC.

Étape 1 : activez éventuellement le démarrage SAN

Vous pouvez configurer votre hôte pour utiliser le démarrage SAN afin de simplifier le déploiement et d’améliorer l’évolutivité. Utilisez le"Matrice d'interopérabilité" pour vérifier que votre système d'exploitation Linux, votre adaptateur de bus hôte (HBA), votre micrologiciel HBA, votre BIOS de démarrage HBA et votre version ONTAP prennent en charge le démarrage SAN.

Étapes

"Créez un espace de noms NVMe et mappez-le à l'hôte" .
Activez le démarrage SAN dans le BIOS du serveur pour les ports auxquels l'espace de noms de démarrage SAN est mappé.

Pour plus d'informations sur l'activation du BIOS HBA, reportez-vous à la documentation spécifique au fournisseur.
Redémarrez l’hôte et vérifiez que le système d’exploitation est opérationnel.

Étape 2 : Installez RHEL et le logiciel NVMe, puis vérifiez votre configuration.

Pour configurer votre hôte pour NVMe-oF, vous devez installer les packages logiciels hôte et NVMe, activer le multipathing et vérifier la configuration NQN de votre hôte.

Étapes

Installez RHEL 9.x sur le serveur. Une fois l'installation terminée, vérifiez que vous utilisez bien le noyau RHEL 9.x requis :
```
uname -r
```
Exemple de version du noyau RHEL :
```
5.14.0-611.5.1.el9_7.x86_64
```
Installer le nvme-cli groupe :
```
rpm -qa|grep nvme-cli
```
L'exemple suivant montre un nvme-cli version du paquet :
```
nvme-cli-2.13-1.el9.x86_64
```
Installer le libnvme groupe :
```
rpm -qa|grep libnvme
```
L'exemple suivant montre un libnvme version du paquet :
```
libnvme-1.13-1.el9.x86_64
```
Sur l'hôte, vérifiez la chaîne hostnqn à /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
L'exemple suivant montre un hostnqn version:
```
nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
```

Sur le système ONTAP , vérifiez que le hostnqn La chaîne correspond à hostnqn chaîne de caractères pour le sous-système correspondant sur le système de stockage ONTAP :

::> vserver nvme subsystem host show -vserver vs_188

Montrer l'exemple

Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_188  Nvme1
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        Nvme10
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        Nvme11
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        Nvme12
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
48 entries were displayed.

Si le hostnqn les chaînes ne correspondent pas, utilisez le vserver modify commande pour mettre à jour le hostnqn chaîne sur votre sous-système de stockage ONTAP correspondant pour correspondre à la hostnqn chaîne de /etc/nvme/hostnqn sur l'hôte.

Étape 3 : Configurer NVMe/FC et NVMe/TCP

Configurez NVMe/FC avec des adaptateurs Broadcom/Emulex ou Marvell/QLogic, ou configurez NVMe/TCP à l'aide d'opérations de découverte et de connexion manuelles.

NVMe/FC - Broadcom/Emulex

Configuration de NVMe/FC pour une carte Broadcom/Emulex

Vérifiez que vous utilisez le modèle d'adaptateur pris en charge :
1. Afficher les noms des modèles :
  cat /sys/class/scsi_host/host*/modelname
  Vous devriez voir le résultat suivant :
  LPe36002-M64 LPe36002-M64
2. Afficher les descriptions des modèles :
  cat /sys/class/scsi_host/host*/modeldesc
  Vous devriez voir un résultat similaire à l’exemple suivant :
```
Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
```
Vérifiez que vous utilisez la carte Broadcom recommandée lpfc micrologiciel et pilote de boîte de réception :
1. Afficher la version du firmware :
  cat /sys/class/scsi_host/host*/fwrev
  La commande renvoie les versions du firmware :
  14.4.393.53, sli-4:6:d 14.4.393.53, sli-4:6:d
2. Afficher la version du pilote de la boîte de réception :
  cat /sys/module/lpfc/version
  L'exemple suivant montre une version de pilote :
  0:14.4.0.9
Pour obtenir la liste actuelle des versions de pilotes et de micrologiciels de carte prises en charge, consultez le "Matrice d'interopérabilité".

Vérifiez-le lpfc_enable_fc4_type est défini sur 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Vérifiez que vous pouvez afficher vos ports initiateurs :
```
cat /sys/class/fc_host/host*/port_name
```
L'exemple suivant montre les identités de port :
```
0x100000109bf044b1
0x100000109bf044b2
```
Vérifiez que vos ports initiateurs sont en ligne :
```
cat /sys/class/fc_host/host*/port_state
```
Vous devriez voir le résultat suivant :
```
Online
Online
```

Vérifiez que les ports initiateurs NVMe/FC sont activés et que les ports cibles sont visibles :

cat /sys/class/scsi_host/host*/nvme_info

Montrer l'exemple

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b954518 WWNN x200000109b954518 DID x020700 ONLINE
NVME RPORT       WWPN x2022d039eaa7dfc8 WWNN x201fd039eaa7dfc8 DID x020b03 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2023d039eaa7dfc8 WWNN x201fd039eaa7dfc8 DID x020103 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000548 Cmpl 0000000548 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000001a68 Issue 0000000000001a68 OutIO 0000000000000000
        abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000000

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b954519 WWNN x200000109b954519 DID x020500 ONLINE
NVME RPORT       WWPN x2027d039eaa7dfc8 WWNN x2025d039eaa7dfc8 DID x020b01 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000005ab Cmpl 00000005ab Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000086ce1 Issue 0000000000086ce2 OutIO 0000000000000001
        abort 0000009c noxri 00000000 nondlp 00000002 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000000b8 Err 000000b8

NVME Initiator Enabled
XRI Dist lpfc2 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc2 WWPN x100000109bf044b1 WWNN x200000109bf044b1 DID x022a00 ONLINE
NVME RPORT       WWPN x2027d039eaa7dfc8 WWNN x2025d039eaa7dfc8 DID x020b01 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2011d039eaa7dfc8 WWNN x200fd039eaa7dfc8 DID x020b02 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2002d039eaa7dfc8 WWNN x2000d039eaa7dfc8 DID x020b05 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2026d039eaa7dfc8 WWNN x2025d039eaa7dfc8 DID x021301 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2010d039eaa7dfc8 WWNN x200fd039eaa7dfc8 DID x021302 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2001d039eaa7dfc8 WWNN x2000d039eaa7dfc8 DID x021305 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000c186 Cmpl 000000c186 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000c348ca37 Issue 00000000c3344057 OutIO ffffffffffeb7620
        abort 0000815b noxri 000018b5 nondlp 00000116 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000915b Err 000c6091

NVME Initiator Enabled
XRI Dist lpfc3 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc3 WWPN x100000109bf044b2 WWNN x200000109bf044b2 DID x021b00 ONLINE
NVME RPORT       WWPN x2028d039eaa7dfc8 WWNN x2025d039eaa7dfc8 DID x020101 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2012d039eaa7dfc8 WWNN x200fd039eaa7dfc8 DID x020102 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2003d039eaa7dfc8 WWNN x2000d039eaa7dfc8 DID x020105 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2029d039eaa7dfc8 WWNN x2025d039eaa7dfc8 DID x022901 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2013d039eaa7dfc8 WWNN x200fd039eaa7dfc8 DID x022902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2004d039eaa7dfc8 WWNN x2000d039eaa7dfc8 DID x022905 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000c186 Cmpl 000000c186 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000b5761af5 Issue 00000000b564b55e OutIO ffffffffffee9a69
        abort 000083d7 noxri 000016ea nondlp 00000195 qdepth 00000000 wqerr 00000002 err 00000000
FCP CMPL: xb 000094a4 Err 000c22e7

NVMe/FC - Marvell/QLogic

Configuration du NVMe/FC pour un adaptateur Marvell/QLogic

Vérifiez que vous utilisez les versions de pilote d'adaptateur et de micrologiciel prises en charge :
```
cat /sys/class/fc_host/host*/symbolic_name
```
L'exemple suivant montre les versions du pilote et du micrologiciel :
```
QLE2872 FW:v9.15.06 DVR:v10.02.09.400-k
QLE2872 FW:v9.15.06 DVR:v10.02.09.400-k
```
Vérifiez-le ql2xnvmeenable est défini. L'adaptateur Marvell peut ainsi fonctionner en tant qu'initiateur NVMe/FC :
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La sortie attendue est 1.

NVMe/TCP

Le protocole NVMe/TCP ne prend pas en charge l'opération de connexion automatique. Au lieu de cela, vous pouvez découvrir les sous-systèmes et espaces de noms NVMe/TCP en exécutant l'opération NVMe/TCP. connect ou connect-all opérations manuellement.

Vérifiez que le port initiateur peut obtenir les données de la page du journal de découverte sur les LIF NVMe/TCP pris en charge :

nvme discover -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme discover -t tcp -w 192.168.30.15 -a 192.168.30.48

Discovery Log Number of Records 8, Generation counter 18
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  8
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:discovery
traddr:  192.168.31.49
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:discovery
traddr:  192.168.31.48
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:discovery
traddr:  192.168.30.49
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:discovery
traddr:  192.168.30.48
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  8
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:subsystem.Nvme38
traddr:  192.168.31.49
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:subsystem.Nvme38
traddr:  192.168.31.48
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:subsystem.Nvme38
traddr:  192.168.30.49
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:subsystem.Nvme38
traddr:  192.168.30.48
eflags:  none
sectype: none

Vérifiez que les autres combinaisons LIF initiateur-cible NVMe/TCP peuvent récupérer avec succès les données de la page du journal de découverte :

nvme discover -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme discover -t tcp -w 192.168.30.15 -a 192.168.30.48
nvme discover -t tcp -w 192.168.30.15 -a 192.168.30.49
nvme discover -t tcp -w 192.168.31.15 -a 192.168.31.48
nvme discover -t tcp -w 192.168.31.15 -a 192.168.31.49

Exécutez le nvme connect-all Commande sur toutes les LIF cible-initiateur NVMe/TCP prises en charge sur l'ensemble des nœuds :

nvme connect-all -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme  connect-all -t  tcp -w  192.168.30.15 -a	192.168.30.48
nvme	connect-all	-t	tcp	-w	192.168.30.15	-a	192.168.30.49
nvme	connect-all	-t	tcp	-w	192.168.31.15	-a	192.168.31.48
nvme	connect-all	-t	tcp	-w	192.168.31.15	-a	192.168.31.49

À partir de RHEL 9.4, le paramètre NVMe/TCP ctrl_loss_tmo timeout est automatiquement réglé sur « off ». Par conséquent :

Il n'y a pas de limite au nombre de tentatives (nouvelle tentative indéfinie).
Vous n'avez pas besoin de configurer manuellement un élément spécifique ctrl_loss_tmo timeout durée lors de l'utilisation du nvme connect ou nvme connect-all commandes (option -l ).
Les contrôleurs NVMe/TCP ne subissent pas de dépassement de délai en cas de défaillance d'un chemin et restent connectés indéfiniment.

Étape 4 : Vous pouvez éventuellement modifier la politique d’E/S dans les règles udev.

RHEL 9.6 définit la stratégie d'E/S par défaut pour NVMe-oF sur round-robin . Si vous utilisez RHEL 9.6 et souhaitez modifier la politique d'E/S en queue-depth , modifiez le fichier de règles udev comme suit :

Ouvrez le fichier de règles udev dans un éditeur de texte avec des privilèges root :
```
/usr/lib/udev/rules.d/71-nvmf-netapp.rules
```
Vous devriez voir le résultat suivant :
```
vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules
```

Recherchez la ligne qui définit la politique d'E/S pour le contrôleur NetApp ONTAP , comme indiqué dans l'exemple de règle suivant :

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

Modifier la règle afin que round-robin devient queue-depth :

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

Rechargez les règles udev et appliquez les modifications :

udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

Vérifiez la politique d'E/S actuelle de votre sous-système. Remplacez <subsystem>, par exemple, nvme-subsys0 .
```
cat /sys/class/nvme-subsystem/<subsystem>/iopolicy
```
Vous devriez voir le résultat suivant :
```
queue-depth.
```

La nouvelle politique d'E/S s'applique automatiquement aux périphériques NetApp ONTAP Controller correspondants. Vous n'avez pas besoin de redémarrer.

Étape 5 : Vous pouvez activer l’E/S à 1 Mo pour NVMe/FC (optionnel).

ONTAP signale une taille de transfert de données maximale (MDTS) de 8 dans les données du contrôleur d'identification. Cela signifie que la taille maximale de la demande d'E/S peut atteindre 1 Mo. Pour émettre des requêtes d'E/S d'une taille de 1 Mo pour un hôte Broadcom NVMe/FC, vous devez augmenter la lpfc valeur de la lpfc_sg_seg_cnt paramètre à 256 à partir de la valeur par défaut de 64.

Ces étapes ne s'appliquent pas aux hôtes NVMe/FC Qlogic.

Étapes

Réglez le lpfc_sg_seg_cnt paramètre sur 256 :
```
cat /etc/modprobe.d/lpfc.conf
```
Vous devriez voir une sortie similaire à l’exemple suivant :
```
options lpfc lpfc_sg_seg_cnt=256
```
Exécutez dracut -f la commande et redémarrez l'hôte.
Vérifier que la valeur de lpfc_sg_seg_cnt est 256 :
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Étape 6 : Vérifier les services de démarrage NVMe

Le nvmefc-boot-connections.service et nvmf-autoconnect.service services de démarrage inclus dans NVMe/FC nvme-cli les packages sont automatiquement activés au démarrage du système.

Une fois le démarrage terminé, vérifiez que le nvmefc-boot-connections.service et nvmf-autoconnect.service les services de démarrage sont activés.

Étapes

Vérifiez que nvmf-autoconnect.service est activé :

systemctl status nvmf-autoconnect.service

Affiche un exemple de résultat

nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
        Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service;  enabled; preset: disabled)

Active: inactive (dead) since Wed 2025-10-29 00:42:03 EDT; 6h ago   Main PID: 8487 (code=exited, status=0/SUCCESS)  CPU: 66ms

Oct 29 00:42:03 R650-14-188 systemd[1]: Starting Connect NVMe-oF subsystems automatically during boot...
Oct 29 00:42:03 R650-14-188 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Oct 29 00:42:03 R650-14-188 systemd[1]: Finished Connect NVMe-oF subsystems automatically during boot.

Vérifiez que nvmefc-boot-connections.service est activé :

systemctl status nvmefc-boot-connections.service

Affiche un exemple de résultat

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
         Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset:enabled)
     Active: inactive (dead) since Wed 2025-10-29 00:41:51 EDT; 6h ago
Main PID: 4652 (code=exited, status=0/SUCCESS)
        CPU: 13ms

Oct 29 00:41:51 R650-14-188 systemd[1]: Starting Auto-connect to subsystems on FC-NVME devices found during boot...  Oct 29 00:41:51 R650-14-188 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.  Oct 29 00:41:51 R650-14-188 systemd[1]: Finished Auto-connect to subsystems on FC-NVME devices found during boot

Étape 7 : Vérifier la configuration du multipathing

Vérifiez que l'état des chemins d'accès multiples NVMe in-kernel, l'état ANA et les namespaces ONTAP sont corrects pour la configuration NVMe-of.

Étapes

Vérifiez que le chemin d'accès multiples NVMe intégré au noyau est activé :
```
cat /sys/module/nvme_core/parameters/multipath
```
Vous devriez voir le résultat suivant :
```
Y
```
Vérifiez que les paramètres NVMe-oF appropriés (tels que le modèle défini sur NetApp ONTAP Controller et la stratégie d'E/S d'équilibrage de charge définie sur round-robin) pour les espaces de noms ONTAP respectifs s'affichent correctement sur l'hôte :
1. Afficher les sous-systèmes :
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Vous devriez voir le résultat suivant :
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Afficher la politique :
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Vous devriez voir le résultat suivant :
```
queue-depth
queue-depth
```

Vérifiez que les espaces de noms sont créés et correctement découverts sur l'hôte :

nvme list

Montrer l'exemple

Node                               Generic             SN                   Model
--------------------------------------------------------------------------------------
/dev/nvme100n1  /dev/ng100n1  81LJCJYaKOHhAAAAAAAf   NetApp ONTAP Controller
Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
0x1                 1.19  GB /   5.37  GB   4 KiB + 0 B   9.18.1

Vérifiez que l'état du contrôleur de chaque chemin est actif et que l'état ANA est correct :

NVMe/FC

nvme list-subsys /dev/nvme100n1

Montrer l'exemple

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.3623e199617311f09257d039eaa7dfc9:subsystem.Nvme31
               hostnqn=nqn.2014-08.org.nvmexpress:uuid: 4c4c4544-0056-5410-8048-b9c04f42563
               \
+- nvme199 fc   traddr=nn-0x200fd039eaa7dfc8:pn-0x2010d039eaa7dfc8,host_traddr=nn-0x200000109bf044b1:pn-0x100000109bf044b1 live optimized
+- nvme246 fc  traddr=nn-0x200fd039eaa7dfc8:pn-0x2011d039eaa7dfc8,host_traddr=nn-0x200000109bf044b1:pn-0x100000109bf044b1  live non-optimized
+- nvme249 fc  traddr=nn-0x200fd039eaa7dfc8:pn-0x2013d039eaa7dfc8,host_traddr=nn-0x200000109bf044b2:pn-0x100000109bf044b2 live optimized
+- nvme251 fc   traddr=nn-0x200fd039eaa7dfc8:pn-0x2012d039eaa7dfc8,host_traddr=nn-0x200000109bf044b2:pn-0x100000109bf044b2 live non-optimized

NVMe/TCP

nvme list-subsys /dev/nvme0n1

Montrer l'exemple

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.51a3c9846e0c11f08f5dd039eaa7dfc9:subsystem.Nvme1
hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33
\
+- nvme0 tcp traddr=192.168.30.48,trsvcid=4420,host_traddr=192.168.30.15,
src_addr=192.168.30.15 live optimized
+- nvme1 tcp traddr=192.168.30.49,trsvcid=4420,host_traddr=192.168.30.15,
src_addr=192.168.30.15 live non-optimized
+- nvme2 tcp traddr=192.168.31.48,trsvcid=4420,host_traddr=192.168.31.15,
src_addr=192.168.31.15 live optimized
+- nvme3 tcp traddr=192.168.31.49,trsvcid=4420,host_traddr=192.168.31.15,
src_addr=192.168.31.15 live non-optimized

Vérifier que le plug-in NetApp affiche les valeurs correctes pour chaque périphérique d'espace de noms ONTAP :

Colonne

nvme netapp ontapdevices -o column

Montrer l'exemple

Device          Vserver         Subsystem   Namespace Path      NSID
------------    --------        ----------- -----------------   ----
/dev/nvme0n1    vs_iscsi_tcp    Nvme1       /vol/Nvmevol1/ns1   1
UUID                                    Size
-------------------------------------   -----
d8efef7d-4dde-447f-b50e-b2c009298c66    26.84GB

JSON

nvme netapp ontapdevices -o json

Montrer l'exemple

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme0n1",
      "Vserver":"vs_iscsi_tcp",
      " Subsystem":"Nvme1",
      "Namespace_Path":"/vol/Nvmevol1/ns1",
      "NSID":1,
      "UUID":"d8efef7d-4dde-447f-b50e-b2c009298c66",
      "LBA_Size":4096,
      "Namespace_Size":26843545600,
    },
]
}

Étape 8 : Configurer une authentification sécurisée en bande

L'authentification sécurisée en bande est prise en charge via NVMe/TCP entre un hôte RHEL 9.x et un contrôleur ONTAP .

Chaque hôte ou contrôleur doit être associé à un DH-HMAC-CHAP clé pour configurer l'authentification sécurisée. A DH-HMAC-CHAP la clé est une combinaison du NQN de l'hôte ou du contrôleur NVMe et d'un secret d'authentification configuré par l'administrateur. Pour authentifier son homologue, un hôte ou un contrôleur NVMe doit reconnaître la clé associée à cet homologue.

Configurez une authentification intrabande sécurisée à l’aide de l’interface de ligne de commande ou d’un fichier de configuration JSON. Si vous devez spécifier différentes clés dhchap pour différents sous-systèmes, vous devez utiliser un fichier JSON de configuration.

CLI

Configurez l'authentification intrabande sécurisée à l'aide de l'interface de ligne de commande.

Obtenir le NQN hôte :
```
cat /etc/nvme/hostnqn
```

Générez la clé dhchap pour l'hôte RHEL 9.x.

La sortie suivante décrit le gen-dhchap-key paramètres de commande :

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

Dans l'exemple suivant, une clé dhchap aléatoire avec HMAC définie sur 3 (SHA-512) est générée.

nvme gen-dhchap-key -m 3 -n nqn.2014-
08.org.nvmexpress:uuid:e6dade64-216d-11ec-b7bb-7ed30a5482c3
DHHC-1:03:wSpuuKbBHTzC0W9JZxMBsYd9JFV8Si9aDh22k2BR/4m852vH7KGlrJeMpzhmyjDWOo0PJJM6yZsTeEpGkDHMHQ255+g=:

Sur le contrôleur ONTAP, ajoutez l'hôte et spécifiez les deux clés dhchap :

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

Un hôte prend en charge deux types de méthodes d'authentification, unidirectionnelles et bidirectionnelles. Sur l'hôte, connectez-vous au contrôleur ONTAP et spécifiez des clés dhchap en fonction de la méthode d'authentification choisie :
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

Valider le nvme connect authentication en vérifiant les clés dhchap de l'hôte et du contrôleur :

Vérifiez les clés dhchap hôte :

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

Affiche un exemple de sortie pour une configuration unidirectionnelle

cat /sys/class/nvme-subsystem/nvme-subsys1/nvme*/dhchap_secret
DHHC-1:01:hhdIYK7rGxHiNYS4d421GxHeDRUAuY0vmdqCp/NOaYND2PSc:
DHHC-1:01:hhdIYK7rGxHiNYS4d421GxHeDRUAuY0vmdqCp/NOaYND2PSc:
DHHC-1:01:hhdIYK7rGxHiNYS4d421GxHeDRUAuY0vmdqCp/NOaYND2PSc:
DHHC-1:01:hhdIYK7rGxHiNYS4d421GxHeDRUAuY0vmdqCp/NOaYND2PSc:

Vérifiez les clés dhchap du contrôleur :

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

Affiche un exemple de sortie pour une configuration bidirectionnelle

cat /sys/class/nvme-subsystem/nvme-
subsys*/nvme*/dhchap_ctrl_secret

DHHC-1:03:ZCRrP9MQOeXhFitT7Fvvf/3P6K/qY1HfSmSfM8nLjESJdOjbjK/J6m00ygJgjm0VrRlrgrnHzjtWJmsnoVBO3rPDGEk=:
DHHC-1:03:ZCRrP9MQOeXhFitT7Fvvf/3P6K/qY1HfSmSfM8nLjESJdOjbjK/J6m00ygJgjm0VrRlrgrnHzjtWJmsnoVBO3rPDGEk=:
DHHC-1:03:ZCRrP9MQOeXhFitT7Fvvf/3P6K/qY1HfSmSfM8nLjESJdOjbjK/J6m00ygJgjm0VrRlrgrnHzjtWJmsnoVBO3rPDGEk=:
DHHC-1:03:ZCRrP9MQOeXhFitT7Fvvf/3P6K/qY1HfSmSfM8nLjESJdOjbjK/J6m00ygJgjm0VrRlrgrnHzjtWJmsnoVBO3rPDGEk=:

JSON

Lorsque plusieurs sous-systèmes NVMe sont disponibles sur le contrôleur ONTAP , vous pouvez utiliser le /etc/nvme/config.json fichier avec le nvme connect-all commande.

Utilisez le -o option pour générer le fichier JSON. Reportez-vous aux pages de manuel NVMe connect-all pour plus d'options de syntaxe.

Configurer le fichier JSON.

Dans l'exemple suivant, dhchap_key correspond à dhchap_secret et dhchap_ctrl_key correspond à dhchap_ctrl_secret .

Montrer l'exemple

cat /etc/nvme/config.json
[
{
  "hostnqn":"nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33",
  "hostid":"4c4c4544-0035-5910-804b-b5c04f444d33",
  "dhchap_key":"DHHC-1:01:GhgaLS+0h0W/IxKhSa0iaMHg17SOHRTzBduPzoJ6LKEJs3/f:",
  "subsystems":[
        {
          "nqn":"nqn.1992-08.com.netapp:sn.2c0c80d9873a11f0bc60d039eab6cb6d:subsystem.istpMNTC_subsys",
          "ports":[
              {
                  "transport":"tcp",
                    "traddr":"192.168.30.44",
                  "host_traddr":"192.168.30.15",
                  "trsvcid":"4420",
                  "dhchap_ctrl_key":"DHHC-1:03:GaraCO84o/uM0jF4rKJlgTy22bVoV0dRn1M+9QDfQRNVwJDHfPu2LrK5Y+/XG8iGcRtBCdm3
fYm3ZmO6NiepCORoY5Q=:"
              },
              {
                  "transport":"tcp",
                  "traddr":"192.168.30.45"
                  "host_traddr":"192.168.30.15",
                  "trsvcid":"4420",
                  "dhchap_ctrl_key":"DHHC-1:03:GaraCO84o/uM0jF4rKJlgTy22bVoV0dRn1M+9QDfQRNVwJDHfPu2LrK5Y+/XG8iGcRtBCdm3
fYm3ZmO6NiepCORoY5Q=:"
              },
              {
                  "transport":"tcp",
                 "traddr":"192.168.31.44",
                  "host_traddr":"192.168.31.15",
                  "trsvcid":"4420",
                  "dhchap_ctrl_key":"DHHC-
                  1:03:
GaraCO84o/uM0jF4rKJlgTy22bVoV0dRn1M+9QDfQRNVwJDHfPu2LrK5Y+/XG8iGc
RtBCdm3fYm3ZmO6NiepCORoY5Q=:"                               },
 {
                  "transport":"tcp",
                  "traddr":"192.168.31.45",
                  "host_traddr":"192.168.31.15",
                  "trsvcid":"4420",
                  "dhchap_ctrl_key":"DHHC-
                  1:03:                                    GaraCO84o/uM0jF4rKJlgTy22bVoV0dRn1M+9QDfQRNVwJDHfPu2LrK5Y+/XG8iGcRtBCdm3fYm3ZmO6NiepCORoY5Q=:"
              }
        ]
  ]
}
]

Connectez-vous au contrôleur ONTAP à l'aide du fichier JSON de configuration :

nvme connect-all -J /etc/nvme/config.json

Montrer l'exemple

already connected to hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33,nqn=nqn.1992-08.com.netapp:sn.2c0c80d9873a11f0bc60d039eab6cb6d:subsystem.istpMNTC_subsys,transport=tcp,traddr=192.168.30.44,trsvcid=4420
already connected to hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33,nqn=nqn.1992-08.com.netapp:sn.2c0c80d9873a11f0bc60d039eab6cb6d:subsystem.istpMNTC_subsys,transport=tcp,traddr=192.168.31.44,trsvcid=4420
already connected to hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33,nqn=nqn.1992-08.com.netapp:sn.2c0c80d9873a11f0bc60d039eab6cb6d:subsystem.istpMNTC_subsys,transport=tcp,traddr=192.168.30.45,trsvcid=4420
already connected to hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33,nqn=nqn.1992-08.com.netapp:sn.2c0c80d9873a11f0bc60d039eab6cb6d:subsystem.istpMNTC_subsys,transport=tcp,traddr=192.168.31.45,trsvcid=4420

Vérifiez que les secrets dhchap ont été activés pour les contrôleurs respectifs de chaque sous-système :
1. Vérifiez les clés dhchap hôte :
  cat /sys/class/nvme-subsystem/nvme-subsys96/nvme96/dhchap_secret
  L'exemple suivant montre une clé dhchap :
  DHHC-1:01:hhdIYK7rGxHiNYS4d421GxHeDRUAuY0vmdqCp/NOaYND2PSc:
2. Vérifiez les clés dhchap du contrôleur :
  cat /sys/class/nvme-subsystem/nvme-subsys96/nvme96/dhchap_ctrl_secret
  Vous devriez voir un résultat similaire à l’exemple suivant :
```
DHHC-1:03:ZCRrP9MQOeXhFitT7Fvvf/3P6K/qY1HfSmSfM8nLjESJdOjbjK/J6m00ygJgjm0VrRlrgrnHzjtWJmsnoVBO3rPDGEk=:
```

Étape 9 : passez en revue les problèmes connus

Voici les problèmes connus :

ID de bug NetApp Titre Description

ID de bug NetApp	Titre	Description
1503468	Dans RHEL 9.1, le `nvme list-subsys` La commande renvoie la liste répétée des contrôleurs NVMe pour un sous-système donné.	Le `nvme list-subsys` la commande renvoie une liste de contrôleurs NVMe pour un sous-système donné. Dans RHEL 9.1, cette commande affiche les contrôleurs avec leur état ANA pour tous les espaces de noms du sous-système. Étant donné que l’état ANA est un attribut par espace de noms, la commande doit afficher des entrées de contrôleur uniques avec l’état du chemin pour chaque espace de noms.
"1479047"	Les hôtes RHEL 9.0 NVMe-oF créent des contrôleurs de découverte persistante (PDC) en double	Toutefois, si vous exécutez Oracle Linux 8x avec un hôte NVMe-oF, un PDC dupliqué est créé à chaque exécution de `nvme discover -p`. Lorsque cette commande est utilisée, un seul PDC doit être créé par combinaison initiateur-cible. Toutefois, si vous exécutez ONTAP 9.10.1 et RHEL 9.0 avec un hôte NVMe-oF, un PDC dupliqué est créé à chaque exécution de `nvme discover -p`. Cela entraîne une utilisation inutile des ressources, tant sur l'hôte que sur la cible.

1503468

Dans RHEL 9.1, le nvme list-subsys La commande renvoie la liste répétée des contrôleurs NVMe pour un sous-système donné.

Le nvme list-subsys la commande renvoie une liste de contrôleurs NVMe pour un sous-système donné. Dans RHEL 9.1, cette commande affiche les contrôleurs avec leur état ANA pour tous les espaces de noms du sous-système. Étant donné que l’état ANA est un attribut par espace de noms, la commande doit afficher des entrées de contrôleur uniques avec l’état du chemin pour chaque espace de noms.

"1479047"

Les hôtes RHEL 9.0 NVMe-oF créent des contrôleurs de découverte persistante (PDC) en double

Toutefois, si vous exécutez Oracle Linux 8x avec un hôte NVMe-oF, un PDC dupliqué est créé à chaque exécution de nvme discover -p. Lorsque cette commande est utilisée, un seul PDC doit être créé par combinaison initiateur-cible. Toutefois, si vous exécutez ONTAP 9.10.1 et RHEL 9.0 avec un hôte NVMe-oF, un PDC dupliqué est créé à chaque exécution de nvme discover -p. Cela entraîne une utilisation inutile des ressources, tant sur l'hôte que sur la cible.

Configurer RHEL 9.x pour NVMe-oF avec stockage ONTAP

Creating your file...

Étape 1 : activez éventuellement le démarrage SAN

Étape 2 : Installez RHEL et le logiciel NVMe, puis vérifiez votre configuration.

Étape 3 : Configurer NVMe/FC et NVMe/TCP

Étape 4 : Vous pouvez éventuellement modifier la politique d’E/S dans les règles udev.

Étape 5 : Vous pouvez activer l’E/S à 1 Mo pour NVMe/FC (optionnel).

Étape 6 : Vérifier les services de démarrage NVMe

Étape 7 : Vérifier la configuration du multipathing

Étape 8 : Configurer une authentification sécurisée en bande

Étape 9 : passez en revue les problèmes connus