La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Configurer Oracle Linux 9.x avec NVMe-oF pour le stockage ONTAP

12/19/2025 Contributeurs

Les hôtes Oracle Linux prennent en charge les protocoles NVMe over Fibre Channel (NVMe/FC) et NVMe over TCP (NVMe/TCP) avec Asymmetric Namespace Access (ANA). ANA fournit une fonctionnalité de multi-accès équivalente à l'accès aux unités logiques asymétriques (ALUA) dans les environnements iSCSI et FCP.

Apprenez à configurer les hôtes NVMe over Fabrics (NVMe-oF) pour Oracle Linux 9.x. Pour plus d'assistance et d'informations sur les fonctionnalités, consultez "Prise en charge et fonctionnalités d'Oracle Linux ONTAP".

NVMe-oF avec Oracle Linux 9.x présente la limitation connue suivante :

Le nvme disconnect-all Cette commande déconnecte les systèmes de fichiers racine et de données et peut entraîner une instabilité du système. Ne pas utiliser cette commande sur des systèmes démarrant à partir d'un SAN via des espaces de noms NVMe-TCP ou NVMe-FC.

Étape 1 : activez éventuellement le démarrage SAN

Vous pouvez configurer votre hôte pour utiliser le démarrage SAN afin de simplifier le déploiement et d’améliorer l’évolutivité. Utilisez le"Matrice d'interopérabilité" pour vérifier que votre système d'exploitation Linux, votre adaptateur de bus hôte (HBA), votre micrologiciel HBA, votre BIOS de démarrage HBA et votre version ONTAP prennent en charge le démarrage SAN.

Étapes

"Créez un espace de noms NVMe et mappez-le à l'hôte" .
Activez le démarrage SAN dans le BIOS du serveur pour les ports auxquels l'espace de noms de démarrage SAN est mappé.

Pour plus d'informations sur l'activation du BIOS HBA, reportez-vous à la documentation spécifique au fournisseur.
Redémarrez l’hôte et vérifiez que le système d’exploitation est opérationnel.

Étape 2 : Installez Oracle Linux et le logiciel NVMe, puis vérifiez votre configuration.

Utilisez la procédure suivante pour valider les versions logicielles minimales prises en charge par Oracle Linux 9.x.

Étapes

Installez Oracle Linux 9.x sur le serveur. Une fois l'installation terminée, vérifiez que vous utilisez bien le noyau Oracle Linux 9.x spécifié.
```
uname -r
```
Exemple de version du noyau Oracle Linux :
```
6.12.0-1.23.3.2.el9uek.x86_64
```
Installer le nvme-cli groupe :
```
rpm -qa|grep nvme-cli
```
L'exemple suivant montre un nvme-cli version du paquet :
```
nvme-cli-2.11-5.el9.x86_64
```
Installer le libnvme groupe :
```
rpm -qa|grep libnvme
```
L'exemple suivant montre un libnvme version du paquet :
```
libnvme-1.11.1-1.el9.x86_64
```
Sur l'hôte Oracle Linux 9.x, vérifiez le hostnqn chaîne à /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
L'exemple suivant montre un hostnqn version:
```
nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
```

Sur le système ONTAP , vérifiez que le hostnqn La chaîne correspond à hostnqn chaîne de caractères pour le sous-système correspondant sur le système de stockage ONTAP :

vserver nvme subsystem host show -vserver vs_203

Montrer l'exemple

Vserver Subsystem Priority  Host NQN
------- --------- --------  --------------------------------------------------------------------
vs_203  Nvme1     regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
        Nvme10    regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
        Nvme11    regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
        Nvme12    regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
        Nvme13    regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
        Nvme14    regular   nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb

Si les hostnqn chaînes ne correspondent pas, vous pouvez utiliser vserver modify la commande pour mettre à jour la hostnqn chaîne de votre sous-système de tableau ONTAP correspondant afin qu'elle corresponde à la hostnqn chaîne de /etc/nvme/hostnqn sur l'hôte.

Étape 3 : Configurer NVMe/FC et NVMe/TCP

Configurez NVMe/FC avec des adaptateurs Broadcom/Emulex ou Marvell/QLogic, ou configurez NVMe/TCP à l'aide d'opérations de découverte et de connexion manuelles.

NVMe/FC - Broadcom/Emulex

Configuration de NVMe/FC pour une carte Broadcom/Emulex

Vérifiez que vous utilisez le modèle d'adaptateur pris en charge :
1. Afficher les noms des modèles :
  cat /sys/class/scsi_host/host*/modelname
  Vous devriez voir le résultat suivant :
  LPe36002-M64-D LPe36002-M64-D
2. Afficher les descriptions des modèles :
  cat /sys/class/scsi_host/host*/modeldesc
  Vous devriez voir une sortie similaire à l’exemple suivant :
```
Emulex LPe36002-M64-D 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64-D 2-Port 64Gb Fibre Channel Adapter
```
Vérifiez que vous utilisez la carte Broadcom recommandée lpfc micrologiciel et pilote de boîte de réception :
1. Afficher la version du firmware :
  cat /sys/class/scsi_host/host*/fwrev
  L'exemple suivant montre les versions du firmware :
  14.4.576.17, sli-4:6:d 14.4.576.17, sli-4:6:d
2. Afficher la version du pilote de la boîte de réception :
  cat /sys/module/lpfc/version
  L'exemple suivant montre une version de pilote :
```
0:14.4.0.8
```
+
Pour obtenir la liste actuelle des versions de pilotes et de micrologiciels de carte prises en charge, consultez le "Matrice d'interopérabilité".

Vérifiez-le lpfc_enable_fc4_type est défini sur 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Vérifiez que vous pouvez afficher vos ports initiateurs :
```
cat /sys/class/fc_host/host*/<port_name>
```
L'exemple suivant montre les identités de port :
```
0x2100f4c7aa9d7c5c
0x2100f4c7aa9d7c5d
```
Vérifiez que vos ports initiateurs sont en ligne :
```
cat /sys/class/fc_host/host*/port_state
```
Vous devriez voir le résultat suivant :
```
Online
Online
```

Vérifiez que les ports initiateurs NVMe/FC sont activés et que les ports cibles sont visibles :

cat /sys/class/scsi_host/host*/nvme_info

Montrer l'exemple

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000620b3c0869 WWNN x200000620b3c0869 DID x080e00 ONLINE
NVME RPORT       WWPN x2001d039eabac36f WWNN x2000d039eabac36f DID x021401 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e2d039eabac36f WWNN x20e1d039eabac36f DID x02141f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2011d039eabac36f WWNN x2010d039eabac36f DID x021429 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2002d039eabac36f WWNN x2000d039eabac36f DID x021003 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e4d039eabac36f WWNN x20e1d039eabac36f DID x02100f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2012d039eabac36f WWNN x2010d039eabac36f DID x021015 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000027ccf Cmpl 0000027cca Abort 00000014
LS XMIT: Err 00000005  CMPL: xb 00000014 Err 00000014
Total FCP Cmpl 00000000000613ff Issue 00000000000613fc OutIO fffffffffffffffd
        abort 00000007 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000000a Err 0000000d

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000620b3c086a WWNN x200000620b3c086a DID x080000 ONLINE
NVME RPORT       WWPN x2004d039eabac36f WWNN x2000d039eabac36f DID x021501 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e3d039eabac36f WWNN x20e1d039eabac36f DID x02150f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2014d039eabac36f WWNN x2010d039eabac36f DID x021515 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2003d039eabac36f WWNN x2000d039eabac36f DID x02110b TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e5d039eabac36f WWNN x20e1d039eabac36f DID x02111f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2013d039eabac36f WWNN x2010d039eabac36f DID x021129 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000027ca3 Cmpl 0000027ca2 Abort 00000017
LS XMIT: Err 00000001  CMPL: xb 00000017 Err 00000017
Total FCP Cmpl 000000000006369d Issue 000000000006369a OutIO fffffffffffffffd
        abort 00000007 noxri 00000000 nondlp 00000011 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000008 Err 0000000c

NVMe/FC - Marvell/QLogic

Configuration du NVMe/FC pour un adaptateur Marvell/QLogic

Vérifiez que vous exécutez les versions du pilote de carte et du micrologiciel prises en charge :
```
cat /sys/class/fc_host/host*/symbolic_name
```
L'exemple suivant montre les versions du pilote et du micrologiciel :
```
QLE2872 FW:v9.15.03 DVR:v10.02.09.300-k
```
Vérifiez-le ql2xnvmeenable est défini. L'adaptateur Marvell peut ainsi fonctionner en tant qu'initiateur NVMe/FC :
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La sortie attendue est 1.

NVMe/TCP

Le protocole NVMe/TCP ne prend pas en charge l'opération de connexion automatique. Au lieu de cela, vous pouvez découvrir les sous-systèmes et espaces de noms NVMe/TCP en exécutant l'opération NVMe/TCP. connect ou connect-all opérations manuellement.

Vérifiez que le port initiateur peut récupérer les données de la page de journal de découverte sur les LIF NVMe/TCP prises en charge :

nvme discover -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme discover -t tcp -w 192.168.30.10 -a 192.168.30.58
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  8
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  8
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.99
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.99
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.98
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.98
eflags:  none
sectype: none

Vérifier que les autres combinaisons de LIF cible-initiateur NVMe/TCP peuvent récupérer les données de la page du journal de détection :

nvme discover -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme discover -t tcp -w 192.168.30.10 -a 192.168.30.58
nvme discover -t tcp -w 192.168.30.10 -a 192.168.30.59
nvme discover -t tcp -w 192.168.31.10 -a 192.168.31.58
nvme discover -t tcp -w 192.168.31.10 -a 192.168.31.59

Exécutez le nvme connect-all Commande sur toutes les LIF cible-initiateur NVMe/TCP prises en charge sur l'ensemble des nœuds :

nvme connect-all -t tcp -w host-traddr -a traddr

Montrer l'exemple

nvme connect-all -t tcp -w 192.168.30.10 -a 192.168.30.58
nvme connect-all -t tcp -w 192.168.30.10 -a 192.168.30.59
nvme connect-all -t tcp -w 192.168.31.10 -a 192.168.31.58
nvme connect-all -t tcp -w 192.168.31.10 -a 192.168.31.59

À partir d'Oracle Linux 9.4, le paramètre NVMe/TCP ctrl_loss_tmo timeout est automatiquement réglé sur « off ». Par conséquent :

Il n'y a pas de limite au nombre de tentatives (nouvelle tentative indéfinie).
Vous n'avez pas besoin de configurer manuellement un élément spécifique ctrl_loss_tmo timeout durée lors de l'utilisation du nvme connect ou nvme connect-all commandes (option -l ).
Les contrôleurs NVMe/TCP ne subissent pas de dépassement de délai en cas de défaillance d'un chemin et restent connectés indéfiniment.

Étape 4 : Vous pouvez éventuellement modifier la politique d’E/S dans les règles udev.

Sous Oracle Linux 9.x, l'hôte définit la stratégie d'E/S par défaut pour NVMe-oF sur round-robin. À partir d'Oracle Linux 9.6, vous pouvez modifier la politique d'E/S en queue-depth en modifiant le fichier de règles udev.

Étapes

Ouvrez le fichier de règles udev dans un éditeur de texte avec des privilèges root :
```
/usr/lib/udev/rules.d/71-nvmf-netapp.rules
```
Vous devriez voir le résultat suivant :
```
vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules
```

Trouvez la ligne qui définit la politique d'E/S pour le contrôleur NetApp ONTAP .

L'exemple suivant illustre une règle :

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

Modifier la règle afin que round-robin devient queue-depth :

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

Rechargez les règles udev et appliquez les modifications :

udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

Vérifiez la politique d'E/S actuelle de votre sous-système. Remplacez <subsystem>, par exemple, nvme-subsys0 .
```
cat /sys/class/nvme-subsystem/<subsystem>/iopolicy
```
Vous devriez voir le résultat suivant :
```
queue-depth.
```

La nouvelle politique d'E/S s'applique automatiquement aux périphériques NetApp ONTAP Controller correspondants. Aucun redémarrage n'est nécessaire.

Étape 5 : Vous pouvez activer l’E/S à 1 Mo pour NVMe/FC (optionnel).

ONTAP signale une taille de transfert de données maximale (MDTS) de 8 dans les données du contrôleur d'identification. Cela signifie que la taille maximale de la demande d'E/S peut atteindre 1 Mo. Pour émettre des requêtes d'E/S d'une taille de 1 Mo pour un hôte Broadcom NVMe/FC, vous devez augmenter la lpfc valeur de la lpfc_sg_seg_cnt paramètre à 256 à partir de la valeur par défaut de 64.

Ces étapes ne s'appliquent pas aux hôtes NVMe/FC Qlogic.

Étapes

Réglez le lpfc_sg_seg_cnt paramètre sur 256 :
```
cat /etc/modprobe.d/lpfc.conf
```
Vous devriez voir une sortie similaire à l’exemple suivant :
```
options lpfc lpfc_sg_seg_cnt=256
```
Exécutez dracut -f la commande et redémarrez l'hôte.
Vérifier que la valeur de lpfc_sg_seg_cnt est 256 :
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Étape 6 : Vérifier les services de démarrage NVMe

À partir d'Oracle Linux 9.5, nvmefc-boot-connections.service et nvmf-autoconnect.service Services de démarrage inclus dans NVMe/FC nvme-cli Les paquets sont automatiquement activés au démarrage du système.

Une fois le démarrage terminé, vérifiez que le nvmefc-boot-connections.service et nvmf-autoconnect.service les services de démarrage sont activés.

Étapes

Vérifiez que nvmf-autoconnect.service est activé :

systemctl status nvmf-autoconnect.service

Affiche un exemple de résultat

nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: disabled)
     Active: inactive (dead) since Tue 2025-10-07 09:48:11 EDT; 1 week 0 days ago
   Main PID: 2620 (code=exited, status=0/SUCCESS)
        CPU: 19ms

Oct 07 09:48:11 R650xs-13-211 systemd[1]: Starting Connect NVMe-oF subsystems automatically during boot...
Oct 07 09:48:11 R650xs-13-211 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Oct 07 09:48:11 R650xs-13-211 systemd[1]: Finished Connect NVMe-oF subsystems automatically during boot.

Vérifiez que nvmefc-boot-connections.service est activé :

systemctl status nvmefc-boot-connections.service

Affiche un exemple de résultat

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Tue 2025-10-07 09:47:07 EDT; 1 week 0 days ago
   Main PID: 1651 (code=exited, status=0/SUCCESS)
        CPU: 14ms

Oct 07 09:47:07 R650xs-13-211 systemd[1]: Starting Auto-connect to subsystems on FC-NVME devices found during boot...
Oct 07 09:47:07 R650xs-13-211 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Oct 07 09:47:07 R650xs-13-211 systemd[1]: Finished Auto-connect to subsystems on FC-NVME devices found during boot.

Étape 7 : Vérifier la configuration du multipathing

Vérifiez que l'état des chemins d'accès multiples NVMe in-kernel, l'état ANA et les namespaces ONTAP sont corrects pour la configuration NVMe-of.

Étapes

Vérifiez que le chemin d'accès multiples NVMe intégré au noyau est activé :
```
cat /sys/module/nvme_core/parameters/multipath
```
Vous devriez voir le résultat suivant :
```
Y
```
Vérifiez que les paramètres NVMe-of appropriés (par exemple, modèle défini sur contrôleur NetApp ONTAP et iopole d'équilibrage de la charge sur round-Robin) pour les espaces de noms ONTAP respectifs reflètent correctement l'hôte :
1. Afficher les sous-systèmes :
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Vous devriez voir le résultat suivant :
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Afficher la politique :
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Vous devriez voir la valeur définie pour iopolicy, par exemple :
```
queue-depth
queue-depth
```

Vérifiez que les espaces de noms sont créés et correctement découverts sur l'hôte :

nvme list

Montrer l'exemple

Node            Generic         SN                   Model                    Namespace  Usage                      Format         FW Rev
--------------- --------------- -------------------- ------------------------ ---------- -------------------------- -------------  --------
/dev/nvme102n1  /dev/ng102n1    81LLqNYTindCAAAAAAAk NetApp ONTAP Controller   0x1          2.25  GB /   5.37  GB   4 KiB +  0 B   9.17.1
/dev/nvme102n2  /dev/ng102n2    81LLqNYTindCAAAAAAAk NetApp ONTAP Controller   0x2          2.25  GB /   5.37  GB   4 KiB +  0 B   9.17.1
/dev/nvme106n1  /dev/ng106n1    81LLqNYTindCAAAAAAAs NetApp ONTAP Controller   0x1          2.25  GB /   5.37  GB   4 KiB +  0 B   9.17.1
/dev/nvme106n2  /dev/ng106n2    81LLqNYTindCAAAAAAAs NetApp ONTAP Controller   0x2          2.25  GB /   5.37  GB   4 KiB +  0 B   9.17.1

Vérifiez que l'état du contrôleur de chaque chemin est actif et que l'état ANA est correct :

NVMe/FC

nvme list-subsys /dev/nvme4n5

Montrer l'exemple

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.f9c6d0cb4fef11f08579d039eaa8138c:discovery hostnqn=nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb \ +- nvme2 fc traddr=nn-0x201ad039eabac36f:pn-0x201bd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5c:pn-0x2100f4c7aa9d7c5c live optimized
+- nvme8 fc traddr=nn-0x201ad039eabac36f:pn-0x201dd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5d:pn-0x2100f4c7aa9d7c5d live non-optimized
+- nvme2 fc traddr=nn-0x201ad039eabac36f:pn-0x201bd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5c:pn-0x2100f4c7aa9d7c5c live non-optimized
+- nvme8 fc traddr=nn-0x201ad039eabac36f:pn-0x201dd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5d:pn-0x2100f4c7aa9d7c5d live optimized

NVMe/TCP

nvme list-subsys /dev/nvme1n1

Montrer l'exemple

nvme-subsys98 - NQN=nqn.1992-08.com.netapp:sn.f9c6d0cb4fef11f08579d039eaa8138c:subsystem.Nvme9
                hostnqn=nqn.2014-08.org.nvmexpress:uuid:b1d95cd0-1f7c-11ec-b8d1-3a68dd61a1cb
\
 +- nvme100 fc traddr=nn-0x201ad039eabac36f:pn-0x201dd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5d:pn-0x2100f4c7aa9d7c5d live non-optimized
 +- nvme101 fc traddr=nn-0x201ad039eabac36f:pn-0x201cd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5c:pn-0x2100f4c7aa9d7c5c live non-optimized
 +- nvme98 fc traddr=nn-0x201ad039eabac36f:pn-0x201bd039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5c:pn-0x2100f4c7aa9d7c5c live optimized
 +- nvme99 fc traddr=nn-0x201ad039eabac36f:pn-0x201ed039eabac36f,host_traddr=nn-0x2000f4c7aa9d7c5d:pn-0x2100f4c7aa9d7c5d live optimized
[root@SR630-13-203 ~]#

Vérifier que le plug-in NetApp affiche les valeurs correctes pour chaque périphérique d'espace de noms ONTAP :

Colonne

nvme netapp ontapdevices -o column

Montrer l'exemple

Device           Vserver    Namespace Path          NSID UUID                                   Size
---------------- ---------- ----------------------- ---- -------------------------------------- ------
/dev/nvme102n1   vs_203     /vol/Nvmevol35/ns35     1    00e760c9-e4ca-4d9f-b1d4-e9a930bf53c0   5.37GB
/dev/nvme102n2   vs_203     /vol/Nvmevol83/ns83     2    1fa97524-7dc2-4dbc-b4cf-5dda9e7095c0   5.37GB

JSON

nvme netapp ontapdevices -o json

Montrer l'exemple

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme11n1",
      "Vserver":"vs_203",
      "Namespace_Path":"/vol/Nvmevol16/ns16",
      "NSID":1,
      "UUID":"18a88771-8b5b-4eb7-bff0-2ae261f488e4",
      "LBA_Size":4096,
      "Namespace_Size":5368709120,
      "UsedBytes":2262282240,
      "Version":"9.17.1"
        }
  ]
}

Étape 8 : Configurer une authentification sécurisée en bande

L'authentification sécurisée en bande est prise en charge via NVMe/TCP entre un hôte Oracle Linux 9.x et un contrôleur ONTAP .

Chaque hôte ou contrôleur doit être associé à une clé DH-HMAC-CHAP pour configurer une authentification sécurisée. Une clé DH-HMAC-CHAP est une combinaison du NQN de l'hôte ou du contrôleur NVMe et d'un secret d'authentification configuré par l'administrateur. Pour authentifier son homologue, un hôte ou un contrôleur NVMe doit reconnaître la clé associée à cet homologue.

Configurez une authentification sécurisée en bande à l'aide de l'interface de ligne de commande (CLI) ou d'un fichier de configuration JSON. Utilisez un fichier JSON de configuration si vous devez spécifier des clés dhchap différentes pour différents sous-systèmes.

CLI

Configurez l'authentification intrabande sécurisée à l'aide de l'interface de ligne de commande.

Obtenir le NQN hôte :
```
cat /etc/nvme/hostnqn
```

Générez la clé dhchap pour l'hôte Linux.

Le résultat suivant décrit les gen-dhchap-key paramètres de commande :

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

Dans l'exemple suivant, une clé dhchap aléatoire avec HMAC définie sur 3 (SHA-512) est générée.

# nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c4c04f425633
DHHC-1:03:xhAfbAD5IVLZDxiVbmFEOA5JZ3F/ERqTXhHzZQJKgkYkTbPI9dhRyVtr4dBD+SGiAJO3by4FbnVtov1Lmk+86+nNc6k=:

Sur le contrôleur ONTAP, ajoutez l'hôte et spécifiez les deux clés dhchap :

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

Un hôte prend en charge deux types de méthodes d'authentification, unidirectionnelles et bidirectionnelles. Sur l'hôte, connectez-vous au contrôleur ONTAP et spécifiez des clés dhchap en fonction de la méthode d'authentification choisie :
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

Valider le nvme connect authentication en vérifiant les clés dhchap de l'hôte et du contrôleur :

Vérifiez les clés dhchap hôte :

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

Affiche un exemple de sortie pour une configuration unidirectionnelle

cat /sys/class/nvme-subsystem/nvme-subsys1/nvme*/dhchap_secret
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:

Vérifiez les clés dhchap du contrôleur :

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

Affiche un exemple de sortie pour une configuration bidirectionnelle

cat /sys/class/nvme-subsystem/nvme-subsys6/nvme*/dhchap_ctrl_secret
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:

JSON

Lorsque plusieurs sous-systèmes NVMe sont disponibles dans la configuration du contrôleur ONTAP, vous pouvez utiliser le /etc/nvme/config.json fichier avec la nvme connect-all commande.

Utilisez le -o option pour générer le fichier JSON. Pour plus d'options de syntaxe, reportez-vous aux pages de manuel de NVMe Connect-all.

Configurez le fichier JSON :

Montrer l'exemple

[
  {
    "hostnqn":"nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c4c04f425633",
    "hostid":"4c4c4544-0056-5410-8048-c4c04f425633",
    "dhchap_key":"DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:",
    "subsystems":[
      {
        "nqn":"nqn.1992-08.com.netapp:sn.09035a8d8c8011f0ac0fd039eabac370:subsystem.subsys",
        "ports":[
          {
            "transport":"tcp",
            "traddr":"192.168.30.69",
            "host_traddr":"192.168.30.10",
            "trsvcid":"4420",
            "dhchap_ctrl_key":"DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:"
          }
        ]
      }
    ]
  }
]

Dans l'exemple précédent, dhchap_key correspond à dhchap_secret et dhchap_ctrl_key correspond à dhchap_ctrl_secret.

Connectez-vous au contrôleur ONTAP à l'aide du fichier JSON de configuration :
```
nvme connect-all -J /etc/nvme/config.json
```
Vérifiez que les secrets dhchap ont été activés pour les contrôleurs respectifs de chaque sous-système :
1. Vérifiez les clés dhchap hôte :
  cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_secret
  L'exemple suivant montre une clé dhchap :
  DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:
2. Vérifiez les clés dhchap du contrôleur :
  cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_ctrl_secret
  Vous devriez voir une sortie similaire à l’exemple suivant :
```
DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:
```

Étape 9 : passez en revue les problèmes connus

Il n'y a pas de problème connu.

Configurer Oracle Linux 9.x avec NVMe-oF pour le stockage ONTAP

Creating your file...

Étape 1 : activez éventuellement le démarrage SAN

Étape 2 : Installez Oracle Linux et le logiciel NVMe, puis vérifiez votre configuration.

Étape 3 : Configurer NVMe/FC et NVMe/TCP

Étape 4 : Vous pouvez éventuellement modifier la politique d’E/S dans les règles udev.

Étape 5 : Vous pouvez activer l’E/S à 1 Mo pour NVMe/FC (optionnel).

Étape 6 : Vérifier les services de démarrage NVMe

Étape 7 : Vérifier la configuration du multipathing

Étape 8 : Configurer une authentification sécurisée en bande

Étape 9 : passez en revue les problèmes connus