Skip to main content
SAN hosts and cloud clients
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Configuration d'hôte NVMe/FC pour Oracle Linux 7.9 avec ONTAP

Contributeurs

Prise en charge

NVMe/FC est pris en charge sur ONTAP 9.6 ou version ultérieure pour Oracle Linux 7.9. L'hôte Oracle Linux 7.9 peut exécuter à la fois le trafic NVMe et SCSI via les mêmes ports d'adaptateur Fibre Channel (FC) pour initiateur. Voir la "Hardware Universe" Pour obtenir la liste des contrôleurs et adaptateurs FC pris en charge, Pour obtenir la liste la plus récente des configurations prises en charge, consultez le "Matrice d'interopérabilité NetApp".

Remarque Vous pouvez utiliser les paramètres de configuration fournis dans ce document pour configurer les clients Cloud connectés à "Cloud Volumes ONTAP" et "Amazon FSX pour ONTAP".

Limites connues

  • Les scripts natifs de connexion automatique NVMe/FC ne sont pas disponibles dans le nvme-cli création de package. Utilisez les scripts de connexion automatique externes fournis par le fournisseur de HBA.

  • Par défaut, l'équilibrage de la charge round-Robin n'est pas activé dans NVMe Multipath. Vous devez écrire une règle udev pour activer cette fonctionnalité. Des étapes sont décrites dans la section relative à l'activation de NVMe/FC sur Oracle Linux 7.9.

  • Sanlest pris en charge pour NVMe/FC et, par conséquent, pas de prise en charge de Linux Unified Host Utilities (LUHU) pour NVMe/FC sur Oracle Linux 7.9. Utilisez la sortie de la commande ONTAP disponible dans le cadre du plug-in NetApp inclus dans l'interface de ligne de commande native nvme.

  • Le démarrage SAN à l'aide du protocole NVMe-of n'est pas pris en charge pour le moment.

Activation de NVMe/FC

  1. Installez Oracle Linux 7.9 sur le serveur.

  2. Une fois l'installation terminée, vérifiez que vous exécutez le noyau Unbreakable Enterprise pris en charge. Voir la "Matrice d'interopérabilité NetApp".

    # uname -r
    5.4.17-2011.6.2.el7uek.x86_64
  3. Mettez à niveau le nvme-cli création de package.

    # rpm -qa | grep nvme-cli
    nvme-cli-1.8.1-3.el7.x86_64
  4. Ajoutez la chaîne ci-dessous en tant que règle udev séparée à /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules. Cela permet d'équilibrer la charge Round-Robin pour les chemins d'accès multiples NVMe.

    # cat /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules
    # Enable round-robin for NetApp ONTAP
    ACTION=="add", SUBSYSTEMS=="nvme-subsystem", ATTRS{model}=="NetApp ONTAP Controller          ", ATTR{iopolicy}="round-robin"
  5. Sur l'hôte Oracle Linux L 7.9, vérifiez la chaîne NQN hôte à l'adresse /etc/nvme/hostnqn Et vérifiez qu'il correspond à la chaîne NQN hôte pour le sous-système correspondant de la matrice ONTAP.

    # cat /etc/nvme/hostnqn
    nqn.2014-08.org.nvmexpress:uuid:497ad959-e6d0-4987-8dc2-a89267400874
    *> vserver nvme subsystem host show -vserver vs_nvme_10
    Vserver Subsystem Host NQN
    ------- --------- -------------------------------------- -----------
    ol_157_nvme_ss_10_0
    nqn.2014-08.org.nvmexpress:uuid:497ad959-e6d0-4987-8dc2-a89267400874

    Si le hostnqn les chaînes ne correspondent pas, vous devez utiliser le vserver modify Commande pour mettre à jour la chaîne NQN hôte sur le sous-système de la matrice ONTAP correspondant à la chaîne NQN hôte à partir de etc/nvme/hostnqn sur l'hôte.

  6. Redémarrez l'hôte.

Configurez la carte Broadcom FC pour NVMe/FC

  1. Vérifiez que vous utilisez la carte prise en charge. Pour consulter la liste la plus récente des cartes prises en charge, reportez-vous à la section "Matrice d'interopérabilité NetApp".

    # cat /sys/class/scsi_host/host*/modelname
    LPe32002-M2
    LPe32002-M2
    # cat /sys/class/scsi_host/host*/modeldesc
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
  2. La prise en charge NVMe en lpfc est déjà activée par défaut :

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
    3

    Les pilotes lpfc plus récents (boîte de réception et boîte de réception) ont la valeur par défaut lpfc_enable_fc4_type définie sur 3. Par conséquent, vous n'avez pas besoin de définir cela explicitement dans le /etc/modprobe.d/lpfc.conf.

  3. Installez ensuite les scripts de connexion automatique lpfc recommandés :

     # rpm -ivh nvmefc-connect-12.8.264.0-1.noarch.rpm
    . Vérifiez que les scripts de connexion automatique sont installés.
    # rpm -qa | grep nvmefc
    nvmefc-connect-12.8.264.0-1.noarch
  4. Vérifiez que les ports initiateurs sont opérationnels.

    # cat /sys/class/fc_host/host*/port_name
    0x10000090fae0ec61
    0x10000090fae0ec62
    
    # cat /sys/class/fc_host/host*/port_state
    Online
    Online
  5. Vérifiez que les ports initiateurs NVMe/FC sont activés et que les ports cibles sont bien activés, et que tous les ports fonctionnent.

    Dans l'exemple ci-dessous, seul un port initiateur a été activé et connecté à deux LIF cible, comme indiqué dans la sortie ci-dessous :

    # cat /sys/class/scsi_host/host*/nvme_info
    
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 NVME 2947 SCSI 2947 ELS 250
    NVME LPORT lpfc0 WWPN x10000090fae0ec61 WWNN x20000090fae0ec61 DID x012000 ONLINE
    NVME RPORT WWPN x202d00a098c80f09 WWNN x202c00a098c80f09 DID x010201 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x203100a098c80f09 WWNN x202c00a098c80f09 DID x010601 TARGET DISCSRVC ONLINE

Validation de la spécification NVMe/FC

  1. Vérifiez les paramètres NVMe/FC suivants.

    # cat /sys/module/nvme_core/parameters/multipath
    Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
    NetApp ONTAP Controller
    NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
    round-robin
    round-robin

    Dans l'exemple ci-dessus, deux espaces de noms sont mappés à l'hôte Oracle Linux 7.9 ANA. Ces LIF sont visibles via quatre LIF cibles : deux LIF de nœud local et deux autres LIF de nœud partenaire/distant. Cette configuration s'affiche sous la forme de deux chemins ANA optimisés et de deux chemins ANA inaccessibles pour chaque espace de noms de l'hôte.

  2. Vérifier que les espaces de noms sont créés.

    # nvme list
    Node SN Model Namespace Usage Format FW Rev
    ---------------- -------------------- -----------------------
    /dev/nvme0n1 80BADBKnB/JvAAAAAAAC NetApp ONTAP Controller 1 53.69 GB / 53.69 GB 4 KiB + 0 B FFFFFFFF
  3. Vérifiez le statut des chemins ANA.

    # nvme list-subsys/dev/nvme0n1
    Nvme-subsysf0 – NQN=nqn.1992-08.com.netapp:sn.341541339b9511e8a9b500a098c80f09:subsystem.ol_157_nvme_ss_10_0
    \
    +- nvme0 fc traddr=nn-0x202c00a098c80f09:pn-0x202d00a098c80f09 host_traddr=nn-0x20000090fae0ec61:pn-0x10000090fae0ec61 live optimized
    +- nvme1 fc traddr=nn-0x207300a098dfdd91:pn-0x207600a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
    +- nvme2 fc traddr=nn-0x207300a098dfdd91:pn-0x207500a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
    +- nvme3 fc traddr=nn-0x207300a098dfdd91:pn-0x207700a098dfdd91 host traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live inaccessible
  4. Vérifier le plug-in NetApp pour les systèmes ONTAP.

    # nvme netapp ontapdevices -o column
    Device   Vserver  Namespace Path             NSID   UUID   Size
    -------  -------- -------------------------  ------ ----- -----
    /dev/nvme0n1   vs_nvme_10       /vol/rhel_141_vol_10_0/ol_157_ns_10_0    1        55baf453-f629-4a18-9364-b6aee3f50dad   53.69GB
    
    # nvme netapp ontapdevices -o json
    {
       "ONTAPdevices" : [
       {
            Device" : "/dev/nvme0n1",
            "Vserver" : "vs_nvme_10",
            "Namespace_Path" : "/vol/rhel_141_vol_10_0/ol_157_ns_10_0",
             "NSID" : 1,
             "UUID" : "55baf453-f629-4a18-9364-b6aee3f50dad",
             "Size" : "53.69GB",
             "LBA_Data_Size" : 4096,
             "Namespace_Size" : 13107200
        }
    ]

Taille d'E/S de 1 Mo pour Broadcom NVMe/FC

ONTAP signale une taille DE transfert MAX Data de 8 DANS les données Identify Controller, ce qui signifie que la taille maximale des demandes d'E/S peut atteindre 1 Mo. Toutefois, pour émettre des demandes d'E/S d'une taille de 1 Mo pour un hôte Broadcom NVMe/FC, vous devez augmenter le lpfc valeur du lpfc_sg_seg_cnt à 256 à partir de la valeur par défaut de 64.

Étapes
  1. Réglez le lpfc_sg_seg_cnt paramètre à 256.

    # cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256
  2. Exécutez un dracut -f et redémarrez l'hôte.

  3. Vérifiez-le lpfc_sg_seg_cnt est 256.

    # cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
    256
Remarque Cela ne s'applique pas aux hôtes NVMe/FC Qlogic.