PDF
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

适用于采用 ONTAP 的 RHEL 8.4 的 NVMe-oF 主机配置

提供者 netapp-ranuk 下载此页面的 PDF

可支持性

采用 ANA （非对称命名空间访问）的 RHEL 8.4 支持基于网络结构的 NVMe 或 NVMe-oF （包括 NVMe/FC 和其他传输）。ANA 是 NVMe-oF 环境中的 ALUA 等效产品，目前已通过内核 NVMe 多路径实施。此处介绍了在 RHEL 8.4 和 ONTAP 上使用 ANA 作为目标的内核 NVMe 多路径中启用 NVMe-oF 的详细信息。

功能

  • 从 RHEL 8.2 开始，原生 NVMe-CLI 软件包中包含 nve-fc auto-connect 脚本。您可以使用这些原生自动连接脚本，而不必安装外部供应商提供的出箱自动连接脚本。

  • 从 RHEL 8.2 开始，已在 NVMe-CLI 软件包中提供原生 udev 规则，该软件包可为 NVMe 多路径启用轮循负载平衡。您无需再手动创建此规则（如 RHEL 8.1 中所做的那样）。

  • 从 RHEL 8.2 开始， NVMe 和 SCSI 流量均可在同一主机上运行。实际上，这应该是客户通常部署的主机配置。因此，对于 SCSI ，您可以照常为 SCSI LUN 配置 dm-multipath ，从而生成 mpath 设备，而 NVMe 多路径则可用于在主机上配置 NVMe-of 多路径设备。

  • 从 RHEL 8.2 开始，原生 NVMe-CLI 软件包中的 NetApp 插件还可以显示 ONTAP 命名空间的 ONTAP 详细信息。

已知限制

对于 RHEL 8.4 ，默认情况下，内核 NVMe 多路径保持禁用状态。因此，您需要手动启用它。

配置要求

请参见 "NetApp 互操作性表" 有关支持的配置的准确详细信息。

启用内核 NVMe 多路径

  1. 在服务器上安装 RHEL 8.4 GA 。安装完成后，验证您是否正在运行指定的 RHEL 8.4 GA 内核。请参见 "NetApp 互操作性表" 有关最新的受支持版本列表。

  2. 安装完成后，验证您是否正在运行指定的 RHEL 8.4 内核。请参见 "NetApp 互操作性表" 有关最新的受支持版本列表。

    示例

    # uname -r
4.18.0-305.el8.x86_64

  3. 安装 NVMe-CLI 软件包：

    示例

    # rpm -qa|grep nvme-cli
nvme-cli-1.12-3.el8.x86_64

  4. 启用内核 NVMe 多路径。

    # grubby --args=nvme_core.multipath=Y --update-kernel /boot/vmlinuz-4.18.0-305.el8.x86_64

  5. 在主机上，检查 ` /etc/nve/hostnqn` 处的主机 NQN 字符串，并验证它是否与 ONTAP 阵列上相应子系统的主机 NQN 字符串匹配。示例

    # cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
::> vserver nvme subsystem host show -vserver vs_fcnvme_141
Vserver     Subsystem       Host NQN
----------- --------------- ----------------------------------------------------------
vs_fcnvme_14 nvme_141_1     nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
    注 如果主机 NQN 字符串不匹配，则应使用 vserver modify 命令更新相应 ONTAP NVMe 子系统上的主机 NQN 字符串，以匹配主机上的主机 NQN 字符串 ` /etc/nve/hostnqn` 。

  6. 重新启动主机。

    注

    如果要在同一主机上同时运行 NVMe 和 SCSI 共存的流量，建议分别对 ONTAP 命名空间使用内核 NVMe 多路径，而对 ONTAP LUN 使用 dm-multipath 。这意味着， ONTAP 命名空间应从 dm-multipath 中排除，以防止 dm-multipath 声明这些命名空间设备。为此，可以将 enable_Foreign 设置添加到 ` /etc/multipath.conf` 文件中：

    # cat /etc/multipath.conf
defaults {
        enable_foreign     NONE
}

  7. 运行 systemctl restart multipathd 命令以使新设置生效，从而重新启动 multipathd 守护进程。

正在配置 NVMe/FC

Broadcom/Emulex

  1. 验证您使用的是受支持的适配器。请参见 "NetApp 互操作性表" 有关支持的适配器的最新列表。

    # cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

  2. 验证您是否正在使用建议的 Broadcom lpfc 固件和收件箱驱动程序。请参见 "NetApp 互操作性表" 有关支持的适配器驱动程序和固件版本的最新列表。

    # cat /sys/class/scsi_host/host*/fwrev
12.8.340.8, sli-4:2:c
12.8.340.8, sli-4:2:c
# cat /sys/module/lpfc/version
0:12.8.0.5

  3. 验证 lpfc_enable_FC4_type 是否设置为 3 。

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

  4. 确认启动程序端口已启动且正在运行，并且您能够看到目标 LIF 。

    # cat /sys/class/fc_host/host*/port_name
0x100000109b1c1204
0x100000109b1c1205
# cat /sys/class/fc_host/host*/port_state
Online
Online
# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001e15 Err 0000d906
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001f50 Err 0000d9f8

启用 1 MB I/O 大小（可选）

ONTAP 在 "Identify Controller" （识别控制器）数据中报告 MTS （ MAX Data 传输大小）为 8 ，这意味着最大 I/O 请求大小应最多为 1 MB 。但是，对于 Broadcom NVMe/FC 主机 1 MB 大小的问题描述 I/O 请求， lpfc 参数 lpfc_sg_seg_cnt 也应从默认值 64 增加到 256 。请按照以下说明执行此操作：

  1. 在相应的 modprobe lpfc.conf 文件中附加值 256 ：

    # cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256

  2. 运行 dracut -f 命令，然后重新启动主机。

  3. 重新启动后，通过检查对应的 sysfs 值来验证是否已应用上述设置：

    # cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256

    现在， Broadcom FC-NVMe 主机应该能够在 ONTAP 命名空间设备上发送最多 1 MB 的 I/O 请求。

Marvell/QLogic

RHEL 8.4 GA 内核中包含的原生收件箱 qla2xxx 驱动程序具有最新的上游修复程序，这些修复程序对于 ONTAP 支持至关重要。

  • 使用以下命令验证您是否正在运行受支持的适配器驱动程序和固件版本：

    # cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.06.02 DVR:v10.02.00.104-k
QLE2742 FW:v9.06.02 DVR:v10.02.00.104-k

  • 验证是否已设置 ql2xnvmeenable ，以使 Marvell 适配器能够使用以下命令作为 NVMe/FC 启动程序运行：

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1

正在验证 NVMe-oF

  • 验证是否已启用内核 NVMe 多路径：

    # cat /sys/module/nvme_core/parameters/multipath
Y

  • 验证适当的 nve-of 设置， model set to NetApp ONTAP Controller and load balancing OPoliciy set to round-robin ，以使相应的 ONTAP 命名空间正确反映在主机上：

    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

NVMe/FC

  1. 验证 NVMe/FC ONTAP 命名空间是否正确反映在主机上。

    示例

    # nvme list
Node         SN                    Model                  Namespace Usage
-------      -----------------     -------------          --------- ------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller   1      85.90 GB / 85.90 GB

Format       FW Rev
------       -------
4 KiB + 0 B  FFFFFFFF

  2. 验证每个路径的控制器状态是否为活动状态且是否具有正确的 ANA 状态。

    示例

    # nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_141_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

  3. 验证 NetApp 插件是否为每个 ONTAP 命名空间设备显示了正确的值。

    示例

    # nvme netapp ontapdevices -o column
Device        Vserver         Namespace Path                            NSID
--------     -----------      ---------------------------               -------
/dev/nvme0n1  vs_fcnvme_141   /vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns    1
UUID                                   Size
-----                                  --------
72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB

# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_fcnvme_141",
        "Namespace_Path" : "/vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    }
  ]
}

故障排除

在对任何 NVMe/FC 故障开始任何故障排除之前，请确保您运行的配置符合 IMT 规范，然后继续执行以下步骤以调试任何主机端问题。

lpfc 详细日志记录

  1. 您可以将 lpfc_log_verbose 驱动程序设置为以下任意值以记录 NVMe/FC 事件：

    #define LOG_NVME 0x00100000 /* NVME general events. */
#define LOG_NVME_DISC 0x00200000 /* NVME Discovery/Connect events. */
#define LOG_NVME_ABTS 0x00400000 /* NVME ABTS events. */
#define LOG_NVME_IOERR 0x00800000 /* NVME IO Error events. */

  2. 设置上述任一值后，运行 dracut-f 命令重新创建 initramfs 并重新启动主机。

  3. 重新启动后，验证设置。

    # cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_log_verbose=0xf00083

# cat /sys/module/lpfc/parameters/lpfc_log_verbose
15728771

qla2xxx 详细日志记录

NVMe/FC 没有与 lpfc 驱动程序类似的特定 qla2xxx 日志记录。因此，您可以使用以下步骤设置常规 qla2xxx 日志记录级别：

  1. 将 ql2xextended_error_logging=0x1e400000 值附加到相应的 modprobe qla2xxx conf 文件中。

  2. 运行 dracut -f 命令重新创建 initramfs ，然后重新启动主机。

  3. 重新启动后，验证是否已按如下所示应用详细日志记录：

    # cat /etc/modprobe.d/qla2xxx.conf
options qla2xxx ql2xnvmeenable=1 ql2xextended_error_logging=0x1e400000
# cat /sys/module/qla2xxx/parameters/ql2xextended_error_logging
507510784

常见 NVMe-CLI 错误和解决方法

下表显示了在 NVMe 发现， NVMe 连接或 NVMe 连接所有操作期间 NVMe-CLI 显示的错误以及解决方法：

NVMe-CLI 显示的错误 可能的发生原因 临时解决策

无法写入 /dev/nve-Fabric ：参数 无效

语法不正确

确保对上述 NVMe 命令使用正确的语法。

无法写入 /dev/nve-Fabric ：没有此类文件或目录

多个问题可能会触发此问题。将错误的参数传递给 NVMe 命令是常见原因之一。

  • 确保已将正确的参数（例如正确的 WWNN 字符串， WWPN 字符串等）传递给命令。

  • 如果参数正确，但您仍看到此错误，请检查 ` /sys/class/scsi_host/host*/nve_info` 输出是否正确， NVMe 启动程序是否显示为 Enabled ， NVMe/FC 目标 LIF 是否正确显示在此处的远程端口部分下。示例

    # cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
NVME LPORT lpfc0 WWPN x10000090fae0ec9d WWNN x20000090fae0ec9d DID x012000 ONLINE
NVME RPORT WWPN x200b00a098c80f09 WWNN x200a00a098c80f09 DID x010601 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000000000006 Cmpl 0000000000000006
FCP: Rd 0000000000000071 Wr 0000000000000005 IO 0000000000000031
Cmpl 00000000000000a6 Outstanding 0000000000000001
NVME Initiator Enabled
NVME LPORT lpfc1 WWPN x10000090fae0ec9e WWNN x20000090fae0ec9e DID x012400 ONLINE
NVME RPORT WWPN x200900a098c80f09 WWNN x200800a098c80f09 DID x010301 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000000000006 Cmpl 0000000000000006
FCP: Rd 0000000000000073 Wr 0000000000000005 IO 0000000000000031
Cmpl 00000000000000a8 Outstanding 0000000000000001`

  • 如果目标 LIF 未在 nve_info 输出中显示为上述内容，请检查 ` /var/log/messages` 和 dMesg 输出中是否存在任何可疑的 NVMe/FC 故障，并相应地进行报告或修复。

没有要提取的发现日志条目

通常，如果未将 ` /etc/nve/hostnqn` 字符串添加到 NetApp 阵列上的相应子系统，或者在相应子系统中添加了不正确的 hostnqn 字符串，则会出现此情况。

确保已将确切的 ` /etc/nve/hostnqn` 字符串添加到 NetApp 阵列上的相应子系统中（通过 vserver nvme subsystem host show 命令进行验证）。

无法写入 /dev/nve-Fabric ：操作已在进行中

查看控制器关联或指定操作是否已创建或正在创建。在上述自动连接脚本中可能会发生这种情况。

无对于 NVMe 发现，请尝试在一段时间后运行此命令。对于 NVMe connect and connect-all ，请运行 nvme list 命令以验证是否已在主机上创建并显示命名空间设备。

何时联系技术支持

如果您仍面临问题，请收集以下文件和命令输出，并联系技术支持以进行进一步的分类：

cat /sys/class/scsi_host/host*/nvme_info
/var/log/messages
dmesg
nvme discover output as in:
nvme discover --transport=fc --traddr=nn-0x200a00a098c80f09:pn-0x200b00a098c80f09 --host-traddr=nn-0x20000090fae0ec9d:pn-0x10000090fae0ec9d
nvme list
nvme list-subsys /dev/nvmeXnY
提供
编辑这个页面 请求文档更改 了解如何贡献