适用于采用ONTAP的RHEL 9.4的NVMe-oF主机配置
采用非对称命名空间访问(AANA)的Red Hat Enterprise Linux (RHEL) 9.4支持基于网络结构的NVMe (NVMe-oF)、包括基于光纤通道的NVMe (NVMe/FC)和其他传输。在NVMe-oF环境中、ANA相当于iSCSI和FC环境中的ALUA多路径功能、并可通过内核NVMe多路径实施。
对于采用ONTAP的RHEL 9.4、NVMe-oF主机配置支持以下功能:
-
除了NVMe/FC之外、还支持基于TCP的NVMe (NVMe/TCP)。本机中的NetApp插件
nvme-cli
软件包可显示NVMe/FC和NVMe/TCP命名库的ONTAP详细信息。 -
在给定主机总线适配器(HBA)上的同一主机上使用NVMe和SCSI流量并无明确的dm-dpath设置、以防止声明NVMe命名空间。
有关支持的配置的其他详细信息、请参见 "NetApp 互操作性表工具"。
功能
-
默认情况下、RHEL 9.4已为NVMe命名空间启用内核NVMe多路径;因此、无需显式设置。
-
支持使用NVMe/FC协议启动SAN。
已知限制
没有已知限制。
验证软件版本
您可以使用以下操作步骤验证支持的最低RHEL 9.4软件版本。
-
在服务器上安装RHEL 9.4。安装完成后、验证是否正在运行指定的RHEL 9.4内核:
# uname -r
示例输出:
5.14.0-423.el9.x86_64
-
安装
NVMe-CLI
软件包:# rpm -qa|grep nvme-cli
示例输出:
nvme-cli-2.6-4.el9.x86_64
-
安装
libnvme
软件包:#rpm -qa|grep libnvme
示例输出
libnvme-1.6-1.el9.x86_64
-
在RHEL 9.4主机上、检查中的hostnqn字符串
/etc/nvme/hostnqn
:# cat /etc/nvme/hostnqn
示例输出
nqn.2014-08.org.nvmexpress:uuid: uuid:4c4c4544-0036-5610-804a-c7c04f365a32
-
验证是否已
hostnqn
字符串与匹配hostnqn
ONTAP 阵列上对应子系统的字符串:::> vserver nvme subsystem host show -vserver vs_coexistence_LPE36002
示例输出:
Vserver Subsystem Host NQN ----------- --------------- ---------------------------------------------------------- vs_coexistence_LPE36002 nvme nqn.2014-08.org.nvmexpress:uuid: 4c4c4544-0036-5610-804a-
如果 hostnqn
字符串不匹配、请使用vserver modify
用于更新的命令hostnqn
要匹配的相应ONTAP 阵列子系统上的字符串hostnqn
字符串自/etc/nvme/hostnqn
在主机上。
配置 NVMe/FC
您可以为Broadcom/Emulex或Marvell/Qlogic适配器配置NVMe/FC。
-
验证您使用的适配器型号是否受支持:
# cat /sys/class/scsi_host/host*/modelname
示例输出:
LPe36002-M64 LPe36002-M64
# cat /sys/class/scsi_host/host*/modeldesc
示例输出:
Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
-
确认您使用的是建议的Broadcom
lpfc
固件和内置驱动程序:# cat /sys/class/scsi_host/host*/fwrev 14.2.673.40, sli-4:6:d 14.2.673.40, sli-4:6:d # cat /sys/module/lpfc/version 0:14.2.0.16
有关支持的适配器驱动程序和固件版本的最新列表、请参见 "NetApp 互操作性表工具"。
-
请验证
lpfc_enable_fc4_type
设置为3
:# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
验证启动程序端口是否已启动且正在运行、以及您是否可以看到目标生命周期:
# cat /sys/class/fc_host/host*/port_name 0x100000109b3c081f 0x100000109b3c0820
# cat /sys/class/fc_host/host*/port_state Online Online
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b3c081f WWNN x200000109b3c081f DID x062300 ONLINE NVME RPORT WWPN x2143d039ea165877 WWNN x2142d039ea165877 DID x061b15 TARGET DISCSRVC ONLINE NVME RPORT WWPN x2145d039ea165877 WWNN x2142d039ea165877 DID x061115 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 000000040b Cmpl 000000040b Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000001f5c4538 Issue 000000001f58da22 OutIO fffffffffffc94ea abort 00000630 noxri 00000000 nondlp 00001071 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000630 Err 0001bd4a NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b3c0820 WWNN x200000109b3c0820 DID x062c00 ONLINE NVME RPORT WWPN x2144d039ea165877 WWNN x2142d039ea165877 DID x060215 TARGET DISCSRVC ONLINE NVME RPORT WWPN x2146d039ea165877 WWNN x2142d039ea165877 DID x061815 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 000000040b Cmpl 000000040b Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000001f5c3618 Issue 000000001f5967a4 OutIO fffffffffffd318c abort 00000629 noxri 00000000 nondlp 0000044e qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000629 Err 0001bd3d
-
RHEL 9.4 GA内核中包含的本机内置qla2xxx驱动程序包含对ONTAP支持至关重要的最新修复程序。验证您是否正在运行受支持的适配器驱动程序和固件版本:
# cat /sys/class/fc_host/host*/symbolic_name
示例输出
QLE2872 FW:v9.12.01 DVR:v10.02.09.100-k QLE2872 FW:v9.12.01 DVR:v10.02.09.100-k
-
请验证
ql2xnvmeenable
已设置。这样、Marvell适配器便可用作NVMe/FC启动程序:# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
启用1 MB I/O (可选)
ONTAP会在"识别控制器"数据中报告MDTS (MAX Data传输大小)为8、这意味着最大I/O请求大小最多可以为1 MB。但是、要使Broadcom NVMe/FC主机的问题描述I/O请求大小为1 MB、必须增加 lpfc
的值 lpfc_sg_seg_cnt
参数从默认值64更改为256。
-
将
lpfc_sg_seg_cnt
参数设置为 256 。# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
运行
dracut -f
命令,然后重新启动主机。 -
验证
lpfc_sg_seg_cnt
是否为 256 。# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
|
这不适用于逻辑NVMe/FC主机。 |
配置 NVMe/TCP
NVMe/TCP没有自动连接功能。因此、您需要手动执行NVMe/TCP连接或全部连接功能、才能发现NVMe/TCP子系统和命名共享。
您可以使用以下操作步骤配置NVMe/TCP。
-
验证启动程序端口是否可以通过受支持的NVMe/TCP LIF提取发现日志页面数据:
nvme discover -t tcp -w host-traddr -a traddr
示例输出:
# nvme discover -t tcp -w 192.168.167.1 -a 192.168.167.16 Discovery Log Number of Records 8, Generation counter 10 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 11 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18: discovery traddr: 192.168.167.8 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 9 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18: discovery traddr: 192.168.166.8 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 12 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18: discovery traddr: 192.168.167.7 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 3====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 10 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18: discovery traddr: 192.168.166.7 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 4====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 11 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1 traddr: 192.168.167.8 eflags: none sectype: none =====Discovery Log Entry 5====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 9 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1 traddr: 192.168.166.8 eflags: none sectype: none =====Discovery Log Entry 6====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 12 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1 traddr: 192.168.167.7 eflags: none sectype: none =====Discovery Log Entry 7====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 10 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1 traddr: 192.168.166.7 eflags: none sectype: none
-
验证其他NVMe/TCP启动程序-目标LIF组合是否能够成功提取发现日志页面数据:
nvme discover -t tcp -w host-traddr -a traddr
示例输出:
#nvme discover -t tcp -w 192.168.166.6 -a 192.168.166.7 #nvme discover -t tcp -w 192.168.166.6 -a 192.168.166.8 #nvme discover -t tcp -w 192.168.167.6 -a 192.168.167.7 #nvme discover -t tcp -w 192.168.167.6 -a 192.168.167.8
-
运行
nvme connect-all
在节点中所有受支持的NVMe/TCP启动程序-目标SIP上运行命令:nvme connect-all -t tcp -w host-traddr -a traddr
示例输出:
# nvme connect-all -t tcp -w 192.168.166.6 -a 192.168.166.7 # nvme connect-all -t tcp -w 192.168.166.6 -a 192.168.166.8 # nvme connect-all -t tcp -w 192.168.167.6 -a 192.168.167.7 # nvme connect-all -t tcp -w 192.168.167.6 -a 192.168.167.8
|
从RHEL 9.4开始、这是NVMe/TCP的默认设置 ctrl_loss_tmo 超时已关闭、这意味着对重试次数没有限制(无限期重试)。因此、您无需手动配置特定 ctrl_loss_tmo 使用时的超时持续时间 nvme connect 或 nvme connect-all 命令(选项-l)。通过此默认行为、NVMe/TCP控制器在发生路径故障时不会发生超时、并会无限期保持连接。
|
验证 NVMe-oF
您可以使用以下操作步骤验证NVMe-oF。
-
验证是否已启用内核NVMe多路径:
# cat /sys/module/nvme_core/parameters/multipath Y
-
验证相应ONTAP命名库的适当NVMe-oF设置(例如、型号设置为NetApp ONTAP控制器、负载平衡iopolicy设置为循环)是否正确反映在主机上:
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
验证是否已在主机上创建并正确发现命名空间:
# nvme list
示例输出:
Node SN Model --------------------------------------------------------- /dev/nvme4n1 81Ix2BVuekWcAAAAAAAB NetApp ONTAP Controller Namespace Usage Format FW Rev ----------------------------------------------------------- 1 21.47 GB / 21.47 GB 4 KiB + 0 B FFFFFFFF
-
验证每个路径的控制器状态是否为活动状态且是否具有正确的ANA状态:
NVMe/FC# nvme list-subsys /dev/nvme5n21
示例输出:
nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.efd7989cb10111ee871ed039ea954d18:subsystem.nvme hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b581b4-c975-11e6-8425-0894ef31a074 iopolicy=round-robin \ +- nvme2 fc traddr=nn-0x2013d039ea951c45:pn-0x2018d039ea951c45,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live non-optimized +- nvme3 fc traddr=nn-0x2013d039ea951c45:pn-0x2017d039ea951c45,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live non-optimized +- nvme5 fc traddr=nn-0x2013d039ea951c45:pn-0x2016d039ea951c45,host_traddr=nn- 0x200000109bdacc76:pn-0x100000109bdacc76 live optimized +- nvme6 fc traddr=nn-0x2013d039ea951c45:pn-0x2014d039ea951c45,host_traddr=nn- 0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
NVMe/TCP# nvme list-subsys /dev/nvme1n1
示例输出:
nvme-subsys1 -NQN=nqn.1992-08.com.netapp: sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1 hostnqn=nqn.2014-08.org.nvmexpress:uuid: 4c4c4544-0035-5910-804b-c2c04f444d33 iopolicy=round-robin \ +- nvme5 tcp traddr=192.168.166.7,trsvcid=4420,host_traddr=192.168.166.6,src_addr=192.168.166.6 live +- nvme4 tcp traddr=192.168.166.8,trsvcid=4420,host_traddr=192.168.166.6,src_addr=192.168.166.6 live +- nvme2 tcp traddr=192.168.167.7,trsvcid=4420,host_traddr=192.168.167.6,src_addr=192.168.167.6 live +- nvme1 tcp traddr=192.168.167.8,trsvcid=4420,host_traddr=192.168.167.6,src_addr=192.168.167.6 live
-
验证NetApp插件是否为每个ONTAP 命名空间设备显示正确的值:
列# nvme netapp ontapdevices -o column
示例输出:
Device Vserver Namespace Path ----------------------- ------------------------------ /dev/nvme0n1 vs_tcp /vol/vol1/ns1 NSID UUID Size ------------------------------------------------------------ 1 6fcb8ea0-dc1e-4933-b798-8a62a626cb7f 21.47GB
JSON# nvme netapp ontapdevices -o json
示例输出
{ "ONTAPdevices" : [ { "Device" : "/dev/nvme1n1", "Vserver" : "linux_tcnvme_iscsi", "Namespace_Path" : "/vol/tcpnvme_1_0_0/tcpnvme_ns", "NSID" : 1, "UUID" : "1a42c652-1450-4a29-886a-b4ccc23e637d", "Size" : "21.47GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 5242880 }, ] }
已知问题
对于采用ONTAP版本的RHEL 9.4的NVMe-oF主机配置、没有已知问题。