从主机访问 E-Series 目标的 NVMe 卷 - Linux(NVMe over RoCE)
您可以根据所使用的操作系统(以及扩展多路径方法)配置定向到设备目标的 I/O 。
对于 RHEL 9、RHEL 10、SLES 15 和 SLES 16,本机 NVMe 多路径解决方案管理主机显示的单个明显 NVMe 设备的物理路径。因此,我们将 I/O 直接定向到主机的 NVMe 设备,而不是基于 SCSI 的设备映射器多路径 (DMMP) 等多路径设备。NVMe 设备位置的详细信息如下。
NVMe 设备是 I/O 目标
-
输入以下命令以查找从 E-Series 阵列映射到此主机的卷。
以下命令提供主机上的低级 NVMe 设备位置、设备映射到的阵列名称、Volume 名称、NSID、唯一 Volume ID、当前拥有的控制器和卷大小。
# nvme netapp smdevices /dev/nvme0n1, Array Name creG63-FN, Volume Name 1, NSID 1, Volume ID 00001b7f606ec75100a0980000ed289e, Controller B, 1.10TB /dev/nvme0n2, Array Name creG63-FN, Volume Name 2, NSID 2, Volume ID 0000128a6a0d045500a0980000ed27f4, Controller A, 536.87GB /dev/nvme0n3, Array Name creG63-FN, Volume Name 3, NSID 3, Volume ID 00001b81606ec75b00a0980000ed289e, Controller B, 536.87GB /dev/nvme0n4, Array Name creG63-FN, Volume Name 4, NSID 4, Volume ID 0000128c6a0d045700a0980000ed27f4, Controller A, 214.75GB
-
对 `/dev/disk/by-id/nvme-eui.[Volume ID#]`中的链接运行 I/O。
中的链接
/dev/disk/by-id/nvme-eui.[Volume ID#]`是确定性的,不会更改。避免使用低级别 NVMe 设备位置 `(/dev/nvme[subsys#]n[id#]),因为它可能会发生变化。可以使用以下命令找到这两个位置之间的链接:# ls /dev/disk/by-id/ -l lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.0000128a6a0d045500a0980000ed27f4 -> ../../nvme0n2 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.0000128c6a0d045700a0980000ed27f4 -> ../../nvme0n4 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.00001b7f606ec75100a0980000ed289e -> ../../nvme0n1 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.00001b81606ec75b00a0980000ed289e -> ../../nvme0n3
-
要查看 NVMe 设备的路径,请使用 `nvme list-subsys`命令。
I/O 运行到 `/dev/disk/by-id/nvme-eui.[uuid#]`将直接通过 `/dev/nvme[subsys#]n[id#]``传递,该解决方案使用 Native NVMe 多路径解决方案在其下方虚拟化所有路径。
# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:EF80.600a098000ed28cb0000000062b24855 hostnqn=nqn.2014-08.org.nvmexpress:uuid:5257c202-9d94-ea11-b761-00000000003c \ +- nvme0 tcp traddr=10.10.10.101,trsvcid=4420,src_addr=10.10.10.100 live non-optimized +- nvme1 tcp traddr=10.10.10.11,trsvcid=4420,src_addr=10.10.10.100 live non-optimized +- nvme2 tcp traddr=10.10.20.201,trsvcid=4420,src_addr=10.10.20.200 live optimized +- nvme3 tcp traddr=10.10.20.21,trsvcid=4420,src_addr=10.10.20.200 live optimized +- nvme4 tcp traddr=10.10.20.39,trsvcid=4420,src_addr=10.10.20.200 live non-optimized +- nvme5 tcp traddr=10.10.20.31,trsvcid=4420,src_addr=10.10.20.200 live non-optimized +- nvme6 tcp traddr=10.10.10.49,trsvcid=4420,src_addr=10.10.10.100 live optimized +- nvme7 tcp traddr=10.10.10.41,trsvcid=4420,src_addr=10.10.10.100 live optimized -
可选 - 要通过旧版 Device Mapper Multipath (DMMP) 命令查看本机故障转移的路径信息,请使用
multipath -ll命令。#multipath -ll
要通过传统 DMMP 命令查看路径信息,必须在 /etc/multipath.conf文件中设置以下内容:defaults { enable_foreign nvme }输出示例
eui.0000a0335c05d57a00a0980000a5229d [nvme]:nvme0n9 NVMe,Netapp E- Series,08520001 size=4194304 features='n/a' hwhandler='ANA' wp=rw |-+- policy='n/a' prio=50 status=optimized | `- 0:0:1 nvme0c0n1 0:0 n/a optimized live `-+- policy='n/a' prio-10 status=non-optimized `- 0:1:1 nvme0c1n1 0:0 n/a non-optimized live
此命令仅适用于 RHEL 9 或更早版本以及 SLES 16 或更早版本。
在 I/O 运行到 NVMe 设备时,"创建文件系统"。