RHEL 9.0およびONTAP向けのNVMe-oFホストの設定
変更を提案
PDF
NVMe-oF（NVMe/FCとNVMe/TCPを含む）は、ONTAP アレイでのストレージフェイルオーバー（SFO）の実行にANA（Asymmetric Namespace Access）が必要なRHEL 9.0でサポートされます。ANAは、NVM環境でも同じです。現在はカーネル内のNVMeマルチパスで実装されています。この手順を使用すると、RHEL 9.0およびONTAPのANAをターゲットとして使用して、カーネル内NVMeマルチパスでNVMe-oFを有効にすることができます。
サポートされる構成の詳細については、を参照してください "NetApp Interoperability Matrix Tool で確認できます"。
の機能
-
RHEL 9.0以降では、NVMe/TCPはテクノロジプレビュー機能ではなく（RHEL 8とは異なり）、エンタープライズ機能自体が完全にサポートされます。
-
RHEL 9.0以降では、NVMeネームスペースに対してカーネル内NVMeマルチパスがデフォルトで有効になり、明示的に設定する必要はありません（RHEL 8とは異なり）。
既知の制限
NVMe-oFプロトコルを使用したSANブートは現在サポートされていません。
カーネル内の NVMe マルチパスを有効にします
カーネル内NVMeマルチパスを有効にするには、次の手順を使用します。
-
サーバにRHEL 9.0をインストールします。
-
インストールが完了したら、指定したRHEL 9.0カーネルを実行していることを確認します。を参照してください "NetApp Interoperability Matrix を参照してください" サポートされるバージョンの最新のリストについては、を参照してください。
# uname -r 5.14.0-70.13.1.el9_0.x86_64
-
「nvme-cli」パッケージをインストールします。
# rpm -qa|grep nvme-cli nvme-cli-1.16-3.el9.x86_64
-
ホストで、 /etc/nvme/hostnqn に示されたホスト NQN 文字列を確認し、 ONTAP アレイの対応するサブシステムのホスト NQN 文字列に一致することを確認します。例：
# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
::> vserver nvme subsystem host show -vserver vs_fcnvme_141 Vserver Subsystem Host NQN ----------- --------------- ---------------------------------------------------------- vs_fcnvme_14 nvme_141_1 nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
ホストのNQN文字列が一致しない場合は、「vserver modify」コマンドを使用して、対応するONTAP サブシステム上のホストのNQN文字列を、ホストの「/etc/nvme/hostnqn」のホストNQN文字列と一致するように更新します。 -
ホストをリブートします。
NVMe/FC を設定
NVMe/FCはBroadcom/EmulexアダプタまたはMarvell/Qlogicアダプタに設定できます。
-
サポートされているアダプタを使用していることを確認します。サポートされているアダプタの詳細については、を参照してください。 "NetApp Interoperability Matrix Tool で確認できます"。
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
推奨される Broadcom lpfc ファームウェアとインボックスドライバを使用していることを確認します。サポートされているアダプタドライバとファームウェアのバージョンの最新リストについては、を参照してください "NetApp Interoperability Matrix を参照してください"。
# cat /sys/class/scsi_host/host*/fwrev 12.8.351.47, sli-4:2:c 12.8.351.47, sli-4:2:c
# cat /sys/module/lpfc/version 0:14.0.0.4
-
lpfc_enable_fc4_type'が'3'に設定されていることを確認します
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
イニシエータポートが起動して実行中であること、およびターゲット LIF が表示されていることを確認してください。
# cat /sys/class/fc_host/host*/port_name 0x100000109b1c1204 0x100000109b1c1205
# cat /sys/class/fc_host/host*/port_state Online Online
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001e15 Err 0000d906 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001f50 Err 0000d9f8
RHEL 9.0カーネルに含まれている標準の受信トレイqla2xxxドライバには、最新の修正が加えられています。これらの修正は、ONTAPのサポートに不可欠です。
-
サポートされているアダプタドライバとファームウェアのバージョンが実行されていることを確認します。
# cat /sys/class/fc_host/host*/symbolic_name QLE2742 FW:v9.06.02 DVR:v10.02.00.200-k QLE2742 FW:v9.06.02 DVR:v10.02.00.200-k
-
Marvell アダプタが NVMe/FC イニシエータとして機能できるように、「 ql2xnvmeenable 」が設定されていることを確認します。
# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
1MB I/Oを有効にする（オプション）
ONTAPは、Identify ControllerデータでMDT（MAX Data転送サイズ）が8であると報告します。つまり、最大I/O要求サイズは1MBです。Broadcom NVMe/FCホストにサイズ1MBのI/O要求を実行するには、パラメータの値を lpfc_sg_seg_cnt`デフォルト値の64から256に増やす必要があります `lpfc。
|
|
この手順は、Qlogic NVMe/FCホストには適用されません。 |
-
`lpfc_sg_seg_cnt`パラメータを256に設定します。
cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
コマンドを実行し
dracut -f、ホストをリブートします。 -
の想定値が256であることを確認し `lpfc_sg_seg_cnt`ます。
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
NVMe/FC を設定
NVMe/TCPには自動接続機能はありません。そのため、パスがダウンしてデフォルトのタイムアウト（10分）内に復元されないと、NVMe/TCPは自動的に再接続できません。タイムアウトを回避するには、フェイルオーバーイベントの再試行期間を30分以上に設定する必要があります。
-
イニシエータポートが、サポートされているNVMe/FC LIF経由で検出ログページデータを読み込めたかどうかを確認します。
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51 Discovery Log Number of Records 10, Generation counter 119 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.2.56 sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 1 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.1.51 sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2 traddr: 192.168.2.56 sectype: none ...
-
同様に、もう一方のNVMe/FCイニシエータターゲットLIFのコンボファイルが検出ログページのデータを正常に取得できることを確認します。例：
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51 # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57
-
を実行します
nvme connect-allノード間でサポートされるすべてのNVMe/FCイニシエータターゲットLIFに対して実行するコマンド。設定時間が長いことを確認してくださいctrl_loss_tmoタイマー再試行期間（30分など、から設定できます）-l 1800）connect-all中に、パス損失が発生した場合に長期間再試行されるようにします。例：# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800 # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800
NVMe-oF を検証します
NVMe-oFの検証には、次の手順を使用できます。
-
次のチェックボックスをオンにして、カーネル内の NVMe マルチパスが実際に有効になっていることを確認
# cat /sys/module/nvme_core/parameters/multipath Y
-
各ONTAP ネームスペースの適切なNVMf設定（たとえば、「NetApp ONTAP Controller」に設定されたモデルとロードバランシング「iopolicy」を「ラウンドロビン」に設定）がホストに正しく反映されていることを確認します。
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
ONTAP ネームスペースがホストに正しく反映されていることを確認します。
例（A）：
# nvme list Node SN Model Namespace Usage ------ --------------------------------------- ------------------------ /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller 1 85.90 GB / 85.90 GB Format FW Rev --------------------- 4 KiB + 0 B FFFFFFFF
例（b）：
# nvme list Node SN Model Namespace Usage ---------------------------------------------------- ------------------------------------ /dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB NetApp ONTAP Controller 1 85.90 GB / 85.90 GB Format FW Rev ----------------------- 4 KiB + 0 B FFFFFFFF
-
各パスのコントローラの状態がライブであり、適切なANAステータスであることを確認します。
例（A）：
# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_141_1 \ +- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
例（b）：
# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 \ +- nvme0 tcp traddr=192.168.1.51 trsvcid=4420 host_traddr=192.168.1.8 live optimized +- nvme10 tcp traddr=192.168.2.56 trsvcid=4420 host_traddr=192.168.2.9 live optimized +- nvme15 tcp traddr=192.168.2.57 trsvcid=4420 host_traddr=192.168.2.9 live non-optimized +- nvme5 tcp traddr=192.168.1.52 trsvcid=4420 host_traddr=192.168.1.8 live non-optimized
-
ネットアッププラグインに ONTAP ネームスペースデバイスごとに適切な値が表示されていることを確認します。
例（A）：
# nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID ----------------------- ------------------------------ ------------------------- /dev/nvme0n1 vs_fcnvme_141 /vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns 1 UUID Size -------------------------------------------- 72b887b1-5fb6-47b8-be0b-33326e2542e2 85.90GB
# nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_fcnvme_141", "Namespace_Path" : "/vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns", "NSID" : 1, "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 } ] }例（b）：
# nvme netapp ontapdevices -o column Device Vserver Namespace Path --------------------- ------------------------- ------------------------------------ /dev/nvme0n1 vs_tcp_118 /vol/tcpnvme_118_1_0_0/tcpnvme_118_ns NSID UUID Size ------------------------------------------------- 1 4a3e89de-b239-45d8-be0c-b81f6418283c 85.90GB
# nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_tcp_118", "Namespace_Path" : "/vol/tcpnvme_118_1_0_0/tcpnvme_118_ns", "NSID" : 1, "UUID" : "4a3e89de-b239-45d8-be0c-b81f6418283c", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, ] }
既知の問題
ONTAPを使用したRHEL 9.0のNVMe-oFホスト設定には、次の既知の問題があります。
| NetApp バグ ID | タイトル | 説明 |
|---|---|---|
RHEL 9.0 NVMe-oFホストは、重複するPersistent Discovery Controllerを作成します |
NVMe over Fabrics（NVMe-oF）ホストでは、「nvme discover -p」コマンドを使用して、Persistent Discovery Controller（PDC；永続的検出コントローラ）を作成できます。このコマンドを使用する場合は、イニシエータとターゲットの組み合わせごとにPDCを1つだけ作成する必要があります。ただし、NVMe-oFホストを使用してONTAP 9.10.1とRed Hat Enterprise Linux（RHEL）9.0を実行している場合は、「nvme discover -p」を実行するたびに重複するPDCが作成されます。これにより、ホストとターゲットの両方で不要なリソースの使用が発生します。 |