ONTAPヲシヨウシタRHEL 8.2ノNVMe/FCホストノセツテイ
ONTAP 9.6以降では、Red Hat Enterprise Linux(RHEL)8.2でNVMe/FCがサポートされます。RHEL 8.2 ホストは、 NVMe トラフィックと SCSI トラフィックの両方を同じ Fibre Channel ( FC )イニシエータアダプタポートで実行します。サポートされるFCアダプタとコントローラの一覧については、を参照してください "Hardware Universe" 。
サポートされる構成の最新のリストについては、を参照してください"Interoperability Matrix Tool"。
の機能
-
RHEL 8.2以降では
nvme-fc auto-connect
、スクリプトが標準パッケージに含まれ `nvme-cli`ています。外部ベンダーが提供するアウトボックス自動接続スクリプトをインストールする代わりに、これらのネイティブ自動接続スクリプトを使用できます。 -
RHEL 8.2以降の標準
udev
ルールは、nvme-cli
NVMeマルチパスのラウンドロビンによるロードバランシングを可能にするパッケージ。( RHEL 8.1 の場合と同様に)これ以上このルールを手動で作成する必要はありません。 -
RHEL 8.2以降では、NVMeトラフィックとSCSIトラフィックの両方を同じホストで実行できます。実際、これは想定される導入済みホスト構成です。そのため、SCSIの場合はSCSI LUNを通常どおりに設定してデバイスを作成 `mpath`できます `dm-multipath`が、NVMeマルチパスを使用してホストでNVMe-oFマルチパスデバイスを設定できます。
-
RHEL 8.2以降の標準のNetAppプラグイン
nvme-cli
パッケージでは、ONTAPネームスペースのONTAPの詳細を表示できます。
既知の制限
-
RHEL 8.2では、カーネル内NVMeマルチパスはデフォルトで無効になっています。そのため、手動で有効にする必要があります。
-
NVMe-oFプロトコルを使用したSANブートは現在サポートされていません。
SANブートを有効にする
SANブートを使用するようにホストを設定することで、導入を簡易化し、拡張性を向上させることができます。
を使用"Interoperability Matrix Tool"して、Linux OS、ホストバスアダプタ(HBA)、HBAファームウェア、HBAブートBIOS、およびONTAPバージョンがSANブートをサポートしていることを確認します。
-
SAN ブート名前空間を作成し、それをホストにマップします。
を参照してください "NVMeストレージのプロビジョニング"
-
SAN ブート LUN がマッピングされているポートに対して、サーバ BIOS で SAN ブートを有効にします。
HBA BIOS を有効にする方法については、ベンダー固有のマニュアルを参照してください。
-
構成が正常に完了したことを確認するために、ホストをリブートし、OSが稼働していることを確認します。
NVMe/FC を有効にします
NVMe/FCを有効にするには、次の手順を使用します。
-
Red Hat Enterprise Linux 8.2 GA をサーバにインストールします。
-
を使用してRHEL 8.1からRHEL 8.2にアップグレードする場合
yum update/upgrade
、あなたの/etc/nvme/host*
ファイルが失われる可能性があります。ファイルが失われないようにするには、次の手順を実行します。-
/etc/nvme/host *' ファイルをバックアップします
-
手動で「 udev 」ルールを編集した場合は、削除します。
/lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules
-
アップグレードを実行する。
-
アップグレードが完了したら、次のコマンドを実行します。
yum remove nvme-cli
-
ホスト・ファイルを /etc/nvme/' にリストアします
yum install nvmecli
-
オリジナルの /etc/nvme/host * の内容をバックアップから /etc/nvme/' にある実際のホスト・ファイルにコピーします
-
-
インストールが完了したら、指定した Red Hat Enterprise Linux カーネルを実行していることを確認します。
# uname -r 4.18.0-193.el8.x86_64
サポートされているバージョンの最新のリストについては、を参照してください"Interoperability Matrix Tool"。
-
nvme-CLI パッケージをインストールします。
# rpm -qa|grep nvme-cli nvme-cli-1.9.5.el8.x86_64
-
カーネル内の NVMe マルチパスを有効にします。
# grubby –args=nvme_core.multipath=Y –update-kernel /boot/vmlinuz-4.18.0-193.el8.x86_64
-
RHEL 8.2ホストで、次の場所でホストのNQN文字列を確認します。
/etc/nvme/hostnqn
と、ONTAPアレイの対応するサブシステムのホストNQN文字列が一致していることを確認します。# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1 ::> vserver nvme subsystem host show -vserver vs_fcnvme_141 Vserver Subsystem Host NQN ----------- --------------- ----------- --------------- vs_fcnvme_141 nvme_141_1 nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
ホストのNQN文字列が一致しない場合は、
vserver modify
対応するONTAPアレイサブシステムのホストNQN文字列をホストNQN文字列と一致するように更新するコマンド/etc/nvme/hostnqn
ホスト。 -
ホストをリブートします。
-
'enable_foreign' Setting_( オプション )_ を更新します
同じRHEL 8.2ホストでNVMeトラフィックとSCSIトラフィックの両方を実行する場合はNetApp、ONTAPネームスペースにはカーネル内NVMeマルチパスを、ONTAP LUNにはdm-multipathをそれぞれ使用することを推奨します。dm-multipath で ONTAP ネームスペースをブラックリストに登録して、これらのネームスペースデバイスが dm-multipath で要求されないようにする必要もあります。これを行うには、次のように設定をに `/etc/multipath.conf`追加し `enable_foreign`ます。
# cat /etc/multipath.conf defaults { enable_foreign NONE }
-
multipathd デーモンを再起動するには、 'ystemctl restart multipathd を実行します。
Broadcom FC アダプタを NVMe/FC 用に設定します
Broadcom FCアダプタを設定するには、次の手順を使用します。
サポートされているアダプタの現在のリストについては、を参照してください"Interoperability Matrix Tool"。
-
サポートされているアダプタを使用していることを確認します。
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
lpfc_enable_fc4_type' が 3 に設定されていることを確認します
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
イニシエータポートが動作しており、ターゲット LIF を認識できることを確認してください。
# cat /sys/class/fc_host/host*/port_name 0x100000109b1c1204 0x100000109b1c1205
# cat /sys/class/fc_host/host*/port_state Online Online
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001e15 Err 0000d906 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001f50 Err 0000d9f8
-
1MB の I/O サイズを有効にします(オプション) _ 。
lpfcドライバが最大1MBのI/O要求を発行するには、 `lpfc_sg_seg_cnt`パラメータを256に設定する必要があります。
# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
コマンドを実行し
dracut -f
、ホストをリブートします。 -
ホストの起動後 'lpfc_sg_sg_cnt が 256 に設定されていることを確認します
# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
-
推奨される Broadcom lpfc ファームウェアと受信トレイドライバを使用していることを確認します。
# cat /sys/class/scsi_host/host*/fwrev 12.6.182.8, sli-4:2:c 12.6.182.8, sli-4:2:c
# cat /sys/module/lpfc/version 0:12.6.0.2
-
lpfc_enable_fc4_type' が 3 に設定されていることを確認します
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
イニシエータポートが動作しており、ターゲット LIF を認識できることを確認してください。
# cat /sys/class/fc_host/host*/port_name 0x100000109b1c1204 0x100000109b1c1205
# cat /sys/class/fc_host/host*/port_state Online Online
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001e15 Err 0000d906 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001f50 Err 0000d9f8
-
1MB の I/O サイズを有効にします(オプション) _ 。
lpfcドライバが最大1MBのI/O要求を発行するには、 `lpfc_sg_seg_cnt`パラメータを256に設定する必要があります。
# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
コマンドを実行し
dracut -f
、ホストをリブートします。 -
ホストの起動後 'lpfc_sg_sg_cnt が 256 に設定されていることを確認します
# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
NVMe/FC を検証
NVMe/FCの検証には、次の手順 を使用できます。
-
以下の NVMe/FC 設定を確認してください。
# cat /sys/module/nvme_core/parameters/multipath Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
ネームスペースが作成されたことを確認します。
# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ----------------------- /dev/nvme0n1 80BADBKnB/JvAAAAAAAC NetApp ONTAP Controller 1 53.69 GB / 53.69 GB 4 KiB + 0 B FFFFFFFF
-
ANA パスのステータスを確認します。
# nvme list-subsys/dev/nvme0n1 Nvme-subsysf0 – NQN=nqn.1992-08.com.netapp:sn.341541339b9511e8a9b500a098c80f09:subsystem.rhel_141_nvme_ss_10_0 \ +- nvme0 fc traddr=nn-0x202c00a098c80f09:pn-0x202d00a098c80f09 host_traddr=nn-0x20000090fae0ec61:pn-0x10000090fae0ec61 live optimized +- nvme1 fc traddr=nn-0x207300a098dfdd91:pn-0x207600a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x207300a098dfdd91:pn-0x207500a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x207300a098dfdd91:pn-0x207700a098dfdd91 host traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live inaccessible
-
ONTAP デバイス用ネットアッププラグインを確認します。
# nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID UUID Size ------- -------- ------------------------- ------ ----- ----- /dev/nvme0n1 vs_nvme_10 /vol/rhel_141_vol_10_0/rhel_141_ns_10_0 1 55baf453-f629-4a18-9364-b6aee3f50dad 53.69GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { Device" : "/dev/nvme0n1", "Vserver" : "vs_nvme_10", "Namespace_Path" : "/vol/rhel_141_vol_10_0/rhel_141_ns_10_0", "NSID" : 1, "UUID" : "55baf453-f629-4a18-9364-b6aee3f50dad", "Size" : "53.69GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 13107200 } ]