ONTAP を搭載した SUSE Linux Enterprise Server 15 SP3 用 NVMe-oF ホスト構成
変更を提案
PDF
SUSE Linux Enterprise Server 15 SP3 with ANA（Asymmetric Namespace Access）では、NVMe over FabricsまたはNVMe-oF（NVMe/FCおよびその他のトランスポートを含む）がサポートされます。ANAはNVMe-oF環境におけるALUAに相当し、現在はカーネル内NVMeマルチパスで実装されています。この手順を使用すると、SUSE Linux Enterprise Server 15 SP3およびONTAP上のANAをターゲットとして使用して、カーネル内NVMeマルチパスでNVMe-oFを有効にすることができます。
を参照してください "NetApp Interoperability Matrix を参照してください" サポートされている構成に関する正確な情報については、を参照
の機能
-
SUSE Linux Enterprise Server 15 SP3は、NVMe/FCおよびその他のトランスポートをサポートしています。
-
sanlun にも対応していません。そのため、SUSE Linux Enterprise Server 15 SP3ではNuhuはNVMe-oFをサポートしていません。NVMe-oFの標準のNVMe-CLIパッケージに含まれているNetAppプラグインを利用できます。すべてのNVMe-oF転送がサポートされている必要があります。
-
NVMe と SCSI の両方のトラフィックを、同じ新規のホストで実行することができます。実際、これは、お客様に一般的に導入されるホスト構成であると想定されています。したがって、 SCSI の場合、 SCSI LUN では「 d-mmultipath 」を通常どおりに設定しても mpath デバイスになることがありますが、 NVMe マルチパスを使用してホスト上で NVMe-oF マルチパスデバイスを設定することもできます。
既知の制限
NVMe-oFプロトコルを使用したSANブートは現在サポートされていません。
カーネル内の NVMe マルチパスを有効にします
SUSE Linux Enterprise Server 15 SP3などのSUSE Linux Enterprise Serverホストでは、カーネル内NVMeマルチパスがすでにデフォルトで有効になっています。そのため、ここでは追加の設定は必要ありません。サポートされている構成の詳細については、を参照してください"NetApp Interoperability Matrix を参照してください"。
NVMe-oF イニシエータパッケージ
を参照してください "NetApp Interoperability Matrix を参照してください" サポートされている構成に関する正確な情報については、を参照
-
必要なカーネルおよびnvme-cli MUパッケージがSUSE Linux Enterprise Server 15 SP3 MUホストにインストールされていることを確認します。
例
# uname -r 5.3.18-59.5-default # rpm -qa|grep nvme-cli nvme-cli-1.13-3.3.1.x86_64
上記の nvme-cli MU パッケージには、次のものが含まれています。
-
* NVMe/FC 自動接続スクリプト * - ネームスペースへの基盤となるパスがリストアされた場合やホストのリブート中に NVMe/FC 自動接続（再接続）で必要：
# rpm -ql nvme-cli-1.13-3.3.1.x86_64 /etc/nvme /etc/nvme/hostid /etc/nvme/hostnqn /usr/lib/systemd/system/nvmefc-boot-connections.service /usr/lib/systemd/system/nvmefc-connect.target /usr/lib/systemd/system/nvmefc-connect@.service ...
-
* 環境 udev ルール * - 新しい udev ルールで、 NVMe マルチパスラウンドロビンロードバランサのデフォルト ONTAP All ONTAP ネームスペースを確保する。
# rpm -ql nvme-cli-1.13-3.3.1.x86_64 /etc/nvme /etc/nvme/hostid /etc/nvme/hostnqn /usr/lib/systemd/system/nvmefc-boot-connections.service /usr/lib/systemd/system/nvmf-autoconnect.service /usr/lib/systemd/system/nvmf-connect.target /usr/lib/systemd/system/nvmf-connect@.service /usr/lib/udev/rules.d/70-nvmf-autoconnect.rules /usr/lib/udev/rules.d/71-nvmf-iopolicy-netapp.rules ... # cat /usr/lib/udev/rules.d/71-nvmf-iopolicy-netapp.rules # Enable round-robin for NetApp ONTAP and NetApp E-Series ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin" ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{model}=="NetApp E-Series", ATTR{iopolicy}="round-robin" -
* ONTAP デバイス用ネットアッププラグイン * - ONTAP ネームスペースも処理できるように、既存のネットアッププラグインが変更されました。
-
-
ホストの /etc/nvme/hostnqn' で hostnqn 文字列を確認し、 ONTAP アレイの対応するサブシステムの hostnqn 文字列と適切に一致していることを確認します。例：
# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:3ca559e1-5588-4fc4-b7d6-5ccfb0b9f054 ::> vserver nvme subsystem host show -vserver vs_fcnvme_145 Vserver Subsystem Host NQN ------- --------- ---------------------------------- vs_nvme_145 nvme_145_1 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_2 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_3 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_4 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_5 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f 5 entries were displayed.ホストで使用している FC アダプタに応じて、次の手順を実行します。
NVMe/FC を設定
Broadcom / Emulex
-
推奨されるアダプタとファームウェアのバージョンが揃っていることを確認します。例：
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2 # cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter # cat /sys/class/scsi_host/host*/fwrev 12.8.340.8, sli-4:2:c 12.8.840.8, sli-4:2:c
-
新しい lpfc ドライバ（インボックスとアウトボックスの両方）には 'lpfc_enable_fc4_type デフォルトが 3 に設定されていますしたがって '/etc/modprobe.d/lpfc.conf でこれを明示的に設定しなくても 'initrd' を再作成できますlpfc nvme のサポートは ' デフォルトですでに有効になっています
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
既存のネイティブインボックス lpfc ドライバは、 NVMe / FC に対応した最新のバージョンです。そのため、 lpfc OOB ドライバをインストールする必要はありません。
# cat /sys/module/lpfc/version 0:12.8.0.10
-
-
イニシエータポートが動作していることを確認します。
# cat /sys/class/fc_host/host*/port_name 0x100000109b579d5e 0x100000109b579d5f # cat /sys/class/fc_host/host*/port_state Online Online
-
NVMe/FCイニシエータポートが有効になっていること、ターゲットポートが表示されていること、およびすべてのポートが稼働していることを確認します。+次の例では、イニシエータポートが1つだけ有効になっており、2つのターゲットLIFで接続されています。
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b579d5e WWNN x200000109b579d5e DID x011c00 ONLINE NVME RPORT WWPN x208400a098dfdd91 WWNN x208100a098dfdd91 DID x011503 TARGET DISCSRVC ONLINE NVME RPORT WWPN x208500a098dfdd91 WWNN x208100a098dfdd91 DID x010003 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000e49 Cmpl 0000000e49 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000003ceb594f Issue 000000003ce65dbe OutIO fffffffffffb046f abort 00000bd2 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 000014f4 Err 00012abd NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b579d5f WWNN x200000109b579d5f DID x011b00 ONLINE NVME RPORT WWPN x208300a098dfdd91 WWNN x208100a098dfdd91 DID x010c03 TARGET DISCSRVC ONLINE NVME RPORT WWPN x208200a098dfdd91 WWNN x208100a098dfdd91 DID x012a03 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000e50 Cmpl 0000000e50 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000003c9859ca Issue 000000003c93515e OutIO fffffffffffaf794 abort 00000b73 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 0000159d Err 000135c3
-
ホストをリブートします。
1MB I/O サイズを有効にする（オプション）
ONTAP は Identify コントローラデータに MDT （ MAX Data 転送サイズ） 8 を報告します。つまり、最大 I/O 要求サイズは最大 1 MB でなければなりません。ただし 'Broadcom NVMe/FC ホストのサイズが 1 MB の問題 I/O 要求の場合 'lpfc パラメータ 'lpfc_sg_seg_cnt' もデフォルト値の 64 から 256 までバンピングする必要があります次の手順を使用して実行します。
-
それぞれの「 m odprobe lpfc.conf 」ファイルに値 256 を追加します。
# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
コマンドを実行し
dracut -f、ホストをリブートします。 -
再起動後、対応する sysfs 値を確認して、上記の設定が適用されていることを確認します。
# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
これで、 Broadcom NVMe/FC ホストは ONTAP ネームスペースデバイスに 1MB の I/O 要求を送信できるようになります。
Marvell/QLogic
新しいSUSE Linux Enterprise Server 15 SP3 MUカーネルに含まれているネイティブの受信トレイqla2xxxドライバには、最新のアップストリーム修正が適用されています。これらの修正は、ONTAPのサポートに不可欠です。
-
サポートされているアダプタドライバとファームウェアのバージョンが実行されていることを確認します。次に例を示します。
# cat /sys/class/fc_host/host*/symbolic_name QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k
-
Marvell アダプタが NVMe/FC イニシエータとして機能できるように、「 ql2xnvmeenable 」が設定されていることを確認します。
# cat /sys/module/qla2xxx /parameters/ql2xnvmeenable 1
NVMe/FC を設定
NVMe/FC とは異なり、 NVMe/FC は自動接続機能を備えていません。これにより、 Linux NVMe/FC ホストには次の 2 つの大きな制限があります。
-
* パスが復活した後の自動再接続は行われない * NVMe/TCP は、パスダウン後 10 分間のデフォルトの「 Ctrl-loss -TTMO 」タイマーを超えて復活したパスに自動的に再接続することはできません。
-
* ホストの起動時に自動接続が行われない * ホストの起動時に NVMe/FC が自動的に接続されることもありません。
タイムアウトを防ぐには、フェイルオーバーイベントの再試行期間を30分以上に設定する必要があります。Ctrl_loss _TMOタイマーの値を大きくすると、再試行期間を延長できます。詳細は次のとおりです。
-
サポートされている NVMe/FC LIF の検出ログページデータをイニシエータポートが読み込めたかどうかを確認します。
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51 Discovery Log Number of Records 10, Generation counter 119 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.2.56 sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 1 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.1.51 sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2 traddr: 192.168.2.56 sectype: none ...
-
他の NVMe/FC イニシエータターゲット LIF のコンボファイルが検出ログページデータを正常に取得できることを確認します。例：
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57
-
を実行します
nvme connect-allノード間でサポートされるすべてのNVMe/FCイニシエータターゲットLIFに対して実行するコマンド。設定時間が長いことを確認してくださいctrl_loss_tmoタイマー再試行期間（30分など、から設定できます）-l 1800）connect-all中に、パス損失が発生した場合に長期間再試行されるようにします。例：# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800 # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800
NVMe-oF を検証します
-
次のチェックボックスをオンにして、カーネル内の NVMe マルチパスが実際に有効になっていることを確認
# cat /sys/module/nvme_core/parameters/multipath Y
-
各 ONTAP ネームスペースの適切な NVMe-oF 設定（「 NetApp ONTAP Controller 」に設定された「 model 」や「 loadbalancing iopolicy 」が「ラウンドロビン」に設定されているなど）がホストに正しく反映されていることを確認します。
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
ONTAP ネームスペースがホストに正しく反映されていることを確認します。例：
# nvme list Node SN Model Namespace ------------ --------------------- --------------------------------- /dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB NetApp ONTAP Controller 1 Usage Format FW Rev ------------------- ----------- -------- 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
別の例：
# nvme list Node SN Model Namespace ------------ --------------------- --------------------------------- /dev/nvme0n1 81CYrBQuTHQFAAAAAAAC NetApp ONTAP Controller 1 Usage Format FW Rev ------------------- ----------- -------- 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
-
各パスのコントローラの状態がライブで、適切な ANA ステータスであることを確認します。例：
# nvme list-subsys /dev/nvme1n1 nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.04ba0732530911ea8e8300a098dfdd91:subsystem.nvme_145_1 \ +- nvme2 fc traddr=nn-0x208100a098dfdd91:pn-0x208200a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live non-optimized +- nvme3 fc traddr=nn-0x208100a098dfdd91:pn-0x208500a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live non-optimized +- nvme4 fc traddr=nn-0x208100a098dfdd91:pn-0x208400a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live optimized +- nvme6 fc traddr=nn-0x208100a098dfdd91:pn-0x208300a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live optimized
別の例：
#nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.37ba7d9cbfba11eba35dd039ea165514:subsystem.nvme_114_tcp_1 \ +- nvme0 tcp traddr=192.168.2.36 trsvcid=4420 host_traddr=192.168.1.4 live optimized +- nvme1 tcp traddr=192.168.1.31 trsvcid=4420 host_traddr=192.168.1.4 live optimized +- nvme10 tcp traddr=192.168.2.37 trsvcid=4420 host_traddr=192.168.1.4 live non-optimized +- nvme11 tcp traddr=192.168.1.32 trsvcid=4420 host_traddr=192.168.1.4 live non-optimized +- nvme20 tcp traddr=192.168.2.36 trsvcid=4420 host_traddr=192.168.2.5 live optimized +- nvme21 tcp traddr=192.168.1.31 trsvcid=4420 host_traddr=192.168.2.5 live optimized +- nvme30 tcp traddr=192.168.2.37 trsvcid=4420 host_traddr=192.168.2.5 live non-optimized +- nvme31 tcp traddr=192.168.1.32 trsvcid=4420 host_traddr=192.168.2.5 live non-optimized
-
ネットアッププラグインに ONTAP ネームスペースデバイスごとに適切な値が表示されていることを確認します。例：
# nvme netapp ontapdevices -o column Device Vserver Namespace Path --------- ------- -------------------------------------------------- /dev/nvme1n1 vserver_fcnvme_145 /vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns NSID UUID Size ---- ------------------------------ ------ 1 23766b68-e261-444e-b378-2e84dbe0e5e1 85.90GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme1n1", "Vserver" : "vserver_fcnvme_145", "Namespace_Path" : "/vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns", "NSID" : 1, "UUID" : "23766b68-e261-444e-b378-2e84dbe0e5e1", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 } ] }別の例：
# nvme netapp ontapdevices -o column Device Vserver Namespace Path --------- ------- -------------------------------------------------- /dev/nvme0n1 vs_tcp_114 /vol/tcpnvme_114_1_0_1/tcpnvme_114_ns NSID UUID Size ---- ------------------------------ ------ 1 a6aee036-e12f-4b07-8e79-4d38a9165686 85.90GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_tcp_114", "Namespace_Path" : "/vol/tcpnvme_114_1_0_1/tcpnvme_114_ns", "NSID" : 1, "UUID" : "a6aee036-e12f-4b07-8e79-4d38a9165686", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 } ] }
既知の問題
既知の問題はありません。