日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ホスト側で NVMe over InfiniBand を設定します

07/27/2023 共同作成者

InfiniBand 環境で NVMe イニシエータを設定するには、 InfiniBand パッケージ、 nvme-CLI パッケージ、および RDMA パッケージをインストールして設定し、イニシエータの IP アドレスを設定し、ホストで NVMe-oF レイヤを設定します。

作業を開始する前に

互換性のある最新のRHEL 7、RHEL 8、RHEL 9、SUSE Linux Enterprise Server 12または15サービスパックオペレーティングシステムが実行されている必要があります。を参照してください "NetApp Interoperability Matrix Tool で確認できます" をクリックして、最新の要件を確認してください。

手順

RDMA 、 nvme-CLI 、および InfiniBand パッケージをインストールします。

SLES 12 または SLES 15 *

# zypper install infiniband-diags
# zypper install rdma-core
# zypper install nvme-cli

RHEL 7、RHEL 8、またはRHEL 9*

# yum install infiniband-diags
# yum install rdma-core
# yum install nvme-cli

RHEL 8またはRHEL 9の場合は、ネットワークスクリプトをインストールします。
- RHEL 8 *
  # yum install network-scripts
- RHEL 9*
```
# yum install NetworkManager-initscripts-updown
```
RHEL 7の場合は、を有効にします ipoib。/etc/rdma/rdma.confファイルを編集し、をロードするためのエントリを変更する ipoib：
```
IPOIB_LOAD=yes
```
ホストのNQNを取得します。アレイに対してホストを設定する際に使用します。
```
# cat /etc/nvme/hostnqn
```

IBポートリンクが両方とも稼働しており、かつStateがActiveであることを確認します。

# ibstat

CA 'mlx4_0'
        CA type: MT4099
        Number of ports: 2
        Firmware version: 2.40.7000
        Hardware version: 1
        Node GUID: 0x0002c90300317850
        System image GUID: 0x0002c90300317853
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 40
                Base lid: 4
                LMC: 0
                SM lid: 4
                Capability mask: 0x0259486a
                Port GUID: 0x0002c90300317851
                Link layer: InfiniBand
        Port 2:
                State: Active
                Physical state: LinkUp
                Rate: 56
                Base lid: 5
                LMC: 0
                SM lid: 4
                Capability mask: 0x0259486a
                Port GUID: 0x0002c90300317852
                Link layer: InfiniBand

IB ポートに IPv4 IP アドレスを設定します。

SLES 12 または SLES 15 *

/etc/sysconfig/network/ifcfg-ib0 ファイルを次の内容で作成します。

BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='10.10.10.100/24'
IPOIB_MODE='connected'
MTU='65520'
NAME=
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

次に、/etc/sysconfig/network/ifcfg-ib1ファイルを作成します。

BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='11.11.11.100/24'
IPOIB_MODE='connected'
MTU='65520'
NAME=
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

RHEL 7 または RHEL 8*

/etc/sysconfig/network-scripts/ifcfg-ib0 ファイルを次の内容で作成します。

CONNECTED_MODE=no
TYPE=InfiniBand
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR='10.10.10.100/24'
DEFROUTE=no
IPV4=FAILURE_FATAL=yes
IPV6INIT=no
NAME=ib0
ONBOOT=yes

次に、 /etc/sysconfig/network-scripts/ifcfg-ib1 ファイルを作成します。

CONNECTED_MODE=no
TYPE=InfiniBand
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR='11.11.11.100/24'
DEFROUTE=no
IPV4=FAILURE_FATAL=yes
IPV6INIT=no
NAME=ib1
ONBOOT=yes

RHEL 9*

を使用します nmtui 接続を活動化および編集するためのツール。以下はサンプルファイルです /etc/NetworkManager/system-connections/ib0.nmconnection ツールは次のものを生成します。
```
[connection]
id=ib0
uuid=<unique uuid>
type=infiniband
interface-name=ib0

[infiniband]
mtu=4200

[ipv4]
address1=10.10.10.100/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]
```
以下はサンプルファイルです /etc/NetworkManager/system-connections/ib1.nmconnection ツールは次のものを生成します。

[connection]
id=ib1
uuid=<unique uuid>
type=infiniband
interface-name=ib1

[infiniband]
mtu=4200

[ipv4]
address1=11.11.11.100/24'
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

「 ib 」インターフェイスを有効にします。
```
# ifup ib0
# ifup ib1
```

アレイへの接続に使用する IP アドレスを確認します。「 ib0 」と「 ib1 」の両方に対してこのコマンドを実行します。

# ip addr show ib0
# ip addr show ib1

次の例に示すように 'ib0' の IP アドレスは 10.10.10.255' です

10: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc pfifo_fast state UP group default qlen 256
    link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:51 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
    inet 10.10.10.255 brd 10.10.10.255 scope global ib0
       valid_lft forever preferred_lft forever
    inet6 fe80::202:c903:31:7851/64 scope link
       valid_lft forever preferred_lft forever

次の例に示すように 'ib1' の IP アドレスは '11.11.11.255' です

10: ib1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc pfifo_fast state UP group default qlen 256
    link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:51 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
    inet 11.11.11.255 brd 11.11.11.255 scope global ib0
       valid_lft forever preferred_lft forever
    inet6 fe80::202:c903:31:7851/64 scope link
       valid_lft forever preferred_lft forever

ホストで NVMe-oF レイヤを設定します。/etc/modules-load.d/の下に次のファイルを作成して、 nvme_rdma カーネルモジュールと、再起動後もカーネルモジュールが常にオンになっていることを確認します。
```
# cat /etc/modules-load.d/nvme_rdma.conf
  nvme_rdma
```

ホストをリブートします。

を確認するには nvme_rdma カーネルモジュールがロードされました。次のコマンドを実行します。

# lsmod | grep nvme
nvme_rdma              36864  0
nvme_fabrics           24576  1 nvme_rdma
nvme_core             114688  5 nvme_rdma,nvme_fabrics
rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
t10_pi                 16384  2 sd_mod,nvme_core

ホスト側で NVMe over InfiniBand を設定します

Creating your file...