日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ホスト側で NVMe over InfiniBand を設定します

InfiniBand 環境で NVMe イニシエータを設定するには、 InfiniBand パッケージ、 nvme-CLI パッケージ、および RDMA パッケージをインストールして設定し、イニシエータの IP アドレスを設定し、ホストで NVMe-oF レイヤを設定します。

互換性のある最新の RHEL 7 、 RHEL 8 、 SUSE Linux Enterprise Server 12 または 15 サービスパックオペレーティングシステムが実行されている必要があります。を参照してください "NetApp Interoperability Matrix Tool で確認できます" をクリックして、最新の要件を確認してください。

手順
  1. RDMA 、 nvme-CLI 、および InfiniBand パッケージをインストールします。

    • SLES 12 または SLES 15 *

      # zypper install infiniband-diags
      # zypper install rdma-core
      # zypper install nvme-cli
    • RHEL 7 または RHEL 8*

    # yum install infiniband-diags
    # yum install rdma-core
    # yum install nvme-cli
  2. IPoIB' を有効にします/etc/rdma/rdma.conf ファイルを編集し、「 IPoIB 」をロードするエントリを変更します。

    IPOIB_LOAD=yes
  3. ホストのNQNを取得します。アレイに対してホストを設定する際に使用します。

    # cat /etc/nvme/hostnqn
  4. IB ポートリンクがどちらも稼働しており、かつ State が Active であることを確認します。

    # ibstat
    CA 'mlx4_0'
            CA type: MT4099
            Number of ports: 2
            Firmware version: 2.40.7000
            Hardware version: 1
            Node GUID: 0x0002c90300317850
            System image GUID: 0x0002c90300317853
            Port 1:
                    State: Active
                    Physical state: LinkUp
                    Rate: 40
                    Base lid: 4
                    LMC: 0
                    SM lid: 4
                    Capability mask: 0x0259486a
                    Port GUID: 0x0002c90300317851
                    Link layer: InfiniBand
            Port 2:
                    State: Active
                    Physical state: LinkUp
                    Rate: 56
                    Base lid: 5
                    LMC: 0
                    SM lid: 4
                    Capability mask: 0x0259486a
                    Port GUID: 0x0002c90300317852
                    Link layer: InfiniBand
  5. IB ポートに IPv4 IP アドレスを設定します。

    • SLES 12 または SLES 15 *

      /etc/sysconfig/network/ifcfg-ib0 ファイルを次の内容で作成します。

      BOOTPROTO='static'
      BROADCAST=
      ETHTOOL_OPTIONS=
      IPADDR='10.10.10.100/24'
      IPOIB_MODE='connected'
      MTU='65520'
      NAME=
      NETWORK=
      REMOTE_IPADDR=
      STARTMODE='auto'

      次に、/etc/sysconfig/network/ifcfg-ib1ファイルを作成します。

      BOOTPROTO='static'
      BROADCAST=
      ETHTOOL_OPTIONS=
      IPADDR='11.11.11.100/24'
      IPOIB_MODE='connected'
      MTU='65520'
      NAME=
      NETWORK=
      REMOTE_IPADDR=
      STARTMODE='auto'
    • RHEL 7 または RHEL 8*

      /etc/sysconfig/network-scripts/ifcfg-ib0 ファイルを次の内容で作成します。

      CONNECTED_MODE=no
      TYPE=InfiniBand
      PROXY_METHOD=none
      BROWSER_ONLY=no
      BOOTPROTO=static
      IPADDR='10.10.10.100/24'
      DEFROUTE=no
      IPV4=FAILURE_FATAL=yes
      IPV6INIT=no
      NAME=ib0
      ONBOOT=yes

      次に、 /etc/sysconfig/network-scripts/ifcfg-ib1 ファイルを作成します。

    CONNECTED_MODE=no
    TYPE=InfiniBand
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=static
    IPADDR='11.11.11.100/24'
    DEFROUTE=no
    IPV4=FAILURE_FATAL=yes
    IPV6INIT=no
    NAME=ib1
    ONBOOT=yes
  6. 「 ib 」インターフェイスを有効にします。

    # ifup ib0
    # ifup ib1
  7. アレイへの接続に使用する IP アドレスを確認します。「 ib0 」と「 ib1 」の両方に対してこのコマンドを実行します。

    # ip addr show ib0
    # ip addr show ib1

    次の例に示すように 'ib0' の IP アドレスは 10.10.10.255' です

    10: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc pfifo_fast state UP group default qlen 256
        link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:51 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
        inet 10.10.10.255 brd 10.10.10.255 scope global ib0
           valid_lft forever preferred_lft forever
        inet6 fe80::202:c903:31:7851/64 scope link
           valid_lft forever preferred_lft forever

    次の例に示すように 'ib1' の IP アドレスは '11.11.11.255' です

    10: ib1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc pfifo_fast state UP group default qlen 256
        link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:51 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
        inet 11.11.11.255 brd 11.11.11.255 scope global ib0
           valid_lft forever preferred_lft forever
        inet6 fe80::202:c903:31:7851/64 scope link
           valid_lft forever preferred_lft forever
  8. ホストで NVMe-oF レイヤを設定します。/etc/modules-load.d/ の下に次のファイルを作成して 'nvme-rdma' カーネルモジュールをロードし ' 再起動後もカーネルモジュールが常にオンになるようにします

    # cat /etc/modules-load.d/nvme-rdma.conf
      nvme-rdma

    「 nvme-rdma 」カーネルモジュールがロードされていることを確認するには、次のコマンドを実行します。

    # lsmod | grep nvme
    nvme_rdma              36864  0
    nvme_fabrics           24576  1 nvme_rdma
    nvme_core             114688  5 nvme_rdma,nvme_fabrics
    rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
    ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
    t10_pi                 16384  2 sd_mod,nvme_core