简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

在主机端设置基于 RoCE 的 NVMe

RoCE 环境中的 NVMe 启动程序配置包括安装和配置 RDMA-core 和 NVMe-CLI 软件包,配置启动程序 IP 地址以及在主机上设置 NVMe-oF 层。

您必须运行 RHEL 7 , RHEL 8 以及最新兼容的 SUSE Linux Enterprise Server 12 和 15 Service Pack 操作系统。请参见 "NetApp 互操作性表工具" 有关最新要求的完整列表。

步骤
  1. 安装 RDMA 和 NVMe-CLI 软件包:

    • SLES 12 或 SLES 15*

      # zypper install rdma-core
      # zypper install nvme-cli
    • RHEL 7 或 RHEL 8*

    # yum install rdma-core
    # yum install nvme-cli
  2. 在用于通过 RoCE 连接 NVMe 的以太网端口上设置 IPv4 IP 地址。对于每个网络接口,创建一个配置脚本,其中包含该接口的不同变量。

    此步骤中使用的变量基于服务器硬件和网络环境。这些变量包括 IPADDR网关 。以下是适用于 SLES 和 RHEL 的示例说明:

    • SLES 12 和 SLES 15*

      • 按如下所示创建示例文件 ` /etc/sysconfig/network/ifcfg-eth4` :

        BOOTPROTO='static'
           BROADCAST=
           ETHTOOL_OPTIONS=
           IPADDR='192.168.1.87/24'
           GATEWAY='192.168.1.1'
           MTU=
           NAME='MT27800 Family [ConnectX-5]'
           NETWORK=
           REMOTE_IPADDR=
           STARTMODE='auto'
      • 按如下所示创建文件 ` /etc/sysconfig/network/ifcfg-eth5` :

        BOOTPROTO='static'
           BROADCAST=
           ETHTOOL_OPTIONS=
           IPADDR='192.168.2.87/24'
           GATEWAY='192.168.2.1'
           MTU=
           NAME='MT27800 Family [ConnectX-5]'
           NETWORK=
           REMOTE_IPADDR=
           STARTMODE='auto'
    • RHEL 7 和 RHEL 8*

      • 按如下所示创建示例文件 ` /etc/sysconfig/network-scripts/ifcfg-eth4` :

        BOOTPROTO='static'
          BROADCAST=
          ETHTOOL_OPTIONS=
          IPADDR='192.168.1.87/24’
          GATEWAY='192.168.1.1'
          MTU=
          NAME='MT27800 Family [ConnectX-5]'
          NETWORK=
          REMOTE_IPADDR=
          STARTMODE='auto'
      • 按如下所示创建文件 ` /etc/sysconfig/network-scripts/ifcfg-eth5` :

        BOOTPROTO='static'
           BROADCAST=
           ETHTOOL_OPTIONS=
           IPADDR='192.168.2.87/24'
           GATEWAY='192.168.2.1'
           MTU=
           NAME='MT27800 Family [ConnectX-5]'
           NETWORK=
           REMOTE_IPADDR=
           STARTMODE='auto'
  3. 启用网络接口:

    # ifup eth4
    # ifup eth5
  4. 在主机上设置 NVMe-oF 层。

    1. 在 ` /etc/moduls-load.d/` 下创建以下文件,以加载 NVMe-RDMA 内核模块,并确保内核模块始终处于打开状态,即使在重新启动后也是如此:

      # cat /etc/modules-load.d/nvme-rdma.conf
        nvme-rdma

      要验证是否已加载 NVMe-RDMA 内核模块,请运行以下命令:

    # lsmod | grep nvme
    nvme_rdma              36864  0
    nvme_fabrics           24576  1 nvme_rdma
    nvme_core             114688  5 nvme_rdma,nvme_fabrics
    rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
    ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
    t10_pi                 16384  2 sd_mod,nvme_core