Skip to main content
E-Series storage systems
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

在 E 系列 - Linux 中的主機上透過 ROCE 設定 NVMe 啟動器

貢獻者 netapp-driley netapp-jsnyder netapp-jolieg NetAppZacharyWambold
PDF

RoCE環境中的NVMe啟動器組態包括安裝及設定RDMA核心和NVMe CLI套件、設定啟動器IP位址、以及在主機上設定NVMe層。

開始之前

您必須執行最新的相容 RHEL 9、RHEL 10、SLES 15 或 SLES 16 Service Pack 作業系統。請參閱 "NetApp 互通性對照表工具"以取得完整的最新需求清單。

步驟

  1. 安裝RDMA和NVMe-CLI套件：

    SLES 15 或 SLES 16

    # zypper install rdma-core
# zypper install nvme-cli

    RHEL 9 和 RHEL 10

    # yum install rdma-core
# yum install nvme-cli
註 如果您正在使用 NVIDIA HCA 並且希望使用外部 DOCA 驅動程式，請參閱"NVIDIA DOCA 說明文件"以取得有關如何在此環境中正確安裝它的資訊。

  1. 對於 RHEL 9，請安裝網路指令碼：

    • RHEL 9*

    # yum install NetworkManager-initscripts-updown

    +

    註 RHEL 10 不提供網路腳本。

  2. 取得用於將主機設定為陣列的主機NQN。

    # cat /etc/nvme/hostnqn

  3. 在乙太網路連接埠上設定用於透過RoCE連接NVMe的IPV4 IP位址。針對每個網路介面、建立包含該介面的不同變數的組態指令碼。

    此步驟所使用的變數取決於伺服器硬體和網路環境。這些變數包括「IPADDR」和「閘道」。以下是SLES和RHEL的範例指示：

    SLES 15

    建立包含以下內容的範例檔案 /etc/sysconfig/network/ifcfg-eth4，其中 MTU 設定為在不發生封包分片的情況下可以達到的最大值（通常為 9000）。

    BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.1.87/24'
GATEWAY='192.168.1.1'
MTU=9000
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    然後、建立範例檔案「etc/sysconfig/network/ifcfg/eth5」：

    BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.2.87/24'
GATEWAY='192.168.2.1'
MTU=9000
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    RHEL 9、RHEL 10 或 SLES 16

    使用 nmtui 用於啟動和編輯連線的工具。以下是範例檔案 /etc/NetworkManager/system-connections/eth4.nmconnection 此工具將產生：

    [connection]
id=eth4
uuid=<unique uuid>
type=ethernet
interface-name=eth4

[ethernet]
mtu=9000

[ipv4]
address1=192.168.1.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

    以下是範例檔案 /etc/NetworkManager/system-connections/eth5.nmconnection 此工具將產生：

    [connection]
id=eth5
uuid=<unique uuid>
type=ethernet
interface-name=eth5

[ethernet]
mtu=9000

[ipv4]
address1=192.168.2.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

  4. 啟用網路介面：

    # nmcli connection up eth4
# nmcli connection up eth5

  5. 在主機上設定NVMe層。在下列位置建立下列檔案 /etc/modules-load.d/ 載入 nvme_rdma 核心模組、並確保核心模組永遠開啟、即使在重新開機之後：

    # cat /etc/modules-load.d/nvme_rdma.conf
  nvme_rdma

  6. 重新啟動主機。

    1. 或者，您也可以在不重新啟動的情況下執行以下命令載入 nvme_rdma kernel：

      # modeprobe nvme_rdma

  7. 驗證 nvme_rdma 核心模組是否已載入，請執行此命令：

    # lsmod | grep nvme
nvme_rdma              36864  0
nvme_fabrics           24576  1 nvme_rdma
nvme_core             114688  5 nvme_rdma,nvme_fabrics
rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
t10_pi                 16384  2 sd_mod,nvme_core
    接下來呢？

    在主機上透過 RoCE 設定 NVMe 啟動器後，"設定 NVMe over RoCE 連接埠設定"。