Skip to main content
E-Series Systems
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

在主機端設定NVMe over RoCE

貢獻者
PDF

RoCE環境中的NVMe啟動器組態包括安裝及設定RDMA核心和NVMe CLI套件、設定啟動器IP位址、以及在主機上設定NVMe層。

開始之前

您必須執行最新的相容RHEL 7、RHEL 8、RHEL 9、SUSE Linux Enterprise Server 12或15 Service Pack作業系統。請參閱 "NetApp 互通性對照表工具" 以取得最新需求的完整清單。

步驟

  1. 安裝RDMA和NVMe-CLI套件：

    • SLES 12或SLES 15*

      # zypper install rdma-core
# zypper install nvme-cli

    • RHEL 7、RHEL 8及RHEL 9*

    # yum install rdma-core
# yum install nvme-cli

  2. 對於RHEL 8和RHEL 9、請安裝網路指令碼：

    • RHEL 8*

      # yum install network-scripts

    • RHEL 9*

    # yum install NetworkManager-initscripts-updown

  3. 取得用於將主機設定為陣列的主機NQN。

    # cat /etc/nvme/hostnqn

  4. 在乙太網路連接埠上設定用於透過RoCE連接NVMe的IPV4 IP位址。針對每個網路介面、建立包含該介面的不同變數的組態指令碼。

    此步驟所使用的變數取決於伺服器硬體和網路環境。這些變數包括「IPADDR」和「閘道」。以下是SLES和RHEL的範例指示：

    • SLES 12與SLES 15*

      使用下列內容建立範例檔「etc/sysconfig/network/ifcfg/eth4」。

      BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.1.87/24'
GATEWAY='192.168.1.1'
MTU=
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

      然後、建立範例檔案「etc/sysconfig/network/ifcfg/eth5」：

      BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.2.87/24'
GATEWAY='192.168.2.1'
MTU=
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    • RHEL 7或RHEL 8*

      使用下列內容建立範例檔「etc/sysconfig/network-scripts/ifcfg/eth4」。

      BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.1.87/24’
GATEWAY='192.168.1.1'
MTU=
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

      然後、建立範例檔「etc/sysconfig/network-scripts/ifcfg/eth5」：

      BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.2.87/24'
GATEWAY='192.168.2.1'
MTU=
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    • RHEL 9*

      使用 nmtui 用於啟動和編輯連線的工具。以下是範例檔案 /etc/NetworkManager/system-connections/eth4.nmconnection 此工具將產生：

      [connection]
id=eth4
uuid=<unique uuid>
type=ethernet
interface-name=eth4

[ethernet]
mtu=4200

[ipv4]
address1=192.168.1.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

      以下是範例檔案 /etc/NetworkManager/system-connections/eth5.nmconnection 此工具將產生：

    [connection]
id=eth5
uuid=<unique uuid>
type=ethernet
interface-name=eth5

[ethernet]
mtu=4200

[ipv4]
address1=192.168.2.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

  5. 啟用網路介面：

    # ifup eth4
# ifup eth5

  6. 在主機上設定NVMe層。在下列位置建立下列檔案 /etc/modules-load.d/ 載入 nvme_rdma 核心模組、並確保核心模組永遠開啟、即使在重新開機之後：

    # cat /etc/modules-load.d/nvme_rdma.conf
  nvme_rdma

  7. 重新啟動主機。

    以驗證 nvme_rdma 已載入核心模組、請執行此命令：

    # lsmod | grep nvme
nvme_rdma              36864  0
nvme_fabrics           24576  1 nvme_rdma
nvme_core             114688  5 nvme_rdma,nvme_fabrics
rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
t10_pi                 16384  2 sd_mod,nvme_core