Skip to main content
E-Series storage systems
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configurar o iniciador NVMe sobre o RoCE no host no e-Series - Linux

Colaboradores netapp-driley netapp-jsnyder netapp-jolieg NetAppZacharyWambold
PDFs

A configuração do iniciador NVMe em um ambiente RoCE inclui a instalação e configuração dos pacotes rdma-core e nvme-cli, configuração de endereços IP do iniciador e configuração da camada NVMe-of no host.

Antes de começar

Você deve estar executando o sistema operacional RHEL 9, RHEL 10, SLES 15 ou SLES 16 com o service pack mais recente compatível. Consulte o "Ferramenta de Matriz de interoperabilidade do NetApp" para obter uma lista completa dos requisitos mais recentes.

Passos

  1. Instale os pacotes rdma e nvme-cli:

    SLES 15 ou SLES 16

    # zypper install rdma-core
# zypper install nvme-cli

    RHEL 9 e RHEL 10

    # yum install rdma-core
# yum install nvme-cli
Observação Se você estiver usando um NVIDIA HCA e desejar usar o driver DOCA externo, consulte o "Documentação NVIDIA DOCA" para obter informações sobre como instalá-lo corretamente nesse ambiente.

  1. Para RHEL 9, instale os scripts de rede:

    RHEL 9

    # yum install NetworkManager-initscripts-updown
    Observação Scripts de rede não estão disponíveis para RHEL 10.

  2. Obtenha o host NQN, que será usado para configurar o host para um array.

    # cat /etc/nvme/hostnqn

  3. Configure IPv4 endereços IP nas portas ethernet usadas para conetar o NVMe por RoCE. Para cada interface de rede, crie um script de configuração que contenha as diferentes variáveis para essa interface.

    As variáveis usadas nesta etapa são baseadas no hardware do servidor e no ambiente de rede. As variáveis incluem o IPADDR e GATEWAY. Estas são instruções de exemplo para SLES e RHEL:

    SLES 15

    Crie o arquivo de exemplo /etc/sysconfig/network/ifcfg-eth4 com o seguinte conteúdo, onde MTU é definido para o valor mais alto que pode ser alcançado sem fragmentação de pacotes (normalmente 9000).

    BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.1.87/24'
GATEWAY='192.168.1.1'
MTU=9000
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    Em seguida, crie o arquivo de exemplo /etc/sysconfig/network/ifcfg-eth5 :

    BOOTPROTO='static'
BROADCAST=
ETHTOOL_OPTIONS=
IPADDR='192.168.2.87/24'
GATEWAY='192.168.2.1'
MTU=9000
NAME='MT27800 Family [ConnectX-5]'
NETWORK=
REMOTE_IPADDR=
STARTMODE='auto'

    RHEL 9, RHEL 10 ou SLES 16

    Utilize a nmtui ferramenta para ativar e editar uma ligação. Abaixo está um arquivo de exemplo /etc/NetworkManager/system-connections/eth4.nmconnection que a ferramenta irá gerar:

    [connection]
id=eth4
uuid=<unique uuid>
type=ethernet
interface-name=eth4

[ethernet]
mtu=9000

[ipv4]
address1=192.168.1.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

    Abaixo está um arquivo de exemplo /etc/NetworkManager/system-connections/eth5.nmconnection que a ferramenta irá gerar:

    [connection]
id=eth5
uuid=<unique uuid>
type=ethernet
interface-name=eth5

[ethernet]
mtu=9000

[ipv4]
address1=192.168.2.87/24
method=manual

[ipv6]
addr-gen-mode=default
method=auto

[proxy]

  4. Ativar as interfaces de rede:

    # nmcli connection up eth4
# nmcli connection up eth5

  5. Configurar a camada NVMe-of no host. Crie o seguinte arquivo sob /etc/modules-load.d/ para carregar o nvme_rdma módulo do kernel e certifique-se de que o módulo do kernel esteja sempre ligado, mesmo depois de uma reinicialização:

    # cat /etc/modules-load.d/nvme_rdma.conf
  nvme_rdma

  6. Reinicie o host.

    1. Alternativamente, você pode carregar o `nvme_rdma`kernel sem reinicializar executando este comando:

      # modeprobe nvme_rdma

  7. Verifique se o `nvme_rdma`módulo do kernel está carregado, execute este comando:

    # lsmod | grep nvme
nvme_rdma              36864  0
nvme_fabrics           24576  1 nvme_rdma
nvme_core             114688  5 nvme_rdma,nvme_fabrics
rdma_cm               114688  7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm
ib_core               393216  15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm
t10_pi                 16384  2 sd_mod,nvme_core
    O que se segue?

    Após configurar o iniciador NVMe sobre RoCE no host, "configurar as definições da porta NVMe sobre RoCE".