Acessando volumes NVMe para um E-Series target a partir do host - Linux (NVMe sobre RoCE)
Você pode configurar a e/S direcionada para o destino do dispositivo com base no sistema operacional (e pelo método multipathing de extensão) que você está usando.
Para RHEL 9, RHEL 10, SLES 15 e SLES 16, uma solução de multipath NVMe nativa gerencia os caminhos físicos subjacentes ao único dispositivo NVMe aparente exibido pelo host. Portanto, direcionamos a E/S diretamente para o dispositivo NVMe do host, em vez de um dispositivo multipath como o Device Mapper Multipath (DMMP) baseado em SCSI. Os locais dos dispositivos NVMe são detalhados abaixo.
Dispositivos NVMe são alvos de E/S
-
Digite o seguinte comando para localizar os volumes mapeados para este host a partir de um array de storage E-Series.
O comando a seguir fornece a localização de baixo nível do dispositivo NVMe no seu host, o nome do array ao qual o dispositivo está mapeado, o nome do volume, o NSID, o ID exclusivo do volume, o controlador proprietário atual e o tamanho do volume.
# nvme netapp smdevices /dev/nvme0n1, Array Name creG63-FN, Volume Name 1, NSID 1, Volume ID 00001b7f606ec75100a0980000ed289e, Controller B, 1.10TB /dev/nvme0n2, Array Name creG63-FN, Volume Name 2, NSID 2, Volume ID 0000128a6a0d045500a0980000ed27f4, Controller A, 536.87GB /dev/nvme0n3, Array Name creG63-FN, Volume Name 3, NSID 3, Volume ID 00001b81606ec75b00a0980000ed289e, Controller B, 536.87GB /dev/nvme0n4, Array Name creG63-FN, Volume Name 4, NSID 4, Volume ID 0000128c6a0d045700a0980000ed27f4, Controller A, 214.75GB
-
Execute operações de E/S nos links em
/dev/disk/by-id/nvme-eui.[Volume ID#].Os links em
/dev/disk/by-id/nvme-eui.[Volume ID#]são determinísticos e não sofrerão alterações. Evite usar a localização de baixo nível do dispositivo NVMe(/dev/nvme[subsys#]n[id#])pois ela está sujeita a mudanças. O link entre esses dois locais pode ser encontrado usando o seguinte comando:# ls /dev/disk/by-id/ -l lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.0000128a6a0d045500a0980000ed27f4 -> ../../nvme0n2 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.0000128c6a0d045700a0980000ed27f4 -> ../../nvme0n4 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.00001b7f606ec75100a0980000ed289e -> ../../nvme0n1 lrwxrwxrwx 1 root root 13 May 19 15:07 nvme-eui.00001b81606ec75b00a0980000ed289e -> ../../nvme0n3
-
Para visualizar os caminhos para os dispositivos NVMe, use o
nvme list-subsyscomando.As operações de E/S
/dev/disk/by-id/nvme-eui.[uuid#]serão encaminhadas diretamente através/dev/nvme[subsys#]n[id#]`do dispositivo que possui todos os caminhos virtualizados internamente, utilizando a solução de multipath NVMe nativa.# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:EF80.600a098000ed28cb0000000062b24855 hostnqn=nqn.2014-08.org.nvmexpress:uuid:5257c202-9d94-ea11-b761-00000000003c \ +- nvme0 tcp traddr=10.10.10.101,trsvcid=4420,src_addr=10.10.10.100 live non-optimized +- nvme1 tcp traddr=10.10.10.11,trsvcid=4420,src_addr=10.10.10.100 live non-optimized +- nvme2 tcp traddr=10.10.20.201,trsvcid=4420,src_addr=10.10.20.200 live optimized +- nvme3 tcp traddr=10.10.20.21,trsvcid=4420,src_addr=10.10.20.200 live optimized +- nvme4 tcp traddr=10.10.20.39,trsvcid=4420,src_addr=10.10.20.200 live non-optimized +- nvme5 tcp traddr=10.10.20.31,trsvcid=4420,src_addr=10.10.20.200 live non-optimized +- nvme6 tcp traddr=10.10.10.49,trsvcid=4420,src_addr=10.10.10.100 live optimized +- nvme7 tcp traddr=10.10.10.41,trsvcid=4420,src_addr=10.10.10.100 live optimized -
Opcional - Para visualizar as informações de caminho para failover nativo por meio dos comandos legados do Device Mapper Multipath (DMMP), use o
multipath -llcomando.#multipath -ll
Para visualizar as informações de caminho por meio dos comandos DMMP legados, o seguinte deve ser configurado no /etc/multipath.conffile:defaults { enable_foreign nvme }Exemplo de saída
eui.0000a0335c05d57a00a0980000a5229d [nvme]:nvme0n9 NVMe,Netapp E- Series,08520001 size=4194304 features='n/a' hwhandler='ANA' wp=rw |-+- policy='n/a' prio=50 status=optimized | `- 0:0:1 nvme0c0n1 0:0 n/a optimized live `-+- policy='n/a' prio-10 status=non-optimized `- 0:1:1 nvme0c1n1 0:0 n/a non-optimized live
Este comando funciona apenas no RHEL 9 ou anterior e no SLES 16 ou anterior.
Com a E/S funcionando nos dispositivos NVMe, "criar os sistemas de arquivos".