Skip to main content
ONTAP SAN Host Utilities
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

ONTAP 스토리지를 위한 NVMe-oF로 Rocky Linux 9.1 구성

기여자 netapp-pcarriga
PDF

Rocky Linux 9.1 호스트는 ANA(비대칭 네임스페이스 액세스)를 통해 NVMe/FC 및 NVMe/TCP 프로토콜을 지원합니다. ANA는 iSCSI 및 FCP 환경에서 ALUA(비대칭 논리 장치 액세스) 다중 경로 지정과 동일하며, 커널 내 NVMe 다중 경로 기능을 사용하여 구현됩니다.

지원되는 구성에 대한 자세한 내용은 를 "상호 운용성 매트릭스 툴"참조하십시오.

이 작업에 대해

Rocky Linux 9.1의 NVMe-oF 호스트 구성에서는 다음 지원과 기능을 사용할 수 있습니다. 또한 구성 프로세스를 시작하기 전에 알려진 제한 사항을 검토해야 합니다.

  • 사용 가능한 지원:

    • NVMe/FC(NVMe over Fibre Channel) 외에도 NVMe over TCP(NVMe/TCP) 지원 네이티브 패키지의 NetApp 플러그인은 nvme-cli NVMe/FC 및 NVMe/TCP 네임스페이스 모두에 대한 ONTAP 세부 정보를 표시합니다.

    • 동일한 호스트에서 NVMe 및 SCSI 트래픽 실행 예를 들어, SCSI LUN의 SCSI mpath 장치에 대해 dm-multipath를 구성하고 NVMe multipath를 사용하여 호스트의 NVMe-oF 네임스페이스 장치를 구성할 수 있습니다.

  • 사용 가능한 기능:

    • Rocky Linux 9.1은 기본적으로 NVMe 네임스페이스에 대한 커널 내 NVMe 멀티패스를 활성화하여 명시적 설정이 필요 없게 했습니다.

  • 알려진 제한 사항:

    • 현재 NVMe-oF 프로토콜을 사용한 SAN 부팅은 지원되지 않습니다.

1단계: 필요에 따라 SAN 부팅을 활성화합니다

SAN 부팅을 사용하도록 호스트를 구성하여 배포를 단순화하고 확장성을 개선할 수 있습니다.

시작하기 전에

를 사용하여 "상호 운용성 매트릭스 툴"Linux OS, 호스트 버스 어댑터(HBA), HBA 펌웨어, HBA 부팅 BIOS 및 ONTAP 버전이 SAN 부팅을 지원하는지 확인합니다.

단계

  1. "SAN 부팅 네임스페이스를 생성하고 호스트에 매핑합니다."..

  2. SAN 부팅 네임스페이스가 매핑된 포트에 대해 서버 BIOS에서 SAN 부팅을 활성화합니다.

    HBA BIOS를 활성화하는 방법에 대한 자세한 내용은 공급업체별 설명서를 참조하십시오.

  3. 호스트를 재부팅하고 OS가 실행 중인지 확인하여 구성이 성공했는지 확인합니다.

2단계: 소프트웨어 버전 검증

다음 절차에 따라 지원되는 최소 Rocky Linux 9.1 소프트웨어 버전을 확인하세요.

단계

  1. 서버에 Rocky Linux 9.1을 설치하세요. 설치가 완료되면 지정된 Rocky Linux 9.1 커널이 실행 중인지 확인하세요.

    uname -r

    다음 예는 Rocky Linux 커널 버전을 보여줍니다.

    5.14.0-570.12.1.el9_6.x86_64

  2. "NVMe-CLI" 패키지를 설치합니다.

    rpm -qa|grep nvme-cli

    다음 예에서는 nvme-cli 패키지 버전을 보여줍니다.

    nvme-cli-2.11-5.el9.x86_64

  3. 를 설치합니다 libnvme 패키지:

    rpm -qa|grep libnvme

    다음 예에서는 다음을 보여줍니다. libnvme 패키지 버전:

    libnvme-1.11.1-1.el9.x86_64

  4. Rocky Linux 호스트에서 hostnqn 문자열을 확인하세요. /etc/nvme/hostnqn :

    cat /etc/nvme/hostnqn

    다음 예에서는 다음을 보여줍니다. hostnqn 버전:

    nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633

  5. 를 확인합니다 hostnqn 문자열이 과 일치합니다 hostnqn ONTAP 배열의 해당 하위 시스템에 대한 문자열:

    ::> vserver nvme subsystem host show -vserver vs_coexistence_LPE36002
    예제 보기 
    Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_LPE36002
        nvme
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        nvme_1
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        nvme_2
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
        nvme_3
                  regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-b9c04f425633
4 entries were displayed.
    참고 를 누릅니다 hostnqn 문자열이 일치하지 않습니다. 를 사용하십시오 vserver modify 명령을 사용하여 를 업데이트합니다 hostnqn 와 일치하는 해당 ONTAP 배열 하위 시스템의 문자열입니다 hostnqn 문자열 시작 /etc/nvme/hostnqn 호스트.

3단계: NVMe/FC 구성

Broadcom/Emulex FC 또는 Marvell/Qlogic FC 어댑터를 사용하여 NVMe/FC를 구성할 수 있습니다. 또한 NVMe/TCP 하위 시스템과 네임스페이스를 수동으로 검색해야 합니다.

Broadcom/Emulex

Broadcom/Emulex 어댑터용 NVMe/FC를 구성합니다.

단계

  1. 지원되는 어댑터 모델을 사용하고 있는지 확인합니다.

    1. 모델 이름을 표시합니다:

      cat /sys/class/scsi_host/host*/modelname

      다음과 같은 출력이 표시됩니다.

      LPe36002-M64
LPe36002-M64

    2. 모델 설명을 표시합니다.

      cat /sys/class/scsi_host/host*/modeldesc

      다음 예와 비슷한 출력이 표시되어야 합니다.

    Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter

  2. 권장 Broadcom을 사용하고 있는지 확인합니다 lpfc 펌웨어 및 받은 편지함 드라이버:

    1. 펌웨어 버전을 표시합니다.

      cat /sys/class/scsi_host/host*/fwrev

      다음 예에서는 펌웨어 버전을 보여줍니다.

      14.4.317.10, sli-4:6:d
14.4.317.10, sli-4:6:d

    2. 받은 편지함 드라이버 버전을 표시합니다.

      cat /sys/module/lpfc/version`

      다음 예에서는 드라이버 버전을 보여줍니다.

      0:14.4.0.2

    지원되는 어댑터 드라이버 및 펌웨어 버전의 현재 목록은 를 참조하십시오"상호 운용성 매트릭스 툴".

  3. 의 예상 출력이 3 다음과 같이 설정되었는지 확인합니다 lpfc_enable_fc4_type.

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

  4. 이니시에이터 포트를 볼 수 있는지 확인합니다.

    cat /sys/class/fc_host/host*/port_name

    다음 예에서는 포트 ID를 보여줍니다.

    0x100000109bf044b1
0x100000109bf044b2

  5. 이니시에이터 포트가 온라인 상태인지 확인합니다.

    cat /sys/class/fc_host/host*/port_state

    다음과 같은 출력이 표시됩니다.

    Online
Online

  6. NVMe/FC 이니시에이터 포트가 활성화되었고 타겟 포트가 표시되는지 확인합니다.

    cat /sys/class/scsi_host/host*/nvme_info
    예제 보기 
    NVME Initiator Enabled
XRI Dist lpfc2 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc2 WWPN x100000109bf044b1 WWNN x200000109bf044b1 DID x022a00 ONLINE
NVME RPORT       WWPN x202fd039eaa7dfc8 WWNN x202cd039eaa7dfc8 DID x021310 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x202dd039eaa7dfc8 WWNN x202cd039eaa7dfc8 DID x020b10 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000810 Cmpl 0000000810 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000007b098f07 Issue 000000007aee27c4 OutIO ffffffffffe498bd
        abort 000013b4 noxri 00000000 nondlp 00000058 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000013b4 Err 00021443

NVME Initiator Enabled
XRI Dist lpfc3 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc3 WWPN x100000109bf044b2 WWNN x200000109bf044b2 DID x021b00 ONLINE
NVME RPORT       WWPN x2033d039eaa7dfc8 WWNN x202cd039eaa7dfc8 DID x020110 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2032d039eaa7dfc8 WWNN x202cd039eaa7dfc8 DID x022910 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000840 Cmpl 0000000840 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000007afd4434 Issue 000000007ae31b83 OutIO ffffffffffe5d74f
        abort 000014a5 noxri 00000000 nondlp 0000006a qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000014a5 Err 0002149a
Marvell/QLogic

Marvell/QLogic 어댑터용 NVMe/FC를 구성합니다.

참고 Rocky Linux 커널에 포함된 기본 받은 편지함 qla2xxx 드라이버에는 최신 수정 사항이 적용되었습니다. 이러한 수정 사항은 ONTAP 지원에 필수적입니다.
단계

  1. 지원되는 어댑터 드라이버 및 펌웨어 버전을 실행하고 있는지 확인합니다.

    cat /sys/class/fc_host/host*/symbolic_name

    다음 예에서는 드라이버 및 펌웨어 버전을 보여줍니다.

    QLE2742 FW:v9.14.00 DVR:v10.02.09.200-k
QLE2742 FW:v9.14.00 DVR:v10.02.09.200-k

  2. 확인합니다 ql2xnvmeenable 가 설정됩니다. 그러면 Marvell 어댑터가 NVMe/FC Initiator로 작동할 수 있습니다.

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

    예상 출력은 1입니다.

4단계: 선택적으로 1MB I/O 활성화

Broadcom 어댑터로 구성된 NVMe/FC에 대해 1MB 크기의 I/O 요청을 활성화할 수 있습니다. ONTAP은 컨트롤러 식별 데이터에서 최대 데이터 전송 크기(MDTS)를 8로 보고합니다. 이는 최대 I/O 요청 크기가 1MB까지 될 수 있음을 의미합니다. 1MB 크기의 I/O 요청을 실행하려면 lpfc 값을 늘려야 합니다. lpfc_sg_seg_cnt 매개변수를 기본값 64에서 256으로 늘립니다.

참고 이 단계는 Qlogic NVMe/FC 호스트에는 적용되지 않습니다.
단계

  1. `lpfc_sg_seg_cnt`매개변수를 256으로 설정합니다.

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256

  2. `dracut -f`명령을 실행하고 호스트를 재부팅합니다.

  3. 의 값이 256인지 lpfc_sg_seg_cnt 확인합니다.

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

5단계: NVMe/TCP 구성

NVMe/TCP 프로토콜은 자동 연결 작업을 지원하지 않습니다. 대신, NVMe/TCP 연결 또는 전체 연결 작업을 수동으로 수행하여 NVMe/TCP 하위 시스템과 네임스페이스를 검색할 수 있습니다.

단계

  1. 이니시에이터 포트가 지원되는 NVMe/TCP LIF에서 검색 로그 페이지 데이터를 가져올 수 있는지 확인합니다.

    nvme discover -t tcp -w host-traddr -a traddr
    예제 보기 
    nvme discover -t tcp -w 192.168.1.31 -a 192.168.1.24
Discovery Log Number of Records 20, Generation counter 25
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:discovery
traddr:  192.168.2.25
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:discovery
traddr:  192.168.1.25
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:discovery
traddr:  192.168.2.24
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:discovery
traddr:  192.168.1.24
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_1
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_1
traddr:  192.168.1.25
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_1
traddr:  192.168.2.24
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_1
traddr:  192.168.1.24
eflags:  none
sectype: none
=====Discovery Log Entry 8======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_4
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 9======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_4
traddr:  192.168.1.25
eflags:  none
sectype: none
=====Discovery Log Entry 10======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_4
traddr:  192.168.2.24
eflags:  none
sectype: none
=====Discovery Log Entry 11======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_4
traddr:  192.168.1.24
eflags:  none
sectype: none
=====Discovery Log Entry 12======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_3
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 13======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_3
traddr:  192.168.1.25
eflags:  none
sectype: none
=====Discovery Log Entry 14======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_3
traddr:  192.168.2.24
eflags:  none
sectype: none
=====Discovery Log Entry 15======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_3
traddr:  192.168.1.24
eflags:  none
sectype: none
=====Discovery Log Entry 16======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_2
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 17======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_2
traddr:  192.168.1.25
eflags:  none
sectype: none
=====Discovery Log Entry 18======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_2
traddr:  192.168.2.24
eflags:  none
sectype: none
=====Discovery Log Entry 19======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_2
traddr:  192.168.1.24
eflags:  none
sectype: none

  2. 다른 NVMe/TCP 이니시에이터-타겟 LIF 조합이 검색 로그 페이지 데이터를 성공적으로 가져올 수 있는지 확인합니다.

    nvme discover -t tcp -w host-traddr -a traddr
    예제 보기 
    nvme discover -t tcp -w 192.168.1.31 -a 192.168.1.24
nvme discover -t tcp -w 192.168.2.31 -a 192.168.2.24
nvme discover -t tcp -w 192.168.1.31 -a 192.168.1.25
nvme discover -t tcp -w 192.168.2.31 -a 192.168.2.25

  3. 를 실행합니다 nvme connect-all 노드에 걸쳐 지원되는 모든 NVMe/TCP 이니시에이터-타겟 LIF에 대한 명령:

    nvme connect-all -t tcp -w host-traddr -a traddr
    예제 보기 
    nvme	connect-all	-t	tcp	-w	192.168.1.31	-a	192.168.1.24
nvme	connect-all	-t	tcp	-w	192.168.2.31	-a	192.168.2.24
nvme	connect-all	-t	tcp	-w	192.168.1.31	-a	192.168.1.25
nvme	connect-all	-t	tcp	-w	192.168.2.31	-a	192.168.2.25

6단계: NVMe-oF 검증

커널 내 NVMe 다중 경로 상태, ANA 상태 및 ONTAP 네임스페이스가 NVMe-oF 구성에 적합한지 확인합니다.

단계

  1. in-kernel NVMe multipath가 활성화되어 있는지 확인합니다.

    cat /sys/module/nvme_core/parameters/multipath

    다음과 같은 출력이 표시됩니다.

    Y

  2. 각 ONTAP 네임스페이스에 대한 적절한 NVMe-oF 설정(예: NetApp ONTAP 컨트롤러로 설정된 모델 및 라운드 로빈으로 설정된 로드 밸런싱 IPolicy가 호스트에 올바르게 반영되는지 확인합니다.

    1. 하위 시스템을 표시합니다.

      cat /sys/class/nvme-subsystem/nvme-subsys*/model

      다음과 같은 출력이 표시됩니다.

      NetApp ONTAP Controller
NetApp ONTAP Controller

    2. 정책을 표시합니다.

      cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      다음과 같은 출력이 표시됩니다.

    round-robin
round-robin

  3. 호스트에서 네임스페이스가 생성되고 올바르게 검색되는지 확인합니다.

    nvme list
    예제 보기 
    Node         SN                   Model
---------------------------------------------------------
/dev/nvme4n1 81Ix2BVuekWcAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

  4. 각 경로의 컨트롤러 상태가 라이브이고 올바른 ANA 상태인지 확인합니다.

    NVMe/FC
    nvme list-subsys /dev/nvme4n5
    예제 보기 
    nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.3a5d31f5502c11ef9f50d039eab6cb6d:subsystem.nvme_1
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:e6dade64-216d-
11ec-b7bb-7ed30a5482c3
iopolicy=round-robin\
+- nvme1 fc traddr=nn-0x2082d039eaa7dfc8:pn-0x2088d039eaa7dfc8,host_traddr=nn-0x20000024ff752e6d:pn-0x21000024ff752e6d live optimized
+- nvme12 fc traddr=nn-0x2082d039eaa7dfc8:pn-0x208ad039eaa7dfc8,host_traddr=nn-0x20000024ff752e6d:pn-0x21000024ff752e6d live non-optimized
+- nvme10 fc traddr=nn-0x2082d039eaa7dfc8:pn-0x2087d039eaa7dfc8,host_traddr=nn-0x20000024ff752e6c:pn-0x21000024ff752e6c live non-optimized
+- nvme3 fc traddr=nn-0x2082d039eaa7dfc8:pn-0x2083d039eaa7dfc8,host_traddr=nn-0x20000024ff752e6c:pn-0x21000024ff752e6c live optimized
    NVMe/TCP
    nvme list-subsys /dev/nvme1n1
    예제 보기 
    nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.0f4ba1e74eb611ef9f50d039eab6cb6d:subsystem.nvme_tcp_3
hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b5c04f444d33
iopolicy=round-robin
\
+- nvme13 tcp traddr=192.168.2.25,trsvcid=4420,host_traddr=192.168.2.31,
src_addr=192.168.2.31 live optimized
+- nvme14 tcp traddr=192.168.2.24,trsvcid=4420,host_traddr=192.168.2.31,
src_addr=192.168.2.31 live non-optimized
+- nvme5 tcp traddr=192.168.1.25,trsvcid=4420,host_traddr=192.168.1.31,
src_addr=192.168.1.31 live optimized
+- nvme6 tcp traddr=192.168.1.24,trsvcid=4420,host_traddr=192.168.1.31,
src_addr=192.168.1.31 live non-optimized

  5. NetApp 플러그인에 각 ONTAP 네임스페이스 장치에 대한 올바른 값이 표시되는지 확인합니다.

    열
    nvme netapp ontapdevices -o column
    예제 보기 
    Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme1n1     linux_tcnvme_iscsi        /vol/tcpnvme_1_0_0/tcpnvme_ns

NSID       UUID                                   Size
------------------------------------------------------------
1    5f7f630d-8ea5-407f-a490-484b95b15dd6   21.47GB
    JSON을 참조하십시오
    nvme netapp ontapdevices -o json
    예제 보기 
    {
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme1n1",
      "Vserver":"linux_tcnvme_iscsi",
      "Namespace_Path":"/vol/tcpnvme_1_0_0/tcpnvme_ns",
      "NSID":1,
      "UUID":"5f7f630d-8ea5-407f-a490-484b95b15dd6",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    },
]
}

7단계: 알려진 문제를 검토합니다

ONTAP 스토리지를 사용하는 Rocky Linux 9.1의 NVMe-oF 호스트 구성에는 다음과 같은 알려진 문제가 있습니다.

NetApp 버그 ID 제목 설명

1503468

nvme list-subsys 명령은 주어진 하위 시스템에 대해 나열된 반복되는 NVMe 컨트롤러를 반환합니다.

그만큼 nvme list-subsys 명령은 주어진 하위 시스템과 연결된 NVMe 컨트롤러의 고유한 목록을 반환해야 합니다. Rocky Linux 9.1에서는 nvme list-subsys 이 명령은 지정된 서브시스템에 속하는 모든 네임스페이스에 대해 해당 ANA 상태와 함께 NVMe 컨트롤러를 반환합니다. 그러나 ANA 상태는 네임스페이스별 속성이므로, 지정된 네임스페이스에 대한 서브시스템 명령 구문을 나열하는 경우 경로 상태를 포함하는 고유한 NVMe 컨트롤러 항목이 표시되어야 합니다.