Skip to main content
ONTAP SAN Host Utilities
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

ONTAP 스토리지를 사용하는 NVMe-oF용 Proxmox VE 9.x 구성

기여자 netapp-pcarriga netapp-sarajane
PDF

Proxmox VE 9.x 호스트는 비대칭 네임스페이스 액세스(ANA)를 지원하는 NVMe over Fibre Channel(NVMe/FC) 및 NVMe over TCP(NVMe/TCP) 프로토콜을 지원합니다. ANA는 iSCSI 및 FCP 환경에서 ALUA(비대칭 논리 장치 액세스)와 동일한 다중 경로 기능을 제공합니다.

Proxmox VE 9.x용 NVMe over Fabrics(NVMe-oF) 호스트를 구성하는 방법을 알아보세요. 추가 지원 및 기능 정보는 다음을 참조하세요. "ONTAP 지원 및 기능".

Proxmox VE 9.x에서 NVMe-oF를 사용할 때 다음과 같은 알려진 제한 사항이 있습니다.

  • NVMe-FC에 대한 SAN 부팅 구성은 지원되지 않습니다.

1단계: Proxmox VE 및 NVMe 소프트웨어를 설치하고 구성을 확인합니다.

NVMe-oF를 사용하도록 호스트를 구성하려면 호스트 및 NVMe 소프트웨어 패키지를 설치하고, 멀티패싱을 활성화하고, 호스트의 NQN 구성을 확인해야 합니다.

단계

  1. 서버에 Proxmox VE 9.x를 설치하세요. 설치가 완료되면 필요한 Proxmox VE 9.x 커널이 실행 중인지 확인하십시오.

    uname -r

    예시: Proxmox VE 9.x 커널 버전

    6.14.8-2-pve

  2. "NVMe-CLI" 패키지를 설치합니다.

    apt list|grep nvme-cli

    다음 예에서는 다음을 보여줍니다. nvme-cli 패키지 버전:

    nvme-cli/stable,now 2.13-2 amd64

  3. 를 설치합니다 libnvme 패키지:

    apt list|grep libnvme

    다음 예에서는 다음을 보여줍니다. libnvme 패키지 버전:

    libnvme-dev/stable 1.13-2 amd64

  4. 호스트에서 hostnqn 문자열을 확인하세요. /etc/nvme/hostnqn :

    cat /etc/nvme/hostnqn

    다음 예는 다음을 보여줍니다. hostnqn 값:

    nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c

  5. ONTAP 시스템에서 다음 사항을 확인하십시오. hostnqn 문자열이 일치합니다 hostnqn ONTAP 어레이의 해당 서브시스템에 대한 문자열:

    ::> vserver nvme subsystem host show -vserver vs_proxmox_FC_NVMeFC
    예제 보기 
    Vserver Subsystem Priority  Host NQN
------- --------- --------  -----------------------------------------------
vs_proxmox_FC_NVMeFC
        sub_176
                  regular   nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a4834
                  regular   nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
2 entries were displayed
    참고 만약 hostnqn 문자열이 일치하지 않으면 다음을 사용하세요. vserver modify 업데이트 명령 hostnqn 해당 ONTAP 스토리지 시스템 하위 시스템의 문자열을 일치시키세요. hostnqn 문자열에서 /etc/nvme/hostnqn 호스트에서.

2단계: NVMe/FC 및 NVMe/TCP 구성

Broadcom/Emulex 또는 Marvell/QLogic 어댑터를 사용하여 NVMe/FC를 구성하거나 수동 검색 및 연결 작업을 사용하여 NVMe/TCP를 구성합니다.

NVMe/FC - Broadcom/Emulex

Broadcom/Emulex 어댑터용 NVMe/FC를 구성합니다.

  1. 지원되는 어댑터 모델을 사용하고 있는지 확인합니다.

    1. 모델 이름을 표시합니다:

      cat /sys/class/scsi_host/host*/modelname

      다음과 같은 출력이 표시됩니다.

      SN1700E2P
SN1700E2P

    2. 모델 설명을 보여주세요:

      cat /sys/class/scsi_host/host*/modeldesc

      다음 예와 비슷한 출력이 표시됩니다.

    HPE SN1700E 64Gb 2p FC HBA
HPE SN1700E 64Gb 2p FC HBA

  2. 권장 Broadcom을 사용하고 있는지 확인합니다 lpfc 펌웨어 및 받은 편지함 드라이버:

    1. 펌웨어 버전을 표시합니다.

      cat /sys/class/scsi_host/host*/fwrev

      이 명령은 펌웨어 버전을 반환합니다.

      14.4.473.14, sli-4:6:d
14.4.473.14, sli-4:6:d

    2. 받은 편지함 드라이버 버전을 표시합니다.

      cat /sys/module/lpfc/version

      다음 예에서는 드라이버 버전을 보여줍니다.

      0:14.4.0.7

    지원되는 어댑터 드라이버 및 펌웨어 버전의 현재 목록은 를 참조하십시오"상호 운용성 매트릭스 툴".

  3. 확인합니다 lpfc_enable_fc4_type 가 로 설정되어 있습니다 3:

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

  4. 이니시에이터 포트를 볼 수 있는지 확인합니다.

    cat /sys/class/fc_host/host*/port_name

    다음과 유사한 출력이 표시됩니다.

    0x10005ced8c531948
0x10005ced8c531949

  5. 이니시에이터 포트가 온라인 상태인지 확인합니다.

    cat /sys/class/fc_host/host*/port_state

    다음과 같은 출력이 표시됩니다.

    Online
Online

  6. NVMe/FC 이니시에이터 포트가 활성화되었고 타겟 포트가 표시되는지 확인합니다.

    cat /sys/class/scsi_host/host*/nvme_info
    예제 보기 
    NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x10005ced8c531948 WWNN x20005ced8c531948 DID x082400 ONLINE
NVME RPORT       WWPN x200ed039eac79573 WWNN x200dd039eac79573 DID x060902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2001d039eac79573 WWNN x2000d039eac79573 DID x060904 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000142cfb Issue 0000000000142cfc OutIO 0000000000000001
        abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000005 Err 00000005

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x10005ced8c531949 WWNN x20005ced8c531949 DID x082500 ONLINE
NVME RPORT       WWPN x2010d039eac79573 WWNN x200dd039eac79573 DID x062902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2007d039eac79573 WWNN x2000d039eac79573 DID x062904 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000000d39f1 Issue 00000000000d39f2 OutIO 0000000000000001
        abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000005 Err 00000005
NVMe/FC - Marvell/QLogic

Marvell/QLogic 어댑터용 NVMe/FC를 구성합니다.

  1. 지원되는 어댑터 드라이버와 펌웨어 버전을 사용하고 있는지 확인하세요.

    cat /sys/class/fc_host/host*/symbolic_name

    다음 예에서는 드라이버와 펌웨어 버전을 보여줍니다.

    SN1700Q FW:v9.15.05 DVR:v10.02.09.400-k
SN1700Q FW:v9.15.05 DVR:v10.02.09.400-k

  2. 확인합니다 ql2xnvmeenable 가 설정됩니다. 그러면 Marvell 어댑터가 NVMe/FC Initiator로 작동할 수 있습니다.

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

    예상 출력은 1입니다.

NVMe/TCP

NVMe/TCP 프로토콜은 자동 연결 작업을 지원하지 않습니다. 대신 NVMe/TCP를 수행하여 NVMe/TCP 하위 시스템과 네임스페이스를 검색할 수 있습니다. connect 또는 connect-all 수동으로 작업합니다.

  1. 지원되는 NVMe/TCP LIF를 통해 개시자 포트가 검색 로그 페이지 데이터를 가져올 수 있는지 확인하세요.

    nvme discover -t tcp -w host-traddr -a traddr
    예제 보기 
    nvme discover -t tcp -w 192.168.165.72 -a 192.168.165.51
Discovery Log Number of Records 4, Generation counter 47
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  3
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:discovery
traddr:  192.168.165.51
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:discovery
traddr:  192.168.166.50
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  3
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
traddr:  192.168.165.51
eflags:  none
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
traddr:  192.168.166.50
eflags:  none
sectype: none

  2. 를 실행합니다 nvme connect-all 노드에 걸쳐 지원되는 모든 NVMe/TCP 이니시에이터-타겟 LIF에 대한 명령:

    nvme connect-all -t tcp -w host-traddr -a traddr
    예제 보기 
    nvme connect-all -t tcp -w 192.168.166.73 -a 192.168.166.50
nvme connect-all -t tcp -w 192.168.166.73 -a 192.168.166.51
nvme connect-all -t tcp -w 192.168.165.73 -a 192.168.165.50
nvme connect-all -t tcp -w 192.168.165.73 -a 192.168.165.51

NVMe/TCP 설정 ctrl_loss_tmo timeout 자동으로 "꺼짐"으로 설정됩니다. 결과적으로:

  • 재시도 횟수에 제한이 없습니다(무기한 재시도).

  • 특정 항목을 수동으로 구성할 필요가 없습니다. ctrl_loss_tmo timeout 사용 시 지속 시간 nvme connect 또는 nvme connect-all 명령어(옵션 -l).

  • NVMe/TCP 컨트롤러는 경로 장애가 발생해도 시간 초과가 발생하지 않으며 무기한 연결 상태를 유지합니다.

3단계: 선택적으로 NVMe/FC에 대해 1MB I/O를 활성화합니다.

ONTAP Identify Controller 데이터에서 최대 데이터 전송 크기(MDTS)를 8로 보고합니다. 즉, 최대 I/O 요청 크기는 1MB까지 가능합니다. Broadcom NVMe/FC 호스트에 대해 1MB 크기의 I/O 요청을 발행하려면 다음을 늘려야 합니다. lpfc 의 가치 lpfc_sg_seg_cnt 매개변수를 기본값 64에서 256으로 변경합니다.

참고 이 단계는 Qlogic NVMe/FC 호스트에는 적용되지 않습니다.
단계

  1. `lpfc_sg_seg_cnt`매개변수를 256으로 설정합니다.

    cat /etc/modprobe.d/lpfc.conf

    다음 예와 비슷한 출력이 표시되어야 합니다.

    options lpfc lpfc_sg_seg_cnt=256

  2. 실행하세요 update-initramfs 명령어를 입력하고 호스트를 재부팅합니다.

  3. 의 값이 256인지 lpfc_sg_seg_cnt 확인합니다.

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

4단계: NVMe 부팅 서비스 확인

그만큼 nvmefc-boot-connections.service 그리고 nvmf-autoconnect.service NVMe/FC에 포함된 부팅 서비스 nvme-cli 패키지는 시스템이 부팅될 때 자동으로 활성화됩니다.

부팅이 완료된 후 다음을 확인하세요. nvmefc-boot-connections.service 그리고 nvmf-autoconnect.service 부팅 서비스가 활성화되었습니다.

단계

  1. 가 활성화되어 있는지 nvmf-autoconnect.service 확인합니다.

    systemctl status nvmf-autoconnect.service
    예제 출력을 표시합니다 
    ○ nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: enabled)
     Active: inactive (dead) since Thu 2025-10-16 18:00:39 IST; 6 days ago
 Invocation: e146e0b2c339432aad6e0555a528872c
    Process: 1787 ExecStart=/usr/sbin/nvme connect-all --context=autoconnect (code=exited, status=0/SUCCESS)
   Main PID: 1787 (code=exited, status=0/SUCCESS)
   Mem peak: 2.4M
        CPU: 12ms
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: Starting nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot...
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: Finished nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot.

  2. 가 활성화되어 있는지 nvmefc-boot-connections.service 확인합니다.

    systemctl status nvmefc-boot-connections.service
    예제 출력을 표시합니다 
    nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Thu 2025-10-16 18:00:35 IST; 6 days ago
 Invocation: acf73ac1ef7a402198d6ecc4d075fab0
    Process: 1173 ExecStart=/bin/sh -c echo add > /sys/class/fc/fc_udev_device/nvme_discovery (code=exited, status=0/SUCCESS)
   Main PID: 1173 (code=exited, status=0/SUCCESS)
   Mem peak: 2.1M
        CPU: 11ms

Oct 16 18:00:35 HPE-DL365-14-176 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Oct 16 18:00:35 HPE-DL365-14-176 systemd[1]: Finished nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.

5단계: 다중 경로 구성 확인

커널 내 NVMe 다중 경로 상태, ANA 상태 및 ONTAP 네임스페이스가 NVMe-oF 구성에 적합한지 확인합니다.

단계

  1. in-kernel NVMe multipath가 활성화되어 있는지 확인합니다.

    cat /sys/module/nvme_core/parameters/multipath

    다음과 같은 출력이 표시됩니다.

    Y

  2. ONTAP 네임스페이스에 대한 적절한 NVMe-oF 설정(예: 모델을 NetApp ONTAP 컨트롤러로 설정하고 부하 분산 iopolicy를 라운드 로빈으로 설정)이 호스트에 올바르게 표시되는지 확인합니다.

    1. 하위 시스템을 보여주세요:

      cat /sys/class/nvme-subsystem/nvme-subsys*/model

      다음과 같은 출력이 표시됩니다.

      NetApp ONTAP Controller
NetApp ONTAP Controller

    2. 정책을 표시합니다.

      cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      다음과 같은 출력이 표시됩니다.

    queue-depth
queue-depth

  3. 호스트에서 네임스페이스가 생성되고 올바르게 검색되는지 확인합니다.

    nvme list
    예제 보기 
    Node          Generic     SN                   Model                    Namespace  Usage                      Format           FW Rev
------------- ----------- -------------------- ------------------------ ---------- -------------------------- ---------------- --------
/dev/nvme2n1  /dev/ng2n1  81PqYFYq2aVAAAAAAAAB NetApp ONTAP Controller   0x1         17.88  GB / 171.80  GB      4 KiB +  0 B   9.17.1

  4. 각 경로의 컨트롤러 상태가 라이브이고 올바른 ANA 상태인지 확인합니다.

    NVMe/FC
    nvme list-subsys /dev/nvme3n9
    예제 보기 
    nvme-subsys3 - NQN=nqn.1992-08.com.netapp:sn.94929fdb84eb11f0b624d039eac809ba:subsystem.sub_176
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
\
 +- nvme1 fc traddr=nn-0x200dd039eac79573:pn-0x2010d039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live optimized
 +- nvme3 fc traddr=nn-0x200dd039eac79573:pn-0x200ed039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live optimized
+- nvme5 fc traddr=nn-0x200dd039eac79573:pn-0x200fd039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live non-optimized
 +- nvme7 fc traddr=nn-0x200dd039eac79573:pn-0x2011d039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live non-optimized
    NVMe/TCP
    nvme list-subsys /dev/nvme2n3
    예제 보기 
    nvme-subsys2 - NQN=nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
\
 +- nvme2 tcp traddr=192.168.166.50,trsvcid=4420,host_traddr=192.168.166.73,src_addr=192.168.166.73 live optimized
 +- nvme4 tcp traddr=192.168.165.51,trsvcid=4420,host_traddr=192.168.165.73,src_addr=192.168.165.73 live optimized
+- nvme6 tcp traddr=192.168.166.51,trsvcid=4420,host_traddr=192.168.166.73,src_addr=192.168.166.73 live non-optimized
 +- nvme8 tcp traddr=192.168.165.50,trsvcid=4420,host_traddr=192.168.165.73,src_addr=192.168.165.73 live non-optimized

  5. NetApp 플러그인에 각 ONTAP 네임스페이스 장치에 대한 올바른 값이 표시되는지 확인합니다.

    열
    nvme netapp ontapdevices -o column
    예제 보기 
    Device        Vserver               Namespace Path
------------- --------------------- ------------------------------
/dev/nvme2n9  vs_proxmox_FC_NVMeFC  /vol/vol_180_data_nvmefc4/ns

NSID       UUID                            Size
---- ------------------------------------  --------
1    e3d3d544-de8b-4787-93af-bfec7769e909  32.21GB
    JSON을 참조하십시오
    nvme netapp ontapdevices -o json
    예제 보기 
    {
      "Device":"/dev/nvme2n9",
      "Vserver":"vs_proxmox_FC_NVMeFC",
      "Subsystem":"sub_176",
      "Namespace_Path":"/vol/vol_180_data_nvmefc4/ns",
      "NSID":9,
      "UUID":"e3d3d544-de8b-4787-93af-bfec7769e909",
      "LBA_Size":4096,
      "Namespace_Size":32212254720,
      "UsedBytes":67899392,
      "Version":"9.17.1"
    }
  ]

6단계: 알려진 문제를 검토합니다

알려진 문제가 없습니다.