Skip to main content
ONTAP SAN Host Utilities
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

ONTAP가 있는 ESXi 8.x용 NVMe-oF 호스트 구성

기여자 netapp-ranuk netapp-sarajane netapp-pcarriga netapp-bingen netapp-aherbin

ESXi 8.x 및 ONTAP를 실행 중인 이니시에이터 호스트에 NVMe-oF(NVMe over Fabrics)를 타겟으로 구성할 수 있습니다.

지원 가능성

  • ONTAP 9.16.1부터 새로 생성된 모든 NVMe 네임스페이스에 대해 기본적으로 공간 할당이 활성화됩니다.

  • ONTAP 9.9.1 P3부터 ESXi 8 이상에서 NVMe/FC 프로토콜이 지원됩니다.

  • ONTAP 9.10.1부터 ONTAP에 대해 NVMe/TCP 프로토콜이 지원됩니다.

피처

  • ESXi 이니시에이터 호스트는 동일한 어댑터 포트를 통해 NVMe/FC 및 FCP 트래픽을 모두 실행할 수 있습니다. 를 참조하십시오 "Hardware Universe" 지원되는 FC 어댑터 및 컨트롤러 목록은 를 참조하십시오. 를 참조하십시오 "NetApp 상호 운용성 매트릭스 툴" 를 참조하십시오.

  • ESXi 8.0 이상 릴리즈의 경우 HPP(고성능 플러그인)가 NVMe 장치의 기본 플러그인입니다.

알려진 제한 사항

  • RDM 매핑은 지원되지 않습니다.

NVMe/FC를 사용하도록 설정합니다

NVMe/FC는 vSphere 릴리즈에서 기본적으로 활성화되어 있습니다.

호스트 NQN을 확인합니다

ESXi 호스트 NQN 문자열을 확인하여 ONTAP 스토리지의 해당 하위 시스템에 대한 호스트 NQN 문자열과 일치하는지 확인해야 합니다.

# esxcli nvme info get

예제 출력:

Host NQN: nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436
# vserver nvme subsystem host show -vserver nvme_fc

예제 출력:

Vserver Subsystem Host NQN
------- --------- ----------------------------------------------------------
nvme_fc nvme_ss  nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436

호스트 NQN 문자열이 일치하지 않으면 를 사용해야 합니다 vserver nvme subsystem host add 명령을 사용하여 해당 ONTAP NVMe 하위 시스템에서 올바른 호스트 NQN 문자열을 업데이트합니다.

Broadcom/Emulex 및 Marvell/Qlogic을 구성합니다

를 클릭합니다 lpfc 드라이버 및 qlnativefc vSphere 8.x의 드라이버에는 기본적으로 NVMe/FC 기능이 활성화되어 있습니다.

드라이버 또는 펌웨어에서 구성이 지원되는지 확인하려면 을 "상호 운용성 매트릭스 툴"참조하십시오.

NVMe/FC를 검증합니다

다음 절차를 사용하여 NVMe/FC를 검증할 수 있습니다.

단계
  1. ESXi 호스트에 NVMe/FC 어댑터가 나열되는지 확인합니다.

    # esxcli nvme adapter list

    예제 출력:

    Adapter  Adapter Qualified Name           Transport Type  Driver      Associated Devices
    -------  -------------------------------  --------------  ----------  ------------------
    vmhba64  aqn:lpfc:100000109b579f11        FC              lpfc
    vmhba65  aqn:lpfc:100000109b579f12        FC              lpfc
    vmhba66  aqn:qlnativefc:2100f4e9d456e286  FC              qlnativefc
    vmhba67  aqn:qlnativefc:2100f4e9d456e287  FC              qlnativefc
  2. NVMe/FC 네임스페이스가 올바르게 생성되었는지 확인합니다.

    다음 예제의 UUID는 NVMe/FC 네임스페이스 장치를 나타냅니다.

    # esxcfg-mpath -b
    uuid.116cb7ed9e574a0faf35ac2ec115969d : NVMe Fibre Channel Disk (uuid.116cb7ed9e574a0faf35ac2ec115969d)
       vmhba64:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:05:d0:39:ea:3a:b2:1f
       vmhba64:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:07:d0:39:ea:3a:b2:1f
       vmhba65:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:08:d0:39:ea:3a:b2:1f
       vmhba65:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:06:d0:39:ea:3a:b2:1f
    참고

    ONTAP 9.7에서 NVMe/FC 네임스페이스의 기본 블록 크기는 4K입니다. 이 기본 크기는 ESXi와 호환되지 않습니다. 따라서 ESXi용 네임스페이스를 생성할 때 네임스페이스 블록 크기를 * 512B * 로 설정해야 합니다. 를 사용하여 이 작업을 수행할 수 있습니다 vserver nvme namespace create 명령.

    예:

    'vserver NVMe namespace create-vserver vs_1-path /vol/nsvol/Namespace1-size 100g-OSType VMware-block-size 512B'

    을 참조하십시오 "ONTAP 9 명령 man 페이지" 를 참조하십시오.

  3. 각 NVMe/FC 네임스페이스 장치의 개별 ANA 경로 상태를 확인하십시오.

    # esxcli storage hpp path list -d uuid.df960bebb5a74a3eaaa1ae55e6b3411d
    
    fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2005d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Runtime Name: vmhba64:C0:T0:L3
       Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
       Path State: active unoptimized
       Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP}
    
    fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2008d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Runtime Name: vmhba65:C0:T1:L3
       Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
       Path State: active
       Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP}
    
    fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2006d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Runtime Name: vmhba65:C0:T0:L3
       Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
       Path State: active unoptimized
       Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP}
    
    fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2007d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Runtime Name: vmhba64:C0:T1:L3
       Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
       Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
       Path State: active
       Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP}

NVMe/TCP를 구성합니다

ESXi 8.x에서는 필요한 NVMe/TCP 모듈이 기본적으로 로드됩니다. 네트워크 및 NVMe/TCP 어댑터를 구성하려면 VMware vSphere 설명서를 참조하십시오.

NVMe/TCP를 검증합니다

다음 절차를 사용하여 NVMe/TCP를 검증할 수 있습니다.

단계
  1. NVMe/TCP 어댑터의 상태를 확인합니다.

    esxcli nvme adapter list

    예제 출력:

    Adapter  Adapter Qualified Name           Transport Type  Driver   Associated Devices
    -------  -------------------------------  --------------  -------  ------------------
    vmhba65  aqn:nvmetcp:ec-2a-72-0f-e2-30-T  TCP             nvmetcp  vmnic0
    vmhba66  aqn:nvmetcp:34-80-0d-30-d1-a0-T  TCP             nvmetcp  vmnic2
    vmhba67  aqn:nvmetcp:34-80-0d-30-d1-a1-T  TCP             nvmetcp  vmnic3
  2. NVMe/TCP 연결 목록 검색:

    esxcli nvme controller list

    예제 출력:

    Name                                                  Controller Number  Adapter  Transport Type  Is Online  Is VVOL
    ---------------------------------------------------------------------------------------------------------  -----------------  -------
    nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.166:8009  256  vmhba64  TCP                  true    false
    nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.165:4420 258  vmhba64  TCP  true    false
    nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.168:4420 259  vmhba64  TCP  true    false
    nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.166:4420 260  vmhba64  TCP  true    false
    nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.165:8009  261  vmhba64  TCP                  true    false
    nqn.2014-08.org.nvmexpress.discovery#vmhba65#192.168.100.155:8009  262  vmhba65  TCP                  true    false
    nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.167:4420 264  vmhba64  TCP  true    false
  3. NVMe 네임스페이스에 대한 경로 수 목록을 검색합니다.

    esxcli storage hpp path list -d uuid.f4f14337c3ad4a639edf0e21de8b88bf

    예제 출력:

    tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.165:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Runtime Name: vmhba64:C0:T0:L5
       Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
       Path State: active
       Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP}
    
    tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.168:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Runtime Name: vmhba64:C0:T3:L5
       Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
       Path State: active unoptimized
       Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP}
    
    tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.166:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Runtime Name: vmhba64:C0:T2:L5
       Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
       Path State: active unoptimized
       Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP}
    
    tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.167:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Runtime Name: vmhba64:C0:T1:L5
       Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
       Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
       Path State: active
       Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP}

NVMe 할당 해제

ONTAP 9.16.1 이상에서 ESXi 8.0u2 이상에 대해 NVMe 할당 해제 명령이 지원됩니다.

할당 해제 지원은 항상 NVMe 네임스페이스에 대해 활성화됩니다. 할당 해제를 통해 게스트 OS가 VMFS 데이터 저장소에서 'UNMAP'('TRIM'이라고도 함) 작업을 수행할 수도 있습니다. 할당 해제 작업을 통해 호스트는 더 이상 유효한 데이터를 포함하지 않으므로 더 이상 필요하지 않은 데이터 블록을 식별할 수 있습니다. 그런 다음 스토리지 시스템에서 이러한 데이터 블록을 제거하여 다른 곳에서 공간을 사용할 수 있습니다.

단계
  1. ESXi 호스트에서 TP4040 지원으로 DSM 할당 해제 설정을 확인합니다.

    esxcfg-advcfg -g /Scsi/NVmeUseDsmTp4040

    예상 값은 0입니다.

  2. TP4040 지원으로 DSM 할당 해제 설정을 활성화합니다.

    esxcfg-advcfg -s 1 /Scsi/NvmeUseDsmTp4040

  3. TP4040 지원과 함께 DSM 할당 해제 설정이 활성화되어 있는지 확인합니다.

    esxcfg-advcfg -g /Scsi/NVmeUseDsmTp4040

    예상 값은 1입니다.

VMware vSphere의 NVMe 할당 해제에 대한 자세한 내용은 을 참조하십시오 "vSphere에서 스토리지 공간 재확보"

알려진 문제

ONTAP를 사용하는 ESXi 8.x의 NVMe-oF 호스트 구성에는 다음과 같은 알려진 문제가 있습니다.

NetApp 버그 ID 제목 설명

"1420654)를 참조하십시오"

NVMe/FC 프로토콜을 ONTAP 버전 9.9.1과 함께 사용할 때 ONTAP 노드가 작동하지 않습니다

ONTAP 9.9.1에서는 NVMe "ABORT" 명령에 대한 지원이 도입되었습니다. ONTAP가 파트너 명령을 기다리는 NVMe fused 명령을 중단하기 위해 "abort" 명령을 수신하면 ONTAP 노드 중단이 발생합니다. 이 문제는 NVMe fused 명령(예: ESX) 및 파이버 채널(FC) 전송을 사용하는 호스트에서만 발생합니다.

1543660)을 참조하십시오

vNVMe 어댑터를 사용하는 Linux VM에서 긴 모든 경로 중단(APD) 창이 발생할 때 I/O 오류가 발생합니다

vSphere 8.x 이상을 실행하고 vNVMe(vNVME) 어댑터를 사용하는 Linux VM에서 기본적으로 vNVMe 재시도 작업이 비활성화되어 I/O 오류가 발생합니다. APD(All Path Down) 또는 입출력 로드가 많을 때 이전 커널을 실행하는 Linux VM의 중단을 방지하기 위해 VMware는 vNVMe 재시도 작업을 비활성화하기 위해 조정 가능한 "VSCSIDisableNvmeRetry"를 도입했습니다.