본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

ONTAP가 있는 ESXi 8.x용 NVMe-oF 호스트 구성

11/20/2024 기여자

PDF

ESXi 8.x 및 ONTAP를 실행 중인 이니시에이터 호스트에 NVMe-oF(NVMe over Fabrics)를 타겟으로 구성할 수 있습니다.

지원 가능성

ONTAP 9.16.1부터 새로 생성된 모든 NVMe 네임스페이스에 대해 기본적으로 공간 할당이 활성화됩니다.
ONTAP 9.9.1 P3부터 ESXi 8 이상에서 NVMe/FC 프로토콜이 지원됩니다.
ONTAP 9.10.1부터 ONTAP에 대해 NVMe/TCP 프로토콜이 지원됩니다.

피처

ESXi 이니시에이터 호스트는 동일한 어댑터 포트를 통해 NVMe/FC 및 FCP 트래픽을 모두 실행할 수 있습니다. 를 참조하십시오 "Hardware Universe" 지원되는 FC 어댑터 및 컨트롤러 목록은 를 참조하십시오. 를 참조하십시오 "NetApp 상호 운용성 매트릭스 툴" 를 참조하십시오.
ESXi 8.0 이상 릴리즈의 경우 HPP(고성능 플러그인)가 NVMe 장치의 기본 플러그인입니다.

알려진 제한 사항

RDM 매핑은 지원되지 않습니다.

NVMe/FC를 사용하도록 설정합니다

NVMe/FC는 vSphere 릴리즈에서 기본적으로 활성화되어 있습니다.

호스트 NQN을 확인합니다

ESXi 호스트 NQN 문자열을 확인하여 ONTAP 스토리지의 해당 하위 시스템에 대한 호스트 NQN 문자열과 일치하는지 확인해야 합니다.

# esxcli nvme info get

예제 출력:

Host NQN: nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436

# vserver nvme subsystem host show -vserver nvme_fc

예제 출력:

Vserver Subsystem Host NQN
------- --------- ----------------------------------------------------------
nvme_fc nvme_ss  nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436

호스트 NQN 문자열이 일치하지 않으면 를 사용해야 합니다 vserver nvme subsystem host add 명령을 사용하여 해당 ONTAP NVMe 하위 시스템에서 올바른 호스트 NQN 문자열을 업데이트합니다.

Broadcom/Emulex 및 Marvell/Qlogic을 구성합니다

를 클릭합니다 lpfc 드라이버 및 qlnativefc vSphere 8.x의 드라이버에는 기본적으로 NVMe/FC 기능이 활성화되어 있습니다.

을 참조하십시오 "NetApp 상호 운용성 매트릭스 툴" 드라이버 또는 펌웨어에서 구성이 지원되는지 확인합니다.

NVMe/FC를 검증합니다

다음 절차를 사용하여 NVMe/FC를 검증할 수 있습니다.

단계

ESXi 호스트에 NVMe/FC 어댑터가 나열되는지 확인합니다.

# esxcli nvme adapter list

예제 출력:

Adapter  Adapter Qualified Name           Transport Type  Driver      Associated Devices
-------  -------------------------------  --------------  ----------  ------------------
vmhba64  aqn:lpfc:100000109b579f11        FC              lpfc
vmhba65  aqn:lpfc:100000109b579f12        FC              lpfc
vmhba66  aqn:qlnativefc:2100f4e9d456e286  FC              qlnativefc
vmhba67  aqn:qlnativefc:2100f4e9d456e287  FC              qlnativefc

NVMe/FC 네임스페이스가 올바르게 생성되었는지 확인합니다.

다음 예제의 UUID는 NVMe/FC 네임스페이스 장치를 나타냅니다.

# esxcfg-mpath -b
uuid.116cb7ed9e574a0faf35ac2ec115969d : NVMe Fibre Channel Disk (uuid.116cb7ed9e574a0faf35ac2ec115969d)
   vmhba64:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:05:d0:39:ea:3a:b2:1f
   vmhba64:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:07:d0:39:ea:3a:b2:1f
   vmhba65:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:08:d0:39:ea:3a:b2:1f
   vmhba65:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51  Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:06:d0:39:ea:3a:b2:1f

ONTAP 9.7에서 NVMe/FC 네임스페이스의 기본 블록 크기는 4K입니다. 이 기본 크기는 ESXi와 호환되지 않습니다. 따라서 ESXi용 네임스페이스를 생성할 때 네임스페이스 블록 크기를 * 512B * 로 설정해야 합니다. 를 사용하여 이 작업을 수행할 수 있습니다 vserver nvme namespace create 명령.

예:

'vserver NVMe namespace create-vserver vs_1-path /vol/nsvol/Namespace1-size 100g-OSType VMware-block-size 512B'

을 참조하십시오 "ONTAP 9 명령 man 페이지" 를 참조하십시오.

각 NVMe/FC 네임스페이스 장치의 개별 ANA 경로 상태를 확인하십시오.

# esxcli storage hpp path list -d uuid.df960bebb5a74a3eaaa1ae55e6b3411d

fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2005d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Runtime Name: vmhba64:C0:T0:L3
   Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
   Path State: active unoptimized
   Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP}

fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2008d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Runtime Name: vmhba65:C0:T1:L3
   Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
   Path State: active
   Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP}

fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2006d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Runtime Name: vmhba65:C0:T0:L3
   Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
   Path State: active unoptimized
   Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP}

fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2007d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Runtime Name: vmhba64:C0:T1:L3
   Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d
   Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d)
   Path State: active
   Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP}

NVMe/TCP를 구성합니다

ESXi 8.x에서는 필요한 NVMe/TCP 모듈이 기본적으로 로드됩니다. 네트워크 및 NVMe/TCP 어댑터를 구성하려면 VMware vSphere 설명서를 참조하십시오.

NVMe/TCP를 검증합니다

다음 절차를 사용하여 NVMe/TCP를 검증할 수 있습니다.

단계

NVMe/TCP 어댑터의 상태를 확인합니다.

esxcli nvme adapter list

예제 출력:

Adapter  Adapter Qualified Name           Transport Type  Driver   Associated Devices
-------  -------------------------------  --------------  -------  ------------------
vmhba65  aqn:nvmetcp:ec-2a-72-0f-e2-30-T  TCP             nvmetcp  vmnic0
vmhba66  aqn:nvmetcp:34-80-0d-30-d1-a0-T  TCP             nvmetcp  vmnic2
vmhba67  aqn:nvmetcp:34-80-0d-30-d1-a1-T  TCP             nvmetcp  vmnic3

NVMe/TCP 연결 목록 검색:

esxcli nvme controller list

예제 출력:

Name                                                  Controller Number  Adapter  Transport Type  Is Online  Is VVOL
---------------------------------------------------------------------------------------------------------  -----------------  -------
nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.166:8009  256  vmhba64  TCP                  true    false
nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.165:4420 258  vmhba64  TCP  true    false
nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.168:4420 259  vmhba64  TCP  true    false
nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.166:4420 260  vmhba64  TCP  true    false
nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.165:8009  261  vmhba64  TCP                  true    false
nqn.2014-08.org.nvmexpress.discovery#vmhba65#192.168.100.155:8009  262  vmhba65  TCP                  true    false
nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.167:4420 264  vmhba64  TCP  true    false

NVMe 네임스페이스에 대한 경로 수 목록을 검색합니다.

esxcli storage hpp path list -d uuid.f4f14337c3ad4a639edf0e21de8b88bf

예제 출력:

tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.165:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Runtime Name: vmhba64:C0:T0:L5
   Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
   Path State: active
   Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP}

tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.168:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Runtime Name: vmhba64:C0:T3:L5
   Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
   Path State: active unoptimized
   Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP}

tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.166:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Runtime Name: vmhba64:C0:T2:L5
   Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
   Path State: active unoptimized
   Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP}

tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.167:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Runtime Name: vmhba64:C0:T1:L5
   Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf
   Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf)
   Path State: active
   Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP}

공간 할당을 활성화합니다

ESXi 8.x 이상에서는 공간 할당이 지원됩니다.

공간 할당이 사용하도록 설정된 경우 네임스페이스에 공간이 부족할 경우 ONTAP는 쓰기 작업에 사용할 수 있는 여유 공간이 없음을 호스트와 통신합니다. 네임스페이스는 온라인 상태로 유지되고 읽기 작업은 계속 서비스됩니다. 사용 가능한 추가 공간이 생기면 쓰기 작업이 재개됩니다. 또한 공간 할당을 통해 호스트에서 작업을 수행할 수 UNMAP 있습니다(일명 TRIM). 매핑 해제 작업을 사용하면 호스트에서 더 이상 유효한 데이터를 포함하지 않으므로 더 이상 필요하지 않은 데이터 블록을 식별할 수 있습니다. 그런 다음 스토리지 시스템에서 해당 데이터 블록을 할당 해제하여 다른 곳에서 공간을 사용할 수 있도록 합니다.

시작하기 전에

"ONTAP 스토리지 시스템에서 공간을 할당할 수 있습니다".. 그런 다음 ESXi 호스트에서 다음 단계를 수행해야 합니다.

단계

ESXi 호스트에서 DSM이 비활성화되었는지 확인합니다.

esxcfg-advcfg -g /SCSi/NVmeUseDsmTp4040

예상 값은 0입니다.
NVMe DSM 활성화:

esxcfg-advcfg -s 1 /Scsi/NvmeUseDsmTp4040
DSM이 활성화되어 있는지 확인합니다.

esxcfg-advcfg -g /SCSi/NVmeUseDsmTp4040

예상 값은 1입니다.

알려진 문제

ONTAP를 사용하는 ESXi 8.x의 NVMe-oF 호스트 구성에는 다음과 같은 알려진 문제가 있습니다.

NetApp 버그 ID	제목	설명
"1420654)를 참조하십시오"	NVMe/FC 프로토콜을 ONTAP 버전 9.9.1과 함께 사용할 때 ONTAP 노드가 작동하지 않습니다	ONTAP 9.9.1에서는 NVMe "ABORT" 명령에 대한 지원이 도입되었습니다. ONTAP가 파트너 명령을 기다리는 NVMe fused 명령을 중단하기 위해 "abort" 명령을 수신하면 ONTAP 노드 중단이 발생합니다. 이 문제는 NVMe fused 명령(예: ESX) 및 파이버 채널(FC) 전송을 사용하는 호스트에서만 발생합니다.
1543660)을 참조하십시오	vNVMe 어댑터를 사용하는 Linux VM에서 긴 모든 경로 중단(APD) 창이 발생할 때 I/O 오류가 발생합니다	vSphere 8.x 이상을 실행하고 vNVMe(vNVME) 어댑터를 사용하는 Linux VM에서 기본적으로 vNVMe 재시도 작업이 비활성화되어 I/O 오류가 발생합니다. APD(All Path Down) 또는 입출력 로드가 많을 때 이전 커널을 실행하는 Linux VM의 중단을 방지하기 위해 VMware는 vNVMe 재시도 작업을 비활성화하기 위해 조정 가능한 "VSCSIDisableNvmeRetry"를 도입했습니다.

NetApp 버그 ID

제목

설명

"1420654)를 참조하십시오"

NVMe/FC 프로토콜을 ONTAP 버전 9.9.1과 함께 사용할 때 ONTAP 노드가 작동하지 않습니다

ONTAP 9.9.1에서는 NVMe "ABORT" 명령에 대한 지원이 도입되었습니다. ONTAP가 파트너 명령을 기다리는 NVMe fused 명령을 중단하기 위해 "abort" 명령을 수신하면 ONTAP 노드 중단이 발생합니다. 이 문제는 NVMe fused 명령(예: ESX) 및 파이버 채널(FC) 전송을 사용하는 호스트에서만 발생합니다.

1543660)을 참조하십시오

vNVMe 어댑터를 사용하는 Linux VM에서 긴 모든 경로 중단(APD) 창이 발생할 때 I/O 오류가 발생합니다

vSphere 8.x 이상을 실행하고 vNVMe(vNVME) 어댑터를 사용하는 Linux VM에서 기본적으로 vNVMe 재시도 작업이 비활성화되어 I/O 오류가 발생합니다. APD(All Path Down) 또는 입출력 로드가 많을 때 이전 커널을 실행하는 Linux VM의 중단을 방지하기 위해 VMware는 vNVMe 재시도 작업을 비활성화하기 위해 조정 가능한 "VSCSIDisableNvmeRetry"를 도입했습니다.

ONTAP가 있는 ESXi 8.x용 NVMe-oF 호스트 구성

Creating your file...

지원 가능성

피처

알려진 제한 사항

NVMe/FC를 사용하도록 설정합니다

Broadcom/Emulex 및 Marvell/Qlogic을 구성합니다

NVMe/FC를 검증합니다

NVMe/TCP를 구성합니다

NVMe/TCP를 검증합니다

공간 할당을 활성화합니다

알려진 문제