ONTAP가 있는 ESXi 8.x용 NVMe-oF 호스트 구성
ESXi 8.x 및 ONTAP를 실행 중인 이니시에이터 호스트에 NVMe-oF(NVMe over Fabrics)를 타겟으로 구성할 수 있습니다.
지원 가능성
-
ONTAP 9.16.1부터 새로 생성된 모든 NVMe 네임스페이스에 대해 기본적으로 공간 할당이 활성화됩니다.
-
ONTAP 9.9.1 P3부터 ESXi 8 이상에서 NVMe/FC 프로토콜이 지원됩니다.
-
ONTAP 9.10.1부터 ONTAP에 대해 NVMe/TCP 프로토콜이 지원됩니다.
피처
-
ESXi 이니시에이터 호스트는 동일한 어댑터 포트를 통해 NVMe/FC 및 FCP 트래픽을 모두 실행할 수 있습니다. 를 참조하십시오 "Hardware Universe" 지원되는 FC 어댑터 및 컨트롤러 목록은 를 참조하십시오. 를 참조하십시오 "NetApp 상호 운용성 매트릭스 툴" 를 참조하십시오.
-
ESXi 8.0 이상 릴리즈의 경우 HPP(고성능 플러그인)가 NVMe 장치의 기본 플러그인입니다.
알려진 제한 사항
-
RDM 매핑은 지원되지 않습니다.
NVMe/FC를 사용하도록 설정합니다
NVMe/FC는 vSphere 릴리즈에서 기본적으로 활성화되어 있습니다.
ESXi 호스트 NQN 문자열을 확인하여 ONTAP 스토리지의 해당 하위 시스템에 대한 호스트 NQN 문자열과 일치하는지 확인해야 합니다.
# esxcli nvme info get
예제 출력:
Host NQN: nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436
# vserver nvme subsystem host show -vserver nvme_fc
예제 출력:
Vserver Subsystem Host NQN ------- --------- ---------------------------------------------------------- nvme_fc nvme_ss nqn.2014-08.org.nvmexpress:uuid:62a19711-ba8c-475d-c954-0000c9f1a436
호스트 NQN 문자열이 일치하지 않으면 를 사용해야 합니다 vserver nvme subsystem host add
명령을 사용하여 해당 ONTAP NVMe 하위 시스템에서 올바른 호스트 NQN 문자열을 업데이트합니다.
Broadcom/Emulex 및 Marvell/Qlogic을 구성합니다
를 클릭합니다 lpfc
드라이버 및 qlnativefc
vSphere 8.x의 드라이버에는 기본적으로 NVMe/FC 기능이 활성화되어 있습니다.
드라이버 또는 펌웨어에서 구성이 지원되는지 확인하려면 을 "상호 운용성 매트릭스 툴"참조하십시오.
NVMe/FC를 검증합니다
다음 절차를 사용하여 NVMe/FC를 검증할 수 있습니다.
-
ESXi 호스트에 NVMe/FC 어댑터가 나열되는지 확인합니다.
# esxcli nvme adapter list
예제 출력:
Adapter Adapter Qualified Name Transport Type Driver Associated Devices ------- ------------------------------- -------------- ---------- ------------------ vmhba64 aqn:lpfc:100000109b579f11 FC lpfc vmhba65 aqn:lpfc:100000109b579f12 FC lpfc vmhba66 aqn:qlnativefc:2100f4e9d456e286 FC qlnativefc vmhba67 aqn:qlnativefc:2100f4e9d456e287 FC qlnativefc
-
NVMe/FC 네임스페이스가 올바르게 생성되었는지 확인합니다.
다음 예제의 UUID는 NVMe/FC 네임스페이스 장치를 나타냅니다.
# esxcfg-mpath -b uuid.116cb7ed9e574a0faf35ac2ec115969d : NVMe Fibre Channel Disk (uuid.116cb7ed9e574a0faf35ac2ec115969d) vmhba64:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50 Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:05:d0:39:ea:3a:b2:1f vmhba64:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:50 WWPN: 21:00:00:24:ff:7f:4a:50 Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:07:d0:39:ea:3a:b2:1f vmhba65:C0:T1:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51 Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:08:d0:39:ea:3a:b2:1f vmhba65:C0:T0:L5 LUN:5 state:active fc Adapter: WWNN: 20:00:00:24:ff:7f:4a:51 WWPN: 21:00:00:24:ff:7f:4a:51 Target: WWNN: 20:04:d0:39:ea:3a:b2:1f WWPN: 20:06:d0:39:ea:3a:b2:1f
ONTAP 9.7에서 NVMe/FC 네임스페이스의 기본 블록 크기는 4K입니다. 이 기본 크기는 ESXi와 호환되지 않습니다. 따라서 ESXi용 네임스페이스를 생성할 때 네임스페이스 블록 크기를 * 512B * 로 설정해야 합니다. 를 사용하여 이 작업을 수행할 수 있습니다
vserver nvme namespace create
명령.예:
'vserver NVMe namespace create-vserver vs_1-path /vol/nsvol/Namespace1-size 100g-OSType VMware-block-size 512B'
을 참조하십시오 "ONTAP 9 명령 man 페이지" 를 참조하십시오.
-
각 NVMe/FC 네임스페이스 장치의 개별 ANA 경로 상태를 확인하십시오.
# esxcli storage hpp path list -d uuid.df960bebb5a74a3eaaa1ae55e6b3411d fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2005d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d Runtime Name: vmhba64:C0:T0:L3 Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d) Path State: active unoptimized Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP} fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2008d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d Runtime Name: vmhba65:C0:T1:L3 Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d) Path State: active Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP} fc.20000024ff7f4a51:21000024ff7f4a51-fc.2004d039ea3ab21f:2006d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d Runtime Name: vmhba65:C0:T0:L3 Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d) Path State: active unoptimized Path Config: {ANA_GRP_id=4,ANA_GRP_state=ANO,health=UP} fc.20000024ff7f4a50:21000024ff7f4a50-fc.2004d039ea3ab21f:2007d039ea3ab21f-uuid.df960bebb5a74a3eaaa1ae55e6b3411d Runtime Name: vmhba64:C0:T1:L3 Device: uuid.df960bebb5a74a3eaaa1ae55e6b3411d Device Display Name: NVMe Fibre Channel Disk (uuid.df960bebb5a74a3eaaa1ae55e6b3411d) Path State: active Path Config: {ANA_GRP_id=4,ANA_GRP_state=AO,health=UP}
NVMe/TCP를 구성합니다
ESXi 8.x에서는 필요한 NVMe/TCP 모듈이 기본적으로 로드됩니다. 네트워크 및 NVMe/TCP 어댑터를 구성하려면 VMware vSphere 설명서를 참조하십시오.
NVMe/TCP를 검증합니다
다음 절차를 사용하여 NVMe/TCP를 검증할 수 있습니다.
-
NVMe/TCP 어댑터의 상태를 확인합니다.
esxcli nvme adapter list
예제 출력:
Adapter Adapter Qualified Name Transport Type Driver Associated Devices ------- ------------------------------- -------------- ------- ------------------ vmhba65 aqn:nvmetcp:ec-2a-72-0f-e2-30-T TCP nvmetcp vmnic0 vmhba66 aqn:nvmetcp:34-80-0d-30-d1-a0-T TCP nvmetcp vmnic2 vmhba67 aqn:nvmetcp:34-80-0d-30-d1-a1-T TCP nvmetcp vmnic3
-
NVMe/TCP 연결 목록 검색:
esxcli nvme controller list
예제 출력:
Name Controller Number Adapter Transport Type Is Online Is VVOL --------------------------------------------------------------------------------------------------------- ----------------- ------- nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.166:8009 256 vmhba64 TCP true false nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.165:4420 258 vmhba64 TCP true false nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.168:4420 259 vmhba64 TCP true false nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.166:4420 260 vmhba64 TCP true false nqn.2014-08.org.nvmexpress.discovery#vmhba64#192.168.100.165:8009 261 vmhba64 TCP true false nqn.2014-08.org.nvmexpress.discovery#vmhba65#192.168.100.155:8009 262 vmhba65 TCP true false nqn.1992-08.com.netapp:sn.89bb1a28a89a11ed8a88d039ea263f93:subsystem.nvme_ss#vmhba64#192.168.100.167:4420 264 vmhba64 TCP true false
-
NVMe 네임스페이스에 대한 경로 수 목록을 검색합니다.
esxcli storage hpp path list -d uuid.f4f14337c3ad4a639edf0e21de8b88bf
예제 출력:
tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.165:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf Runtime Name: vmhba64:C0:T0:L5 Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf) Path State: active Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP} tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.168:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf Runtime Name: vmhba64:C0:T3:L5 Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf) Path State: active unoptimized Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP} tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.166:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf Runtime Name: vmhba64:C0:T2:L5 Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf) Path State: active unoptimized Path Config: {ANA_GRP_id=6,ANA_GRP_state=ANO,health=UP} tcp.vmnic2:34:80:0d:30:ca:e0-tcp.192.168.100.167:4420-uuid.f4f14337c3ad4a639edf0e21de8b88bf Runtime Name: vmhba64:C0:T1:L5 Device: uuid.f4f14337c3ad4a639edf0e21de8b88bf Device Display Name: NVMe TCP Disk (uuid.f4f14337c3ad4a639edf0e21de8b88bf) Path State: active Path Config: {ANA_GRP_id=6,ANA_GRP_state=AO,health=UP}
NVMe 할당 해제
ONTAP 9.16.1 이상에서 ESXi 8.0u2 이상에 대해 NVMe 할당 해제 명령이 지원됩니다.
할당 해제 지원은 항상 NVMe 네임스페이스에 대해 활성화됩니다. 할당 해제를 통해 게스트 OS가 VMFS 데이터 저장소에서 'UNMAP'('TRIM'이라고도 함) 작업을 수행할 수도 있습니다. 할당 해제 작업을 통해 호스트는 더 이상 유효한 데이터를 포함하지 않으므로 더 이상 필요하지 않은 데이터 블록을 식별할 수 있습니다. 그런 다음 스토리지 시스템에서 이러한 데이터 블록을 제거하여 다른 곳에서 공간을 사용할 수 있습니다.
-
ESXi 호스트에서 TP4040 지원으로 DSM 할당 해제 설정을 확인합니다.
esxcfg-advcfg -g /Scsi/NVmeUseDsmTp4040
예상 값은 0입니다.
-
TP4040 지원으로 DSM 할당 해제 설정을 활성화합니다.
esxcfg-advcfg -s 1 /Scsi/NvmeUseDsmTp4040
-
TP4040 지원과 함께 DSM 할당 해제 설정이 활성화되어 있는지 확인합니다.
esxcfg-advcfg -g /Scsi/NVmeUseDsmTp4040
예상 값은 1입니다.
VMware vSphere의 NVMe 할당 해제에 대한 자세한 내용은 을 참조하십시오 "vSphere에서 스토리지 공간 재확보"
알려진 문제
ONTAP를 사용하는 ESXi 8.x의 NVMe-oF 호스트 구성에는 다음과 같은 알려진 문제가 있습니다.
NetApp 버그 ID | 제목 | 설명 |
---|---|---|
NVMe/FC 프로토콜을 ONTAP 버전 9.9.1과 함께 사용할 때 ONTAP 노드가 작동하지 않습니다 |
ONTAP 9.9.1에서는 NVMe "ABORT" 명령에 대한 지원이 도입되었습니다. ONTAP가 파트너 명령을 기다리는 NVMe fused 명령을 중단하기 위해 "abort" 명령을 수신하면 ONTAP 노드 중단이 발생합니다. 이 문제는 NVMe fused 명령(예: ESX) 및 파이버 채널(FC) 전송을 사용하는 호스트에서만 발생합니다. |
|
1543660)을 참조하십시오 |
vNVMe 어댑터를 사용하는 Linux VM에서 긴 모든 경로 중단(APD) 창이 발생할 때 I/O 오류가 발생합니다 |
vSphere 8.x 이상을 실행하고 vNVMe(vNVME) 어댑터를 사용하는 Linux VM에서 기본적으로 vNVMe 재시도 작업이 비활성화되어 I/O 오류가 발생합니다. APD(All Path Down) 또는 입출력 로드가 많을 때 이전 커널을 실행하는 Linux VM의 중단을 방지하기 위해 VMware는 vNVMe 재시도 작업을 비활성화하기 위해 조정 가능한 "VSCSIDisableNvmeRetry"를 도입했습니다. |