본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

Oracle Linux 9.4 with ONTAP용 NVMe-oF 호스트 구성

12/18/2024 기여자

NetApp SAN 호스트 구성은 ANA(Asymmetric Namespace Access)를 통해 NVMe-oF(NVMe over Fabrics) 프로토콜을 지원합니다. NVMe-oF 환경에서 ANA는 iSCSI 및 FCP 환경에서 ALUA(Asymmetric Logical Unit Access) 다중 경로와 같습니다. ANA는 커널 내 NVMe 다중 경로 기능을 사용하여 구현됩니다.

이 작업에 대해

ONTAP 스토리지가 포함된 Oracle Linux 9.4 용 NVMe-oF 호스트 구성에서 다음과 같은 지원 및 기능을 사용할 수 있습니다. 또한 구성 프로세스를 시작하기 전에 알려진 제한 사항을 검토해야 합니다.

사용 가능한 지원:
- NVMe/FC(NVMe over Fibre Channel) 외에도 NVMe over TCP(NVMe/TCP) 지원 네이티브 NVMe-CLI 패키지의 NetApp 플러그인은 NVMe/FC 및 NVMe/TCP 네임스페이스 모두에 대한 ONTAP 세부 정보를 표시합니다.
- 동일한 호스트에서 NVMe 및 SCSI 트래픽 모두 실행 예를 들어, SCSI LUN에 대해 SCSI mpath 디바이스에 대해 dm-multipath를 구성하고 NVMe multipath를 사용하여 호스트에 NVMe-oF 네임스페이스 디바이스를 구성할 수 있습니다.
  
  지원되는 구성에 대한 자세한 내용은 를 참조하십시오 "NetApp 상호 운용성 매트릭스 툴".
사용 가능한 기능:
- ONTAP 9.12.1부터 NVMe-oF에 대한 안전한 대역 내 인증 지원이 도입되었습니다. Oracle Linux 9.4와 함께 NVMe-oF에 대한 보안 인밴드 인증을 사용할 수 있습니다
- 기본적으로 NVMe 네임스페이스를 위해 커널 내 NVMe 다중 경로를 지원하므로 명시적 설정이 필요하지 않습니다.
알려진 제한 사항:
- 현재 NVMe-oF 프로토콜을 사용한 SAN 부팅은 지원되지 않습니다.

소프트웨어 버전을 확인합니다

다음 절차를 사용하여 지원되는 최소 Oracle Linux 9.4 소프트웨어 버전을 검증할 수 있습니다.

단계

서버에 Oracle Linux 9.4 GA를 설치합니다. 설치가 완료되면 지정된 Oracle Linux 9.4 GA 커널을 실행 중인지 확인합니다.
```
uname -r
```
```
5.15.0-205.149.5.1.el9uek.x86_64
```

"NVMe-CLI" 패키지를 설치합니다.

rpm -qa|grep nvme-cli

nvme-cli-2.6-5.el9.x86_64

를 설치합니다 libnvme 패키지:

rpm -qa|grep libnvme

libnvme-1.6-1.el9.x86_64

Oracle Linux 9.4 호스트에서 hostnqn /etc/nvme/hostnqn 다음 위치에서 문자열을 확인합니다.
```
cat /etc/nvme/hostnqn
```
```
nqn.2014-08.org.nvmexpress:uuid:9c5d23fe-21c5-472f-9aa4-dc68de0882e9
```

를 확인합니다 hostnqn 문자열이 과 일치합니다 hostnqn ONTAP 배열의 해당 하위 시스템에 대한 문자열:

vserver nvme subsystem host show -vserver vs_coexistence_149

예제 보기

Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_149
        nvme
                  regular   nqn.2014-08.org.nvmexpress:uuid:9c5d23fe-21c5-472f-9aa4-dc68de0882e9
        nvme_1
                  regular   nqn.2014-08.org.nvmexpress:uuid:9c5d23fe-21c5-472f-9aa4-dc68de0882e9
        nvme_2
                  regular   nqn.2014-08.org.nvmexpress:uuid:9c5d23fe-21c5-472f-9aa4-dc68de0882e9
        nvme_3
                  regular   nqn.2014-08.org.nvmexpress:uuid:9c5d23fe-21c5-472f-9aa4-dc68de0882e9
4 entries were displayed.

문자열이 일치하지 않으면 hostnqn 명령을 사용하여 해당 ONTAP 배열 하위 시스템의 문자열을 /etc/nvme/hostnqn 호스트의 문자열과 일치하도록 hostnqn 업데이트할 hostnqn 수 vserver modify 있습니다.

NVMe/FC 구성

Broadcom/Emulex FC 또는 Marvell/Qlogic FC 어댑터를 사용하여 NVMe/FC를 구성할 수 있습니다. Broadcom 어댑터로 구성된 NVMe/FC의 경우 1MB 크기의 I/O 요청을 활성화할 수 있습니다.

Broadcom/Emulex

Broadcom/Emulex 어댑터용 NVMe/FC를 구성합니다.

단계

지원되는 어댑터 모델을 사용하고 있는지 확인합니다.
1. cat /sys/class/scsi_host/host*/modelname
  LPe32002-M2 LPe32002-M2
2. cat /sys/class/scsi_host/host*/modeldesc
  Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
권장 Broadcom을 사용하고 있는지 확인합니다 lpfc 펌웨어 및 받은 편지함 드라이버:
1. cat /sys/class/scsi_host/host*/fwrev
  14.4.317.7, sli-4:2:c 14.4.317.7, sli-4:2:c
2. cat /sys/module/lpfc/version
  0:14.2.0.13
  지원되는 어댑터 드라이버 및 펌웨어 버전의 최신 목록은 를 참조하십시오 "NetApp 상호 운용성 매트릭스 툴".
확인합니다 lpfc_enable_fc4_type 가 로 설정되어 있습니다 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
3
```
이니시에이터 포트를 볼 수 있는지 확인합니다.

cat /sys/class/fc_host/host*/port_name
```
0x100000109b3c081f
0x100000109b3c0820
```
이니시에이터 포트가 온라인 상태인지 확인합니다.

cat /sys/class/fc_host/host*/port_state
```
Online
Online
```

NVMe/FC 이니시에이터 포트가 활성화되었고 타겟 포트가 표시되는지 확인합니다.

cat /sys/class/scsi_host/host*/nvme_info

예제 보기

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b3c081f WWNN x200000109b3c081f DID x081600 ONLINE
NVME RPORT       WWPN x2020d039eab0dadc WWNN x201fd039eab0dadc DID x08010c TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2024d039eab0dadc WWNN x201fd039eab0dadc DID x08030c TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000027d8 Cmpl 00000027d8 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000315454fa Issue 00000000314de6a4 OutIO fffffffffff991aa
        abort 00000be4 noxri 00000000 nondlp 00001903 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000c92 Err 0000bda4

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b3c0820 WWNN x200000109b3c0820 DID x081b00 ONLINE
NVME RPORT       WWPN x2027d039eab0dadc WWNN x201fd039eab0dadc DID x08020c TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2025d039eab0dadc WWNN x201fd039eab0dadc DID x08040c TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000026ac Cmpl 00000026ac Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000312a5478 Issue 00000000312465a2 OutIO fffffffffffa112a
        abort 00000b01 noxri 00000000 nondlp 00001ae4 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000b53 Err 0000ba63

Marvell/QLogic

Marvell/QLogic 어댑터용 NVMe/FC를 구성합니다.

Oracle Linux 9.4 GA 커널에 포함된 기본 받은 편지함 qla2xxx 드라이버에는 최신 수정 사항이 있습니다. 이러한 수정 사항은 ONTAP 지원에 필수적입니다.

단계

지원되는 어댑터 드라이버 및 펌웨어 버전을 실행하고 있는지 확인합니다.

cat /sys/class/fc_host/host*/symbolic_name

QLE2872 FW:v9.15.00 DVR:v10.02.09.100-k
QLE2872 FW:v9.15.00 DVR:v10.02.09.100-k

확인합니다 ql2xnvmeenable 가 설정됩니다. 그러면 Marvell 어댑터가 NVMe/FC Initiator로 작동할 수 있습니다.
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
```
1
```

1MB I/O 크기 활성화(옵션)

ONTAP는 컨트롤러 식별 데이터에서 MDTS(MAX Data 전송 크기)를 8로 보고합니다. 이는 최대 I/O 요청 크기가 1MB까지 될 수 있음을 의미합니다. Broadcom NVMe/FC 호스트에 대해 1MB 크기의 I/O 요청을 발행하려면 매개 변수 값을 lpfc_sg_seg_cnt 기본값인 64에서 256으로 늘려야 lpfc 합니다.

이 단계는 Qlogic NVMe/FC 호스트에는 적용되지 않습니다.

단계

`lpfc_sg_seg_cnt`매개변수를 256으로 설정합니다.

cat /etc/modprobe.d/lpfc.conf

options lpfc lpfc_sg_seg_cnt=256

`dracut -f`명령을 실행하고 호스트를 재부팅합니다.
의 예상 값이 256인지 확인합니다 lpfc_sg_seg_cnt.
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

NVMe/TCP를 구성합니다

NVMe/TCP 프로토콜이 작업을 지원하지 auto-connect 않습니다. 대신 NVMe/TCP 또는 connect-all 작업을 수동으로 수행하여 NVMe/TCP 하위 시스템과 네임스페이스를 검색할 수 connect 있습니다.

단계

이니시에이터 포트가 지원되는 NVMe/TCP LIF에서 검색 로그 페이지 데이터를 가져올 수 있는지 확인합니다.

nvme discover -t tcp -w host-traddr -a traddr

예제 보기

nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56

Discovery Log Number of Records 10, Generation counter 15
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  13
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.cf84a53c81b111ef8446d039ea9ea481:discovery
traddr:  192.168.165.56
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  9
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.cf84a53c81b111ef8446d039ea9ea481:discovery
traddr:  192.168.166.56
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  13
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.cf84a53c81b111ef8446d039ea9ea481:subsystem.nvme_tcp_2
traddr:  192.168.165.56
eflags:  none
sectype: none

다른 NVMe/TCP 이니시에이터-타겟 LIF 조합이 검색 로그 페이지 데이터를 성공적으로 가져올 수 있는지 확인합니다.

nvme discover -t tcp -w host-traddr -a traddr

nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56
nvme discover -t tcp -w 192.168.165.3 -a 192.168.165.56

를 실행합니다 nvme connect-all 노드에 걸쳐 지원되는 모든 NVMe/TCP 이니시에이터-타겟 LIF에 대한 명령:

nvme connect-all -t tcp -w host-traddr -a traddr

nvme connect-all -t tcp -w 192.168.166.4 -a 192.168.166.56
nvme connect-all -t tcp -w 192.168.165.3 -a 192.168.165.56

Oracle Linux 9.4부터는 NVMe/TCP에 대한 기본 설정이 ctrl_loss_tmo timeout 꺼지고 재시도 횟수에 제한이 없습니다(무제한 재시도). 또는 nvme connect-all 명령(option-l)을 사용할 때는 특정 기간을 nvme connect 수동으로 구성할 필요가 ctrl_loss_tmo timeout 없습니다. 이 기본 동작에서는 경로 장애 발생 시 NVMe/TCP 컨트롤러가 시간 초과를 경험하지 않고 무기한 연결된 상태를 유지합니다.

NVMe-oF를 검증합니다

ONTAP LUN에 대한 올바른 작업을 지원하려면 커널 내 NVMe 다중 경로 상태, ANA 상태 및 ONTAP 네임스페이스가 NVMe-oF 구성에 적합한지 확인하십시오.

단계

Oracle Liniux 9.4 호스트에서 다음 NVMe/FC 설정을 확인합니다.
1. cat /sys/module/nvme_core/parameters/multipath
  Y
2. cat /sys/class/nvme-subsystem/nvme-subsys*/model
  NetApp ONTAP Controller NetApp ONTAP Controller
3. cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  round-robin round-robin

호스트에서 네임스페이스가 생성되고 올바르게 검색되는지 확인합니다.

nvme list

예제 보기

Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 81K2iBXAYSG6AAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 81K2iBXAYSG6AAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 81K2iBXAYSG6AAAAAAAB NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 3.78GB/10.74GB 4 KiB + 0 B       FFFFFFFF
2                 3.78GB/10.74GB 4 KiB +  0 B      FFFFFFFF
3	              3.78GB/10.74GB 4 KiB + 0 B       FFFFFFFF

각 경로의 컨트롤러 상태가 라이브이고 올바른 ANA 상태인지 확인합니다.

NVMe/FC

nvme list-subsys /dev/nvme0n1

예제 보기

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f074d527b7011ef8446d039ea9ea481:subsystem.nvme
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:060fd513-83be-4c3e-aba1-52e169056dcf
               iopolicy=round-robin
\
 +- nvme10 fc traddr=nn-0x201fd039eab0dadc:pn-0x2024d039eab0dadc,host_traddr=nn-0x200000109b3c081f:pn-0x100000109b3c081f live non-optimized
 +- nvme15 fc traddr=nn-0x201fd039eab0dadc:pn-0x2020d039eab0dadc,host_traddr=nn-0x200000109b3c081f:pn-0x100000109b3c081f live optimized
 +- nvme7 fc traddr=nn-0x201fd039eab0dadc:pn-0x2025d039eab0dadc,host_traddr=nn-0x200000109b3c0820:pn-0x100000109b3c0820 live non-optimized
 +- nvme9 fc traddr=nn-0x201fd039eab0dadc:pn-0x2027d039eab0dadc,host_traddr=nn-0x200000109b3c0820:pn-0x100000109b3c0820 live optimized

NVMe/TCP

nvme list-subsys /dev/nvme1n22

예제 보기

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.cf84a53c81b111ef8446d039ea9ea481:subsystem.nvme_tcp_1
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:9796c1ec-0d34-11eb-b6b2-3a68dd3bab57
               iopolicy=round-robin
\
 +- nvme2 tcp traddr=192.168.166.56,trsvcid=4420,host_traddr=192.168.166.4,src_addr=192.168.166.4 live optimized
 +- nvme4 tcp traddr=192.168.165.56,trsvcid=4420,host_traddr=192.168.165.3,src_addr=192.168.165.3 live non-optimized

NetApp 플러그인에 각 ONTAP 네임스페이스 장치에 대한 올바른 값이 표시되는지 확인합니다.

열

nvme netapp ontapdevices -o column

예제 보기

Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme0n1  	 vs_coexistence_147	/vol/fcnvme_1_1_0/fcnvme_ns
/dev/nvme0n2     vs_coexistence_147	/vol/fcnvme_1_1_1/fcnvme_ns
/dev/nvme0n3	 vs_coexistence_147	/vol/fcnvme_1_1_2/fcnvme_ns




NSID       UUID                                   Size
------------------------------------------------------------
1	e605babf-1b54-417d-843b-bc14355b70c5	10.74GB
2	b8dbecc7-14c5-4d84-b948-73c7abf5af43	10.74GB
3	ba24d1a3-1911-4351-83a9-1c843d04633c	10.74GB

JSON을 참조하십시오

nvme netapp ontapdevices -o json

예제 보기

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme0n1",
      "Vserver":"vs_coexistence_147",
      "Namespace_Path":"/vol/fcnvme_1_1_0/fcnvme_ns",
      "NSID":1,
      "UUID":"e605babf-1b54-417d-843b-bc14355b70c5",
      "Size":"10.74GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":2621440
    },
    {
      "Device":"/dev/nvme0n2",
      "Vserver":"vs_coexistence_147",
      "Namespace_Path":"/vol/fcnvme_1_1_1/fcnvme_ns",
      "NSID":2,
      "UUID":"b8dbecc7-14c5-4d84-b948-73c7abf5af43",
      "Size":"10.74GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":2621440
    },
    {
      "Device":"/dev/nvme0n3",
      "Vserver":"vs_coexistence_147",
      "Namespace_Path":"/vol/fcnvme_1_1_2/fcnvme_ns",
      "NSID":3,
      "UUID":"c236905d-a335-47c4-a4b1-89ae30de45ae",
      "Size":"10.74GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":2621440
    },
    ]
}

보안 대역내 인증을 설정합니다

ONTAP 9.12.1부터 Oracle Linux 9.4 호스트와 ONTAP 컨트롤러 간에 NVMe/TCP 및 NVMe/FC를 통해 보안 인밴드 인증이 지원됩니다.

보안 인증을 설정하려면 각 호스트 또는 컨트롤러가 에 연결되어 있어야 합니다 DH-HMAC-CHAP 키 - NVMe 호스트 또는 컨트롤러의 NQN과 관리자가 구성한 인증 비밀의 조합입니다. 피어를 인증하려면 NVMe 호스트 또는 컨트롤러가 피어와 연결된 키를 인식해야 합니다.

CLI 또는 구성 JSON 파일을 사용하여 보안 대역 내 인증을 설정할 수 있습니다. 서로 다른 하위 시스템에 대해 다른 dhchap 키를 지정해야 하는 경우 구성 JSON 파일을 사용해야 합니다.

CLI를 참조하십시오

CLI를 사용하여 보안 인밴드 인증을 설정합니다.

단계

호스트 NQN 가져오기:
```
cat /etc/nvme/hostnqn
```

OL 9.4 호스트에 대한 dhchap 키를 생성합니다.

다음 출력에서는 명령 매개 변수에 대해 gen-dhchap-key 설명합니다.

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

다음 예에서는 HMAC이 3(SHA-512)으로 설정된 임의의 dhchap 키가 생성됩니다.

# nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:9796c1ec-0d34-11eb-b6b2-3a68dd3bab57
DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:

ONTAP 컨트롤러에서 호스트를 추가하고 두 dhchap 키를 모두 지정합니다.

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

호스트는 단방향 및 양방향이라는 두 가지 유형의 인증 방법을 지원합니다. 호스트에서 ONTAP 컨트롤러에 연결하고 선택한 인증 방법에 따라 dhchap 키를 지정합니다.
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

의 유효성을 검사합니다 nvme connect authentication 호스트 및 컨트롤러 dhchap 키를 확인하여 명령:

호스트 dhchap 키를 확인합니다.

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

단방향 설정에 대한 출력 예제를 표시합니다

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme*/dhchap_secret
DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak/G2XjgJpKZeK:
DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak/G2XjgJpKZeK:

컨트롤러 dhchap 키를 확인합니다.

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

에는 양방향 구성의 출력 예가 나와 있습니다

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme*/dhchap_ctrl_secret
DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:
DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:

JSON 파일

ONTAP 컨트롤러 구성에서 여러 NVMe 서브시스템을 사용할 수 있는 경우 파일을 명령과 함께 nvme connect-all 사용할 수 /etc/nvme/config.json 있습니다.

JSON 파일을 생성하려면 -o 옵션을 사용합니다. 자세한 구문 옵션은 NVMe Connect - 모든 설명서 페이지를 참조하십시오.

단계

JSON 파일 구성:

예제 보기

cat /etc/nvme/config.json
[
  {
    "hostnqn":"nqn.2014-08.org.nvmexpress:uuid:9796c1ec-0d34-11eb-b6b2-3a68dd3bab57",
    "hostid":"9796c1ec-0d34-11eb-b6b2-3a68dd3bab57",
    "dhchap_key":"DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak\/G2XjgJpKZeK:",
    "subsystems":[
      {
        "nqn":"nqn.1992-08.com.netapp:sn.cf84a53c81b111ef8446d039ea9ea481:subsystem.nvme_tcp_1",
        "ports":[
          {
            "transport":"tcp",
            "traddr":"192.168.165.56",
            "host_traddr":"192.168.165.3",
            "trsvcid":"4420",
            "dhchap_key":"DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak\/G2XjgJpKZeK:",
            "dhchap_ctrl_key":"DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM\/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:"
          },
          {
            "transport":"tcp",
            "traddr":"192.168.166.56",
            "host_traddr":"192.168.166.4",
            "trsvcid":"4420",
            "dhchap_key":"DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak\/G2XjgJpKZeK:",
            "dhchap_ctrl_key":"DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM\/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:"
          }
        ]
      }
    ]
  }
]

위의 예제에서 는 dhchap_key 에 해당하고 에 dhchap_secret dhchap_ctrl_key dhchap_ctrl_secret 해당합니다.

config JSON 파일을 사용하여 ONTAP 컨트롤러에 연결합니다.

nvme connect-all -J /etc/nvme/config.json

예제 보기

traddr=192.168.165.56 is already connected
traddr=192.168.165.56 is already connected
traddr=192.168.165.56 is already connected
traddr=192.168.165.56 is already connected
traddr=192.168.165.56 is already connected
traddr=192.168.165.56 is already connected
traddr=192.168.166.56 is already connected
traddr=192.168.166.56 is already connected
traddr=192.168.166.56 is already connected
traddr=192.168.166.56 is already connected
traddr=192.168.166.56 is already connected
traddr=192.168.166.56 is already connected

각 하위 시스템에 대해 해당 컨트롤러에 대해 dhchap 암호가 활성화되어 있는지 확인합니다.

호스트 dhchap 키를 확인합니다.

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_secret

DHHC-1:01:OKIc4l+fs+fmpAj0hMK7ay8tTIzjccUWSCak/G2XjgJpKZeK:

컨트롤러 dhchap 키를 확인합니다.

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_ctrl_secret

DHHC-1:03:zSq3+upTmknih8+6Ro0yw6KBQNAXjHFrOxQJaE5i916YdM/xsUSTdLkHw2MMmdFuGEslj6+LhNdf5HF0qfroFPgoQpU=:

알려진 문제

Oracle Linux 9.4과 ONTAP 릴리스의 경우 알려진 문제가 없습니다.

Oracle Linux 9.4 with ONTAP용 NVMe-oF 호스트 구성

Creating your file...

소프트웨어 버전을 확인합니다

NVMe/FC 구성

1MB I/O 크기 활성화(옵션)

NVMe/TCP를 구성합니다

NVMe-oF를 검증합니다

보안 대역내 인증을 설정합니다

알려진 문제