로컬 연결 스토리지용 ONTAP Select 소프트웨어 RAID 구성 서비스
변경 제안
PDF
소프트웨어 RAID는 ONTAP 소프트웨어 스택 내에 구현된 RAID 추상화 계층입니다. 이는 FAS와 같은 기존 ONTAP 플랫폼 내의 RAID 계층과 동일한 기능을 제공합니다. RAID 계층은 드라이브 패리티 계산을 수행하고 ONTAP Select 노드 내에서 개별 드라이브 장애로부터 보호 기능을 제공합니다.
하드웨어 RAID 구성과 관계없이 ONTAP Select는 소프트웨어 RAID 옵션도 제공합니다. 하드웨어 RAID 컨트롤러를 사용할 수 없거나 특정 환경에서는 바람직하지 않을 수 있습니다. 예를 들어 ONTAP Select가 소형 폼 팩터 일반 하드웨어에 구축된 경우입니다. 소프트웨어 RAID는 이러한 환경을 포함하도록 사용 가능한 배포 옵션을 확장합니다. 환경에서 소프트웨어 RAID를 활성화하려면 다음 사항을 유념하십시오.
-
Premium 또는 Premium XL 라이센스로 이용 가능합니다.
-
ONTAP 루트 및 데이터 디스크에는 SSD 또는 NVMe(Premium XL 라이센스 필요) 드라이브만 지원합니다.
-
ONTAP Select VM 부팅 파티션을 위해서는 별도의 시스템 디스크가 필요합니다.
-
시스템 디스크(다중 노드 구성에서 NVRAM, 부트/CF 카드, 코어 덤프 및 미디에이터)용 데이터 저장소를 생성하려면 SSD 또는 NVMe 드라이브와 같은 별도의 디스크를 선택하십시오.
-
|
|
로컬 연결 스토리지용 소프트웨어 RAID 구성
소프트웨어 RAID를 사용할 때는 하드웨어 RAID 컨트롤러가 없는 것이 이상적이지만, 시스템에 기존 RAID 컨트롤러가 있는 경우에는 다음 요구 사항을 충족해야 합니다.
-
디스크를 시스템에 직접 제공할 수 있도록(JBOD) 하드웨어 RAID 컨트롤러를 비활성화해야 합니다. 일반적으로 RAID 컨트롤러 BIOS에서 이 변경을 수행할 수 있습니다.
-
또는 하드웨어 RAID 컨트롤러가 SAS HBA 모드로 설정되어 있어야 합니다. 예를 들어, 일부 BIOS 구성에서는 RAID 외에도 "AHCI" 모드를 지원하는데, 이 모드를 선택하여 JBOD 모드를 활성화할 수 있습니다. 이렇게 하면 패스스루가 활성화되어 호스트에서 물리적 드라이브를 있는 그대로 인식할 수 있습니다.
컨트롤러에서 지원하는 최대 드라이브 수에 따라 추가 컨트롤러가 필요할 수 있습니다. SAS HBA 모드를 사용하는 경우 I/O 컨트롤러(SAS HBA)가 최소 6Gbps 속도를 지원하는지 확인하십시오. 그러나 NetApp에서는 12Gbps 속도를 권장합니다.
다른 하드웨어 RAID 컨트롤러 모드 또는 구성은 지원되지 않습니다. 예를 들어, 일부 컨트롤러는 RAID 0을 지원하여 디스크 패스스루를 인위적으로 활성화할 수 있지만, 이로 인해 바람직하지 않은 결과가 발생할 수 있습니다. 지원되는 물리적 디스크(SSD만 해당)의 크기는 200GB에서 16TB 사이입니다.
|
|
관리자는 ONTAP Select VM에서 사용 중인 드라이브를 추적하고 호스트에서 해당 드라이브가 의도치 않게 사용되는 것을 방지해야 합니다. |
ONTAP Select 가상 및 물리적 디스크
하드웨어 RAID 컨트롤러를 사용하는 구성의 경우, 물리적 디스크 이중화는 RAID 컨트롤러에서 제공됩니다. ONTAP Select는 ONTAP 관리자가 데이터 애그리게이트를 구성할 수 있는 하나 이상의 VMDK를 표시합니다. 이러한 VMDK는 RAID 0 형식으로 스트라이핑됩니다. ONTAP 소프트웨어 RAID는 하드웨어 수준에서 제공되는 복원력으로 인해 중복성이 높고 비효율적이며 효과적이지 않기 때문입니다. 또한 시스템 디스크에 사용되는 VMDK는 사용자 데이터를 저장하는 데 사용되는 VMDK와 동일한 데이터 저장소에 있습니다.
소프트웨어 RAID를 사용하는 경우 ONTAP Deploy는 ONTAP Select에 SSD용 VMDK 및 물리적 디스크의 RDM(Raw Device Mapping) 세트와 NVMe용 패스스루 또는 DirectPath IO 장치를 제공합니다.
다음 그림은 이러한 관계를 더 자세히 보여주며, ONTAP Select VM 내부 구성에 사용되는 가상화된 디스크와 사용자 데이터 저장에 사용되는 물리적 디스크 간의 차이점을 강조합니다.
ONTAP Select 소프트웨어 RAID: 가상화된 디스크 및 RDM 사용
시스템 디스크(VMDK)는 동일한 데이터스토어 및 동일한 물리적 디스크에 저장됩니다. 가상 NVRAM 디스크는 빠르고 내구성이 뛰어난 미디어가 필요합니다. 따라서 NVMe 및 SSD 유형 데이터스토어만 지원됩니다.
시스템 디스크(VMDK)는 동일한 데이터 저장소 및 동일한 물리적 디스크에 상주합니다. 가상 NVRAM 디스크는 빠르고 내구성이 뛰어난 미디어가 필요합니다. 따라서 NVMe 및 SSD 유형 데이터 저장소만 지원됩니다. 데이터에 NVMe 드라이브를 사용하는 경우 성능상의 이유로 시스템 디스크도 NVMe 장치여야 합니다. 모든 NVMe 구성에서 시스템 디스크에 적합한 후보는 INTEL Optane 카드입니다.
|
|
현재 릴리스에서는 ONTAP Select 시스템 디스크를 여러 데이터 저장소 또는 여러 물리적 드라이브에 걸쳐 추가로 분리할 수 없습니다. |
각 데이터 디스크는 세 부분으로 나뉩니다. 작은 루트 파티션(스트라이프) 하나와 동일한 크기의 파티션 두 개로 나뉘어 ONTAP Select VM 내에서 보이는 두 개의 데이터 디스크를 생성합니다. 파티션은 다음 그림에서 단일 노드 클러스터와 고가용성(HA) 쌍의 노드에 대해 표시된 것처럼 Root Data Data(RD2) 스키마를 사용합니다.
`P`는 패리티 드라이브를, `DP`는 이중 패리티 드라이브를, `S`는 예비 드라이브를 나타냅니다.
단일 노드 클러스터용 RDD 디스크 파티셔닝
다중 노드 클러스터(HA 쌍)를 위한 RDD 디스크 파티셔닝
ONTAP 소프트웨어 RAID는 RAID 4, RAID-DP 및 RAID-TEC의 RAID 유형을 지원합니다. 이는 FAS 및 AFF 플랫폼에서 사용하는 것과 동일한 RAID 구조입니다. 루트 프로비저닝의 경우 ONTAP Select는 RAID 4와 RAID-DP만 지원합니다. 데이터 애그리게이트에 RAID-TEC를 사용하는 경우 전체 보호는 RAID-DP입니다. ONTAP Select HA는 각 노드의 구성을 다른 노드에 복제하는 무공유 아키텍처를 사용합니다. 즉, 각 노드는 자체 루트 파티션과 피어의 루트 파티션 복사본을 저장해야 합니다. 데이터 디스크에는 단일 루트 파티션이 있습니다. 즉, 최소 데이터 디스크 수는 ONTAP Select 노드가 HA 쌍의 일부인지 여부에 따라 달라집니다.
단일 노드 클러스터의 경우 모든 데이터 파티션은 로컬(활성) 데이터를 저장하는 데 사용됩니다. HA 쌍의 일부인 노드의 경우 하나의 데이터 파티션은 해당 노드의 로컬(활성) 데이터를 저장하는 데 사용되고 다른 데이터 파티션은 HA 피어의 활성 데이터를 미러링하는 데 사용됩니다.
패스스루(DirectPath IO) 장치와 원시 장치 맵(RDM)의 차이점
ESXi 및 KVM 하이퍼바이저는 NVMe 디스크를 RDM(Raw Device Map)으로 지원하지 않습니다. ONTAP Select가 NVMe 디스크를 직접 제어하려면 ESXi 또는 KVM에서 해당 드라이브를 패스스루 장치로 구성해야 합니다. NVMe 장치를 패스스루 장치로 구성하려면 서버 BIOS에서 해당 기능을 지원해야 하며 호스트를 재부팅해야 할 수도 있습니다. 또한 호스트당 할당할 수 있는 패스스루 장치 수에는 제한이 있으며, 이는 플랫폼에 따라 다를 수 있습니다. 하지만 ONTAP Deploy는 ONTAP Select 노드당 최대 14개의 NVMe 장치로 제한합니다. 즉, NVMe 구성은 전체 용량은 다소 제한되지만 매우 높은 IOPS 밀도(IOPS/TB)를 제공합니다. 또는 더 큰 스토리지 용량을 갖춘 고성능 구성을 원하는 경우 권장 구성은 대용량 ONTAP Select VM 크기, 시스템 디스크용 INTEL Optane 카드, 그리고 데이터 스토리지용 적절한 수의 SSD 드라이브입니다.
|
|
NVMe 성능을 최대한 활용하려면 대용량 ONTAP Select VM 크기를 고려하십시오. |
패스스루 장치와 RDM 간에는 또 다른 차이점이 있습니다. RDM은 실행 중인 VM에 매핑할 수 있습니다. 패스스루 장치는 VM 재부팅이 필요합니다. 즉, NVMe 드라이브 교체 또는 용량 확장(드라이브 추가) 절차를 수행하려면 ONTAP Select VM을 재부팅해야 합니다. 드라이브 교체 및 용량 확장(드라이브 추가) 작업은 ONTAP Deploy의 워크플로에 따라 진행됩니다. ONTAP Deploy는 단일 노드 클러스터의 경우 ONTAP Select 재부팅을, HA 쌍의 경우 페일오버/페일백을 관리합니다. 하지만 SSD 데이터 드라이브(ONTAP Select 재부팅/페일오버 불필요)와 NVMe 데이터 드라이브(ONTAP Select 재부팅/페일오버 필요)를 사용할 때의 차이점을 명확히 이해하는 것이 중요합니다.
물리적 및 가상 디스크 프로비저닝
보다 간소화된 사용자 경험을 제공하기 위해 ONTAP Deploy는 지정된 데이터 저장소(물리적 시스템 디스크)에서 시스템(가상) 디스크를 자동으로 프로비저닝하고 ONTAP Select VM에 연결합니다. 이 작업은 초기 설정 중에 자동으로 수행되어 ONTAP Select VM이 부팅될 수 있도록 합니다. RDM은 파티션되고 루트 애그리게이트가 자동으로 구축됩니다. ONTAP Select 노드가 HA 쌍의 일부인 경우 데이터 파티션은 로컬 스토리지 풀과 미러 스토리지 풀에 자동으로 할당됩니다. 이 할당은 클러스터 생성 작업과 스토리지 추가 작업 모두에서 자동으로 수행됩니다.
ONTAP Select VM의 데이터 디스크는 기본 물리적 디스크와 연결되어 있으므로 물리적 디스크 수가 많은 구성을 만들 경우 성능에 영향을 미칠 수 있습니다.
|
|
루트 애그리게이트의 RAID 그룹 유형은 사용 가능한 디스크 수에 따라 결정됩니다. ONTAP Deploy는 적절한 RAID 그룹 유형을 선택합니다. 노드에 충분한 디스크가 할당된 경우 RAID-DP를 사용하고, 그렇지 않으면 RAID-4 루트 애그리게이트를 생성합니다. |
소프트웨어 RAID를 사용하여 ONTAP Select VM에 용량을 추가할 때 관리자는 물리적 드라이브 크기와 필요한 드라이브 수를 고려해야 합니다. 자세한 내용은 "스토리지 용량 증가"을 참조하십시오.
FAS 및 AFF 시스템과 마찬가지로 기존 RAID 그룹에는 동일하거나 더 큰 용량의 드라이브만 추가할 수 있습니다. 더 큰 용량의 드라이브는 적정 크기로 조정됩니다. 새 RAID 그룹을 생성하는 경우 전체 애그리게이트 성능 저하를 방지하기 위해 새 RAID 그룹의 크기는 기존 RAID 그룹의 크기와 일치해야 합니다.
ONTAP Select 디스크를 해당 ESXi 또는 KVM 디스크와 일치시킵니다
ONTAP Select 디스크는 일반적으로 NET x.y로 표시됩니다. 다음 ONTAP 명령을 사용하여 디스크 UUID를 얻을 수 있습니다.
<system name>::> disk show NET-1.1
Disk: NET-1.1
Model: Micron_5100_MTFD
Serial Number: 1723175C0B5E
UID: *500A0751:175C0B5E*:00000000:00000000:00000000:00000000:00000000:00000000:00000000:00000000
BPS: 512
Physical Size: 894.3GB
Position: shared
Checksum Compatibility: advanced_zoned
Aggregate: -
Plex: -This UID can be matched with the device UID displayed in the ‘storage devices’ tab for the ESX host
ESXi 또는 KVM 셸에서 다음 명령을 입력하면 특정 물리적 디스크(naa.unique-id로 식별됨)의 LED를 깜빡일 수 있습니다.
esxcli storage core device set -d <naa_id> -l=locator -L=<seconds>cat /sys/block/<block_device_id>/device/wwid소프트웨어 RAID 사용 시 여러 드라이브 장애
시스템에서 여러 드라이브가 동시에 고장 상태가 되는 상황이 발생할 수 있습니다. 시스템의 동작은 애그리게이트 RAID 보호 및 장애가 발생한 드라이브 수에 따라 달라집니다.
RAID4 애그리게이트는 디스크 장애 1개를 견딜 수 있고, RAID-DP 애그리게이트는 디스크 장애 2개를 견딜 수 있으며, RAID-TEC 애그리게이트는 디스크 장애 3개를 견딜 수 있습니다.
장애가 발생한 디스크 수가 해당 RAID 유형에서 지원하는 최대 장애 수보다 적고 스페어 디스크를 사용할 수 있는 경우 재구성 프로세스가 자동으로 시작됩니다. 스페어 디스크를 사용할 수 없는 경우 스페어 디스크가 추가될 때까지 애그리게이트가 성능이 저하된 상태로 데이터를 제공합니다.
장애가 발생한 디스크 수가 RAID 유형에서 지원하는 최대 장애 수를 초과하면 로컬 플렉스가 장애로 표시되고 애그리게이트 상태가 성능 저하됨으로 표시됩니다. 데이터는 HA 파트너에 있는 두 번째 플렉스에서 제공됩니다. 즉, 노드 1에 대한 모든 I/O 요청은 클러스터 인터커넥트 포트 e0e(iSCSI)를 통해 노드 2에 물리적으로 위치한 디스크로 전송됩니다. 두 번째 플렉스도 장애가 발생하면 애그리게이트가 장애로 표시되고 데이터를 사용할 수 없게 됩니다.
데이터 미러링이 올바르게 재개되려면 오류가 발생한 플렉스를 삭제하고 다시 생성해야 합니다. 여러 디스크에 오류가 발생하여 데이터 애그리게이트가 성능 저하되면 루트 애그리게이트도 성능 저하된다는 점에 유의하십시오. ONTAP Select는 루트-데이터-데이터(RDD) 파티셔닝 체계를 사용하여 각 물리적 드라이브를 루트 파티션과 두 개의 데이터 파티션으로 분할합니다. 따라서 하나 이상의 디스크에 오류가 발생하면 로컬 루트 애그리게이트 또는 원격 루트 애그리게이트의 복사본뿐만 아니라 로컬 데이터 애그리게이트 및 원격 데이터 애그리게이트의 복사본을 포함한 여러 애그리게이트에 영향을 줄 수 있습니다.
다음 예시 출력에서는 실패한 plex가 삭제되고 다시 생성됩니다.
C3111E67::> storage aggregate plex delete -aggregate aggr1 -plex plex1
Warning: Deleting plex "plex1" of mirrored aggregate "aggr1" in a non-shared HA configuration will disable its synchronous mirror protection and disable
negotiated takeover of node "sti-rx2540-335a" when aggregate "aggr1" is online.
Do you want to continue? {y|n}: y
[Job 78] Job succeeded: DONE
C3111E67::> storage aggregate mirror -aggregate aggr1
Info: Disks would be added to aggregate "aggr1" on node "sti-rx2540-335a" in the following manner:
Second Plex
RAID Group rg0, 5 disks (advanced_zoned checksum, raid_dp)
Usable Physical
Position Disk Type Size Size
---------- ------------------------- ---------- -------- --------
shared NET-3.2 SSD - -
shared NET-3.3 SSD - -
shared NET-3.4 SSD 208.4GB 208.4GB
shared NET-3.5 SSD 208.4GB 208.4GB
shared NET-3.12 SSD 208.4GB 208.4GB
Aggregate capacity available for volume use would be 526.1GB.
625.2GB would be used from capacity license.
Do you want to continue? {y|n}: y
C3111E67::> storage aggregate show-status -aggregate aggr1
Owner Node: sti-rx2540-335a
Aggregate: aggr1 (online, raid_dp, mirrored) (advanced_zoned checksums)
Plex: /aggr1/plex0 (online, normal, active, pool0)
RAID Group /aggr1/plex0/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-1.1 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.2 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.3 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.10 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.11 0 SSD - 205.1GB 447.1GB (normal)
Plex: /aggr1/plex3 (online, normal, active, pool1)
RAID Group /aggr1/plex3/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-3.2 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.3 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.4 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.5 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.12 1 SSD - 205.1GB 447.1GB (normal)
10 entries were displayed..
|
|
하나 또는 여러 개의 드라이브 오류를 테스트하거나 시뮬레이션하려면 set advanced disk unfail -disk NET-x.y -spare true disk show -broken 마지막 명령의 출력은 비어 있어야 합니다. |
가상화된 NVRAM
NetApp FAS 시스템에는 일반적으로 물리적인 NVRAM PCI 카드가 장착됩니다. 이 카드는 비휘발성 플래시 메모리를 포함하는 고성능 카드로서 쓰기 성능을 크게 향상시켜 줍니다. ONTAP가 클라이언트에 들어오는 쓰기 작업을 즉시 승인할 수 있도록 지원함으로써 이러한 성능을 제공합니다. 또한, 수정된 데이터 블록을 속도가 느린 스토리지 매체로 이동시키는 과정을 디스테이징(destaging)이라고 하며, 이 과정을 통해 데이터 블록의 이동을 예약할 수 있습니다.
일반적인 시스템에는 이러한 유형의 장비가 장착되어 있지 않습니다. 따라서 NVRAM 카드의 기능은 가상화되어 ONTAP Select 시스템 부팅 디스크의 파티션에 배치됩니다. 이러한 이유로 인스턴스의 시스템 가상 디스크 배치 위치가 매우 중요합니다.