適用於本機連接儲存的ONTAP Select軟體 RAID 配置服務
軟體 RAID 是在ONTAP軟體堆疊內實作的 RAID 抽象層。它提供的功能與傳統ONTAP平台(例如FAS)中的 RAID 層相同。 RAID層執行磁碟機奇偶校驗計算,並針對ONTAP Select節點中的單一磁碟機故障提供保護。
除了硬體 RAID 配置之外, ONTAP Select還提供了軟體 RAID 選項。在某些環境中,例如在小型商用硬體上部署ONTAP Select時,硬體 RAID 控制器可能無法使用或不合適。軟體 RAID 擴展了可用的部署選項,使其涵蓋此類環境。要在您的環境中啟用軟體 RAID,請記住以下幾點:
-
它可透過 Premium 或 Premium XL 許可證獲得。
-
它僅支援ONTAP根磁碟和資料磁碟的 SSD 或 NVMe(需要 Premium XL 許可證)磁碟機。
-
它需要一個單獨的系統磁碟作為ONTAP Select VM 啟動分割區。
-
選擇一個單獨的磁碟(SSD 或 NVMe 磁碟機),為系統磁碟(多節點設定中的NVRAM、Boot/CF 卡、Coredump 和 Mediator)建立資料儲存。
-
|
|
|
本機連接儲存的軟體 RAID 配置
使用軟體 RAID 時,理想情況下沒有硬體 RAID 控制器,但是,如果系統確實有現有的 RAID 控制器,則必須遵守以下要求:
-
您必須停用硬體 RAID 控制器,以便磁碟可以直接呈現給系統(JBOD)。通常,您可以在 RAID 控制器 BIOS 中進行此變更。
-
或者,硬體 RAID 控制器應處於 SAS HBA 模式。例如,某些 BIOS 設定除了 RAID 之外還允許使用「AHCI」模式,您可以選擇啟用 JBOD 模式。這將啟用直通功能,以便實體磁碟機在主機上可以按原樣顯示。
根據控制器支援的最大驅動器數量,可能需要額外的控制器。在 SAS HBA 模式下,請確保 I/O 控制器 (SAS HBA) 至少支援 6Gbps 的速度。不過, NetApp建議使用 12Gbps 的速度。
不支援任何其他硬體 RAID 控制器模式或配置。例如,某些控制器允許 RAID 0 支持,這可以人為地啟用磁碟直通功能,但其後果可能不堪設想。支援的實體磁碟(僅限 SSD)大小在 200GB 到 16TB 之間。
|
|
管理員需要追蹤ONTAP Select VM 正在使用的驅動器,並防止在主機上無意中使用這些驅動器。 |
ONTAP Select虛擬磁碟和實體磁碟
對於使用硬體 RAID 控制器的配置,實體磁碟冗餘由 RAID 控制器提供。 ONTAPONTAP Select會提供一個或多個 VMDK, ONTAP管理員可以從中配置資料聚合。這些 VMDK 以 RAID 0 格式進行條帶化,因為ONTAP軟體 RAID 冗餘、低效且低效,這是由於硬體層級提供的彈性所致。此外,用於系統磁碟的 VMDK 與用於儲存使用者資料的 VMDK 位於相同資料儲存中。
使用軟體 RAID 時, ONTAP Deploy 會向ONTAP Select提供一組 VMDK 和實體磁碟原始設備對映 [RDM](用於 SSD)以及直通或 DirectPath IO 設備(用於 NVMe)。
下圖更詳細地展示了這種關係,突顯了用於ONTAP Select VM 內部的虛擬化磁碟與用於儲存使用者資料的實體磁碟之間的差異。
-
ONTAP Select軟體 RAID:使用虛擬化磁碟和 RDM*
系統磁碟 (VMDK) 位於相同資料儲存區和相同實體磁碟上。虛擬NVRAM磁碟需要快速且耐用的媒體。因此,僅支援 NVMe 和 SSD 類型的資料儲存區。
系統磁碟 (VMDK) 位於相同資料儲存區和相同實體磁碟上。虛擬NVRAM磁碟需要快速且耐用的媒體。因此,僅支援 NVMe 和 SSD 類型的資料儲存區。使用 NVMe 磁碟機儲存資料時,出於效能考慮,系統磁碟也應為 NVMe 裝置。在全 NVMe 配置中,英特爾傲騰卡是系統磁碟的理想選擇。
|
|
在目前版本中,無法進一步跨多個資料儲存庫或多個實體磁碟機分離ONTAP Select系統磁碟。 |
每個資料磁碟分為三個部分:一個小的根分割區(條帶)和兩個大小相等的分割區,從而建立在ONTAP Select虛擬機器中可見的兩個資料磁碟。分區使用根資料 (RD2) 模式,如下圖所示,分別針對單節點叢集和高可用性 (HA) 對中的節點。
`P`表示奇偶校驗驅動器, `DP`表示雙奇偶校驗驅動器,且 `S`表示備用硬碟。
單節點叢集的 RDD 磁碟分割區

多節點叢集(HA 對)的 RDD 磁碟分割區

ONTAP軟體 RAID 支援下列 RAID 類型:RAID 4、RAID-DP 和RAID-TEC。這些是FAS和AFF平台使用的相同 RAID 結構。對於根配置, ONTAP Select僅支援 RAID 4 和 RAID-DP。當使用RAID-TEC進行資料聚合時,整體保護是 RAID-DP。 ONTAPONTAP Select HA 使用無共享架構,將每個節點的配置複製到另一個節點。這意味著每個節點都必須儲存其根分區及其對等節點根分區的副本。資料磁碟有一個根分割區。這意味著資料磁碟的最小數量取決於ONTAP Select節點是否屬於 HA 對。
對於單節點集群,所有資料分區用於儲存本地(活動)資料。對於屬於 HA 對的節點,一個資料分區用於儲存該節點的本地(活動)數據,另一個資料分區用於鏡像來自 HA 對等節點的活動資料。
直通 (DirectPath IO) 設備與原始設備對映 (RDM)
ESX 和 KVM 虛擬機器管理程式不支援將 NVMe 磁碟用作原始裝置對應 (RDM)。若要允許ONTAP Select直接控制 NVMe 磁碟,您必須在 ESX 或 KVM 中將這些磁碟機配置為直通裝置。將 NVMe 設備配置為直通設備時,需要伺服器 BIOS 支持,並且可能需要重新啟動主機。此外,每個主機可分配的直通設備數量有限制,具體數量可能因平台而異。但是, ONTAP Deploy 將此限制為每個ONTAP Select節點 14 個 NVMe 設備。這意味著 NVMe 配置以犧牲總容量為代價,提供了非常高的 IOP 密度 (IOPs/TB)。或者,如果您需要具有更大儲存容量的高效能配置,建議的配置是:較大的ONTAP Select VM 大小、用於系統磁碟的 INTEL Optane 卡以及用於資料儲存的一定數量的 SSD 磁碟機。
|
|
為了充分利用 NVMe 效能,請考慮較大的ONTAP Select VM 大小。 |
直通設備和 RDM 之間還有一個區別。 RDM可以對應到正在執行的虛擬機器。直通設備需要重新啟動虛擬機器。這意味著任何 NVMe 驅動器更換或容量擴展(驅動器添加)過程都需要重新啟動ONTAP Select虛擬機。驅動器更換和容量擴展(驅動器添加)操作由ONTAP Deploy 中的工作流程驅動。 ONTAPONTAP管理單節點叢集的ONTAP Select重新啟動以及 HA 對的故障轉移/故障復原。但是,請務必注意使用 SSD 資料磁碟機(無需ONTAP Select重新啟動/故障轉移)和使用 NVMe 資料磁碟機(需要ONTAP Select重新啟動/故障轉移)之間的差異。
實體和虛擬磁碟配置
為了提供更簡化的使用者體驗, ONTAP Deploy 會自動從指定的資料儲存庫(實體系統磁碟)配置系統(虛擬)磁碟,並將其連接到ONTAP Select虛擬機器。此操作會在初始設定期間自動執行,以便ONTAP Select虛擬機器能夠啟動。 RDM會進行分割區,並且會自動建置根聚合。如果ONTAP Select節點屬於 HA 對,則資料分區會自動指派給本機儲存池和鏡像儲存池。此分配操作會在叢集建立操作和儲存新增操作期間自動進行。
由於ONTAP Select VM 上的資料磁碟與底層實體磁碟相關聯,因此建立具有大量實體磁碟的配置會對效能產生影響。
|
|
根聚合的 RAID 群組類型取決於可用的磁碟數量。 ONTAPONTAP會選擇適當的 RAID 群組類型。如果指派給節點的磁碟數量足夠,則使用 RAID-DP;否則,則建立 RAID-4 根聚合。 |
使用軟體 RAID 為ONTAP Select虛擬機器新增容量時,管理員必須考慮實體磁碟機的大小以及所需的磁碟機數量。有關詳細信息,請參閱"增加儲存容量"。
與FAS和AFF系統類似,您只能在現有 RAID 群組中新增容量相等或更大的磁碟機。容量更大的驅動器大小合適。如果您要建立新的 RAID 群組,則新 RAID 群組的大小應與現有 RAID 群組的大小相匹配,以確保整體聚合效能不會下降。
將ONTAP Select磁碟與對應的 ESX 或 KVM 磁碟相匹配
ONTAP Select磁碟通常標記為 NET xy您可以使用下列ONTAP指令來取得磁碟 UUID:
<system name>::> disk show NET-1.1
Disk: NET-1.1
Model: Micron_5100_MTFD
Serial Number: 1723175C0B5E
UID: *500A0751:175C0B5E*:00000000:00000000:00000000:00000000:00000000:00000000:00000000:00000000
BPS: 512
Physical Size: 894.3GB
Position: shared
Checksum Compatibility: advanced_zoned
Aggregate: -
Plex: -This UID can be matched with the device UID displayed in the ‘storage devices’ tab for the ESX host

在 ESXi 或 KVM shell 中,您可以輸入下列命令來使給定實體磁碟(由其 naa.unique-id 標識)的 LED 閃爍。
esxcli storage core device set -d <naa_id> -l=locator -L=<seconds>
cat /sys/block/<block_device_id>/device/wwid
使用軟體 RAID 時出現多個磁碟機故障
系統可能會遇到多個驅動器同時處於故障狀態的情況。系統的行為取決於聚合 RAID 保護和故障磁碟機的數量。
RAID4 聚合可承受一個磁碟故障,RAID-DP 聚合可承受兩個磁碟故障,而RAID-TEC聚合可承受三個磁碟故障。
如果故障磁碟數量小於該 RAID 類型支援的最大故障數量,並且有備用磁碟可用,則重建過程將自動啟動。如果沒有備用磁碟可用,則聚合將以降級狀態提供數據,直到新增備用磁碟為止。
如果故障磁碟數量超過 RAID 類型支援的最大故障數量,則本機叢會被標記為故障,聚合狀態也會降級。數據由位於 HA 配對節點上的第二個叢提供。這意味著,節點 1 的任何 I/O 請求都會透過叢集互連連接埠 e0e (iSCSI) 傳送到實體上位於節點 2 上的磁碟。如果第二個叢也發生故障,則聚合會被標記為故障,資料不可用。
必須刪除並重新建立發生故障的叢,才能恢復正確的資料鏡像。請注意,多磁碟故障導致資料聚合降級,也會導致根聚合降級。 ONTAPONTAP Select使用根-資料-資料 (RDD) 分區模式將每個實體磁碟機分割為一個根分割區和兩個資料分割區。因此,遺失一個或多個磁碟可能會影響多個聚合,包括本地根聚合或遠端根聚合的副本,以及本機資料聚合和遠端資料聚合的副本。
在以下範例輸出中,發生故障的 plex 被刪除並重新建立:
C3111E67::> storage aggregate plex delete -aggregate aggr1 -plex plex1
Warning: Deleting plex "plex1" of mirrored aggregate "aggr1" in a non-shared HA configuration will disable its synchronous mirror protection and disable
negotiated takeover of node "sti-rx2540-335a" when aggregate "aggr1" is online.
Do you want to continue? {y|n}: y
[Job 78] Job succeeded: DONE
C3111E67::> storage aggregate mirror -aggregate aggr1
Info: Disks would be added to aggregate "aggr1" on node "sti-rx2540-335a" in the following manner:
Second Plex
RAID Group rg0, 5 disks (advanced_zoned checksum, raid_dp)
Usable Physical
Position Disk Type Size Size
---------- ------------------------- ---------- -------- --------
shared NET-3.2 SSD - -
shared NET-3.3 SSD - -
shared NET-3.4 SSD 208.4GB 208.4GB
shared NET-3.5 SSD 208.4GB 208.4GB
shared NET-3.12 SSD 208.4GB 208.4GB
Aggregate capacity available for volume use would be 526.1GB.
625.2GB would be used from capacity license.
Do you want to continue? {y|n}: y
C3111E67::> storage aggregate show-status -aggregate aggr1
Owner Node: sti-rx2540-335a
Aggregate: aggr1 (online, raid_dp, mirrored) (advanced_zoned checksums)
Plex: /aggr1/plex0 (online, normal, active, pool0)
RAID Group /aggr1/plex0/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-1.1 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.2 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.3 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.10 0 SSD - 205.1GB 447.1GB (normal)
shared NET-1.11 0 SSD - 205.1GB 447.1GB (normal)
Plex: /aggr1/plex3 (online, normal, active, pool1)
RAID Group /aggr1/plex3/rg0 (normal, advanced_zoned checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
shared NET-3.2 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.3 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.4 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.5 1 SSD - 205.1GB 447.1GB (normal)
shared NET-3.12 1 SSD - 205.1GB 447.1GB (normal)
10 entries were displayed..
|
|
為了測試或模擬一個或多個硬碟故障,請使用 set advanced disk unfail -disk NET-x.y -spare true disk show -broken 最後一個命令的輸出應該是空的。 |
虛擬化NVRAM
NetApp FAS系統傳統上配備實體NVRAM PCI 卡。該卡是一款高效能卡,包含非揮發性閃存,可大幅提升寫入效能。它透過授予ONTAP立即向客戶端確認傳入寫入的能力來實現這一點。它還可以安排將已修改的資料塊移回速度較慢的儲存介質,這個過程稱為「降級暫存」。
商用系統通常不配備此類設備。因此, NVRAM卡的功能已虛擬化,並放置在ONTAP Select系統啟動磁碟的一個分割區中。正因如此,實例的系統虛擬磁碟的放置位置至關重要。