ONTAP Select 本機附加儲存設備的硬體 RAID 服務
當硬體 RAID 控制器可用時,ONTAP Select 可以將 RAID 服務移轉到此硬體控制器,從而提升寫入效能並防止實體硬碟故障。因此,ONTAP Select 叢集中所有節點的 RAID 保護均由本機連接的 RAID 控制器提供,而非透過 ONTAP 軟體 RAID。
|
|
ONTAP Select 資料 Aggregate 設定為使用 RAID 0,因為實體 RAID 控制器為基礎磁碟機提供 RAID 等量分割。不支援其他 RAID 層級。 |
本機附加儲存設備的 RAID 控制器組態
所有為 ONTAP Select 提供後備儲存的本機連線磁碟都必須位於 RAID 控制器之後。大多數通用伺服器都提供多種價位的 RAID 控制器選項,每種選項的功能等級各不相同。我們的目標是盡可能支援所有這些選項,前提是它們滿足控制器的最低要求。
|
|
您無法從使用硬體 RAID 配置的 ONTAP Select 虛擬機器中分離虛擬磁碟。分離磁碟僅適用於使用軟體 RAID 配置的 ONTAP Select 虛擬機器。如需詳細資訊,請參閱 "在 ONTAP Select 軟體 RAID 組態中更換故障磁碟機"。 |
管理 ONTAP Select 磁碟的 RAID 控制器必須符合以下要求:
-
硬體 RAID 控制器必須具有電池備份單元(BBU)或快閃記憶體備份寫入快取(FBWC),並支援 12Gbps 的處理量。
-
RAID 控制器必須支援能夠承受至少一次或兩次磁碟故障的模式(RAID 5 和 RAID 6)。
-
必須將磁碟機快取設為停用。
-
寫入原則必須設定為回寫模式,並在 BBU 或 Flash 故障時回退到直寫模式。
-
讀取的 I/O 原則必須設為快取。
所有為 ONTAP Select 提供後備儲存的本機連線磁碟都必須放入執行 RAID 5 或 RAID 6 的 RAID 群組中。對於 SAS 硬碟和 SSD,使用最多 24 個硬碟的 RAID 群組可以讓 ONTAP 充分利用將傳入讀取請求分散到更多磁碟上的優勢。這樣做可以顯著提升效能。對於 SAS/SSD 組態,我們針對單一 LUN 與多 LUN 組態進行了效能測試。結果顯示兩者之間沒有顯著差異,因此,為了簡化起見,NetApp 建議建立滿足您組態需求的最少數量 LUN。
NL-SAS 和 SATA 磁碟機需要不同的最佳實務做法。基於效能考量,磁碟的最小數量仍為 8 個,但 RAID 群組大小不應超過 12 個磁碟機。NetApp 也建議每個 RAID 群組使用一個備用磁碟;不過,也可以使用所有 RAID 群組的全域備用磁碟。例如,您可以為每三個 RAID 群組使用兩個備用磁碟,每個 RAID 群組包含 8 到 12 個磁碟機。
|
|
舊版 ESXi 的最大範圍和資料存放區大小為 64TB,這可能會影響支援這些大容量磁碟機所提供的總原始容量所需的 LUN 數量。 |
RAID 模式
許多 RAID 控制器支援多達三種作業模式,每種模式都代表寫入要求所採用的資料路徑有顯著差異。這三種模式如下:
-
直寫式。所有傳入的 I/O 要求都會寫入 RAID 控制器快取、然後立即清除至磁碟、再將要求確認回主機。
-
Writearound。所有傳入的 I/O 請求都直接寫入磁碟,繞過 RAID 控制器快取。
-
回寫模式。所有傳入的 I/O 要求都會直接寫入控制器快取,並立即確認回傳給主機。資料區塊會使用控制器以非同步方式排清至磁碟。
寫回模式提供最短的資料路徑,I/O 確認在資料塊進入快取後立即發生。此模式為混合讀寫工作負載提供最低的延遲和最高的吞吐量。但是,如果沒有 BBU 或非揮發性快閃技術,使用者在該模式下運作時,如果系統發生斷電,則存在資料遺失的風險。
ONTAP Select 需要配備電池備援或快閃記憶體單元;因此,我們可以確保在發生此類故障時,快取區塊會刷新到磁碟。正因如此,RAID 控制器必須配置為回寫模式。
ONTAP Select 與作業系統之間共用的本機磁碟
最常見的伺服器組態是所有本機連接的主軸都位於單一 RAID 控制器之後。您至少應該配置兩個 LUN:一個用於 Hypervisor、一個用於 ONTAP Select VM。
例如,考慮一台配備六個內部磁碟機和一個 Smart Array P420i RAID 控制器的 HP DL380 g8 伺服器。所有內部磁碟機都由該 RAID 控制器管理,系統中沒有其他儲存設備。
下圖顯示此配置樣式。在此範例中,系統上沒有其他儲存設備;因此,Hypervisor 必須與 ONTAP Select 節點共用儲存設備。
僅使用 RAID 管理磁碟的伺服器 LUN 組態

將作業系統 LUN 設定到與 ONTAP Select 相同的 RAID 群組中,可使虛擬機器管理程式作業系統(以及任何也從該儲存配置的用戶端虛擬機器)受益於 RAID 保護。此配置可防止單一磁碟機故障導致整個系統崩潰。
本機磁碟在 ONTAP Select 和 OS 之間分配
伺服器廠商提供的另一種可能組態是使用多個 RAID 或磁碟控制器來設定系統。在此組態中,一組磁碟由一個磁碟控制器管理,該控制器可能提供或可能不提供 RAID 服務。第二組磁碟由能夠提供 RAID 5/6 服務的硬體 RAID 控制器管理。
在這種配置方式下,位於 RAID 控制器後方、可提供 RAID 5/6 服務的磁碟組應僅供 ONTAP Select VM 使用。根據所管理的總儲存容量,您應將磁碟組配置為一個或多個 RAID 群組以及一個或多個 LUN。這些 LUN 將用於建立一個或多個資料存放區,所有資料存放區均受 RAID 控制器保護。
第一組磁碟保留給 Hypervisor 作業系統和任何未使用 ONTAP 儲存設備的用戶端 VM,如下圖所示。
混合 RAID/非 RAID 系統上的伺服器 LUN 組態

多個 LUN
在兩種情況下,單一 RAID 群組 / 單一 LUN 組態必須變更。使用 NL-SAS 或 SATA 磁碟機時,RAID 群組大小不得超過 12 個磁碟機。此外,單一 LUN 可能會大於基礎 Hypervisor 儲存限制(個別檔案系統範圍大小上限或儲存資源池大小總計上限)。然後,必須將基礎實體儲存設備分割成多個 LUN,才能成功建立檔案系統。
VMware vSphere 虛擬機器檔案系統限制
某些版本的 ESXi 上資料存放區的最大大小為 64TB 。
如果伺服器連接的儲存容量超過 64TB,則可能需要配置多個 LUN,每個 LUN 的容量都小於 64TB。建立多個 RAID 群組以縮短 SATA/NL-SAS 磁碟機的 RAID 重建時間也會導致配置多個 LUN。
當需要多個 LUN 時,一個重要的考慮因素是確保這些 LUN 具有相似且一致的效能。如果所有 LUN 都用於單一 ONTAP Aggregate 中,這一點尤其重要。或者,如果一個或多個 LUN 的子集具有明顯不同的效能特徵,我們強烈建議將這些 LUN 隔離到單獨的 ONTAP Aggregate 中。
可以使用多個檔案系統擴充區來建立單一資料存放區,其大小不超過資料存放區的最大容量。為了限制需要 ONTAP Select 授權的容量,請務必在叢集安裝期間指定容量上限。此功能允許 ONTAP Select 僅使用(因此也僅需要授權)資料存放區中的部分空間。
或者,您可以先在單一 LUN 上建立一個資料儲存區。當需要更多空間(需要更大的 ONTAP Select 容量授權)時,可以將該空間作為範圍新增至同一個資料儲存區,直到達到資料儲存區的最大容量。達到最大容量後,可以建立新的資料儲存區並將其新增至 ONTAP Select。兩種容量擴充作業均受支援,並且可以透過 ONTAP Deploy 的 storage-add 功能實現。每個 ONTAP Select 節點最多可設定為支援 400TB 的儲存設備。從多個資料儲存區配置容量需要分兩個步驟進行。
初始叢集建立操作可用於建立 ONTAP Select 叢集,該叢集可使用初始資料存放區中的部分或全部空間。第二步是使用其他資料存放區執行一次或多次容量擴充操作,直到達到所需的總容量。此功能在相關章節中有詳細介紹 "增加儲存容量"。
|
|
VMFS 開銷不為零(請參閱 VMware KB 1001618),嘗試使用資料存放區報告的整個可用空間會導致叢集建立作業期間出現虛假錯誤。 |
每個資料儲存中都留有 2% 的緩衝區未使用。由於 ONTAP Select 不使用這部分空間,因此無需容量授權。只要未指定容量上限,ONTAP Deploy 就會自動計算緩衝區的確切大小(以 GB 為單位)。如果指定了容量上限,則首先強制執行該大小。如果容量上限的大小小於緩衝區大小,則叢集建立將會失敗,並顯示錯誤訊息,其中會指定可用作容量上限的正確最大大小參數:
“InvalidPoolCapacitySize: Invalid capacity specified for storage pool “ontap-select-storage-pool”, Specified value: 34334204 GB. Available (after leaving 2% overhead space): 30948”
VMFS 6 既支援新安裝,也支援作為現有 ONTAP Deploy 或 ONTAP Select VM 的儲存 vMotion 操作的目標。
VMware 不支援從 VMFS 5 直接升級到 VMFS 6。因此,儲存 vMotion 是唯一允許虛擬機器從 VMFS 5 資料儲存遷移到 VMFS 6 資料儲存的機制。不過,ONTAP Select 和 ONTAP Deploy 對儲存 vMotion 的支援已擴展至涵蓋 VMFS 5 到 VMFS 6 遷移之外的其他場景。
ONTAP Select 虛擬磁碟
ONTAP Select 的核心在於向 ONTAP 提供一組從一個或多個儲存池配置的虛擬磁碟。ONTAP 將這些虛擬磁碟視為實體磁碟,而儲存堆疊的其餘部分則由虛擬機器管理程式抽象化。下圖更詳細地展示了這種關係,重點突出了實體 RAID 控制器、虛擬機器管理程式和 ONTAP Select 虛擬機器之間的關係。
-
RAID 群組和 LUN 組態是在伺服器的 RAID 控制器軟體中進行。使用 VSAN 或外部陣列時不需要此組態。
-
儲存資源池組態是在 Hypervisor 內進行。
-
虛擬磁碟由各個 VM 建立和擁有;在本例中,由 ONTAP Select 建立和擁有。
虛擬磁碟到實體磁碟對應

虛擬磁碟資源配置
為了提供更流暢的使用者體驗,ONTAP Select 管理工具 ONTAP Deploy 會自動從關聯的儲存池配置虛擬磁碟,並將其附加到 ONTAP Select VM。此操作在初始設定和新增儲存操作期間都會自動執行。如果 ONTAP Select 節點是 HA 配對的一部分,則虛擬磁碟會自動指派給本機儲存池和鏡像儲存池。
ONTAP Select 將底層附加儲存分割成大小相等的虛擬磁碟,每個虛擬磁碟不超過 16TB。如果 ONTAP Select 節點是 HA 對的一部分,則每個叢集節點上至少建立兩個虛擬磁碟,並將其指派給本機 plex 和鏡像 plex,以便在鏡像 Aggregate 中使用。
例如,ONTAP Select 可以指派一個 31TB 的資料儲存區或 LUN(虛擬機器部署完畢並配置好系統磁碟和根磁碟後剩餘的空間)。然後,系統會建立四個約 7.75TB 的虛擬磁碟,並將其指派給對應的 ONTAP 本機 plex 和鏡射 plex。
|
|
在 ONTAP Select 虛擬機器中新增容量可能會導致產生大小不同的 VMDK。詳情請參閱相關章節"增加儲存容量"。與 FAS 系統不同,不同大小的 VMDK 可以存在於同一個集合體中。ONTAP Select 在這些 VMDK 之間使用 RAID 0 條帶化,因此無論每個 VMDK 的大小如何,都能充分利用其所有空間。 |
虛擬化 NVRAM
NetApp FAS 系統通常配備一塊實體 NVRAM PCI 卡,這是一種高效能卡,內建非揮發性快閃記憶體。該卡使 ONTAP 能夠立即向用戶端確認收到的寫入操作,從而顯著提升寫入效能。它還可以安排將修改後的資料區塊移回速度較慢的儲存媒體,這一過程稱為 destaging。
商用系統通常不配備此類設備。因此,此 NVRAM 卡的功能已虛擬化,並放置在 ONTAP Select 系統開機磁碟的一個分割區中。正因如此,執行個體的系統虛擬磁碟的放置位置至關重要。這也是為什麼該產品要求本地附加儲存組態必須配備具有彈性快取的實體 RAID 控制器。
NVRAM 被放置在獨立的 VMDK 中。將 NVRAM 分割到單獨的 VMDK 中,使得 ONTAP Select VM 能夠使用 vNVMe 驅動程式與其 NVRAM VMDK 進行通訊。此外,這也要求 ONTAP Select VM 使用硬體版本 13,該版本與 ESXi 8.0 及更高版本相容。
資料路徑詳解:NVRAM 與 RAID 控制器
要了解虛擬化 NVRAM 系統分區與 RAID 控制器之間的交互,最好的方法是分析寫入要求進入系統時所經過的資料路徑。
傳送到 ONTAP Select VM 的寫入請求指向 VM 的 NVRAM 分割區。在虛擬化層,此分割區位於 ONTAP Select 系統磁碟(一個附加到 ONTAP Select VM 的 VMDK)中。在實體層,這些請求會像所有指向底層磁碟的區塊變更一樣,快取在本機 RAID 控制器中。然後,寫入操作會從這裡確認並傳回給主機。
此時,從物理層面來說,該資料塊位於 RAID 控制器快取中,等待刷新到磁碟。從邏輯層面來說,該資料塊位於 NVRAM 中,等待移出到對應的使用者資料磁碟。
由於變更的區塊會自動儲存在 RAID 控制器的本機快取中,因此傳入 NVRAM 分割區的寫入作業會自動快取,並定期清除至實體儲存媒體。這不應與定期將 NVRAM 內容清除回 ONTAP 資料磁碟混淆。這兩個事件互不相關,發生的時間和頻率也不同。
下圖顯示了傳入寫入操作的 I/O 路徑。它突出了實體層(由 RAID 控制器快取和磁碟表示)和虛擬層(由虛擬機器的 NVRAM 和資料虛擬磁碟表示)之間的差異。
|
|
儘管 NVRAM VMDK 上更改的區塊會被快取到本機 RAID 控制器快取中、但該快取並不了解 VM 架構或其虛擬磁碟。它儲存系統上所有已更改的區塊、而 NVRAM 只是其中的一部分。這包括繫結至 Hypervisor 的寫入要求、如果是從相同的備用主軸配置。 |
傳入 ONTAP Select VM 的寫入操作

|
|
NVRAM 分割區位於獨立的 VMDK 檔案中。此 VMDK 檔案透過 ESXi 8.0 或更高版本中提供的 vNVME 驅動程式進行掛載。對於使用軟體 RAID 的 ONTAP Select 安裝而言,此變更尤其重要,因為此類安裝無法利用 RAID 控制器快取。 |