Skip to main content
NetApp artificial intelligence solutions
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

技術概述

貢獻者 kevin-hoke

本節介紹此解決方案所使用的技術。

NetApp ONTAP儲存控制器

NetApp ONTAP是一款高效能企業級儲存作業系統。

NetApp ONTAP 9.8 引進了對 Amazon Simple Storage Service (S3) API 的支援。 ONTAP支援 Amazon Web Services (AWS) S3 API 操作的子集,並允許將資料表示為跨雲端提供者(AWS、Azure 和 GCP)和本地的基於ONTAP的系統中的物件。

NetApp StorageGRID軟體是NetApp 的旗艦物件儲存解決方案。 ONTAP透過在邊緣提供攝取和預處理點、擴展由NetApp支援的物件資料資料結構以及增加NetApp產品組合的價值來補充StorageGRID 。

透過授權使用者和客戶端應用程式可以存取 S3 儲存桶。下圖顯示了應用程式存取 S3 儲存桶的情況。

此圖顯示了存取 S3 儲存桶的應用程式。

主要用例

支援 S3 API 的主要目的是提供ONTAP上的物件存取。 ONTAP統一儲存架構現在支援檔案(NFS 和 SMB)、區塊(FC 和 iSCSI)和物件(S3)。

原生 S3 應用程式

越來越多的應用程式能夠利用ONTAP支援透過 S3 進行物件存取。儘管非常適合高容量存檔工作負載,但原生 S3 應用程式對高效能的需求正在快速成長,包括:

  • 分析

  • 人工智慧

  • 從邊緣到核心的採集

  • 機器學習

客戶現在可以使用熟悉的管理工具(例如ONTAP系統管理器)來快速配置高效能物件存儲,以用於ONTAP中的開發和運營,同時充分利用ONTAP儲存的效率和安全性。

FabricPool端點

從ONTAP 9.8 開始, FabricPool支援對ONTAP中的儲存桶進行分層,從而允許ONTAP到ONTAP分層。對於希望將現有FAS基礎架構重新用作物件儲存端點的客戶來說,這是一個絕佳的選擇。

FabricPool透過兩種方式支援分層到ONTAP :

  • 本地集群分層。非活動資料透過叢集 LIF 分層到位於本地叢集上的儲存桶中。

  • 遠端集群分層。非活動資料以類似傳統FabricPool雲層的方式分層到位於遠端叢集上的儲存桶中,使用FabricPool客戶端上的 IC LIF 和ONTAP物件儲存上的資料 LIF。

如果您希望在現有叢集上使用 S3 功能而無需額外的硬體和管理,則ONTAP S3 是合適的。對於大於 300TB 的部署, NetApp StorageGRID軟體仍然是NetApp物件儲存的旗艦解決方案。使用ONTAP或StorageGRID作為雲層時不需要FabricPool授權。

NetApp ONTAP for Confluent 分層存儲

每個資料中心都需要保持關鍵業務應用程式的運作以及重要資料的可用和安全。全新NetApp AFF A900系統採用ONTAP Enterprise Edition 軟體與高彈性設計。我們全新的閃電般快速的 NVMe 儲存系統可消除對關鍵任務操作的中斷、最大限度地減少效能調整併保護您的資料免受勒索軟體攻擊。

從初始部署到擴展 Confluent 集群,您的環境需要快速適應對您的關鍵業務應用程式無幹擾的變化。 ONTAP企業資料管理、服務品質 (QoS) 和效能使您能夠規劃和適應您的環境。

將NetApp ONTAP與 Confluent 分層儲存結合使用,可利用ONTAP作為橫向擴充儲存目標,從而簡化 Apache Kafka 叢集的管理,並支援 Confluent 運算和儲存資源的獨立擴充。

ONTAP S3 伺服器建立在ONTAP成熟的橫向擴充儲存功能之上。透過擴展 S3 儲存桶以使用新添加到ONTAP叢集的節點,可以無縫地擴展ONTAP叢集。

使用ONTAP系統管理員進行簡單管理

ONTAP系統管理器是一個基於瀏覽器的圖形介面,可讓您在單一管理平台中配置、管理和監控全球分佈位置的ONTAP儲存控制器。

此圖顯示了ONTAP系統管理器工作區。

您可以使用系統管理員和ONTAP CLI 設定和管理ONTAP S3。當您使用系統管理員啟用 S3 並建立儲存桶時, ONTAP會提供最佳實務預設設定以簡化配置。如果您從 CLI 設定 S3 伺服器和儲存桶,您仍然可以根據需要使用系統管理員管理它們,反之亦然。

當您使用系統管理員建立 S3 儲存桶時, ONTAP會設定係統上可用的最高預設效能服務等級。例如,在AFF系統上,預設設定是 Extreme。效能服務等級是預先定義的自適應 QoS 策略群組。您可以指定自訂 QoS 策略群組或不指定策略群組,而不是指定預設服務等級之一。

預先定義的自適應 QoS 策略群組包括以下內容:

  • *極端。 *用於需要最低延遲和最高效能的應用程式。

  • *表現。 *適用於具有中等性能需求和延遲的應用程式。

  • *價值。 *用於吞吐量和容量比延遲更重要的應用程式。

  • *風俗。 *指定自訂 QoS 策略或不指定 QoS 策略。

如果選擇“用於分層”,則不會選擇任何效能服務級別,系統會嘗試為分層資料選擇具有最佳效能的低成本媒體。

ONTAP嘗試在具有最合適磁碟的本機層上配置此儲存桶,以滿足所選的服務等級。但是,如果您需要指定要包含在儲存桶中的磁碟,請考慮透過指定本機層(聚合)從 CLI 配置 S3 物件儲存。如果您從 CLI 設定 S3 伺服器,您仍然可以根據需要使用系統管理員進行管理。

如果您希望能夠指定用於儲存桶的聚合,則只能使用 CLI 來實作。

匯合

Confluent 平台是一個全方位的資料流平台,可讓您輕鬆地以連續的即時串流形式存取、儲存和管理資料。 Confluent 由 Apache Kafka 的原始創建者構建,它透過企業級功能擴展了 Kafka 的優勢,同時消除了 Kafka 管理或監控的負擔。如今,財富 100 強企業中超過 80% 的企業採用資料流技術,其中大多數使用 Confluent。

為什麼選擇 Confluent?

透過將歷史資料和即時資料整合到單一的中央事實來源,Confluent 可以輕鬆建立全新類別的現代事件驅動應用程序,獲得通用資料管道,並解鎖具有完全可擴展性、效能和可靠性的強大新用例。

Confluent 的用途是什麼?

Confluent 平台讓您專注於如何從資料中獲得商業價值,而不必擔心底層機制,例如如何在不同的系統之間傳輸或整合資料。具體來說,Confluent Platform 簡化了資料來源與 Kafka 的連接、串流應用程式的建置以及 Kafka 基礎設施的保護、監控和管理。如今,Confluent 平台已廣泛應用於眾多產業,從金融服務、全通路零售、自動駕駛汽車到詐欺偵測、微服務和物聯網。

下圖展示了 Confluent Platform 的元件。

該圖顯示了 Confluent 平台的元件。

Confluent 事件流技術概述

Confluent 平台的核心是 "卡夫卡",最受歡迎的開源分散式串流平台。 Kafka 的主要功能包括:

  • 發布和訂閱記錄流。

  • 以容錯的方式儲存記錄流。

  • 處理記錄流程。

開箱即用的 Confluent Platform 還包括 Schema Registry、REST Proxy、總共 100 多個預先建置的 Kafka 連接器和 ksqlDB。

Confluent 平台企業功能概述

  • *匯合控制中心。 *用於管理和監控 Kafka 的基於 UI 的系統。它允許您輕鬆管理 Kafka Connect 以及建立、編輯和管理與其他系統的連接。

  • *適用於 Kubernetes 的 Confluent。 * Confluent for Kubernetes 是一位 Kubernetes 操作員。 Kubernetes 操作員透過為特定平台應用程式提供獨特的功能和要求來擴展 Kubernetes 的編排功能。對於 Confluent 平台,這包括大幅簡化 Kafka 在 Kubernetes 上的部署流程,並自動執行典型的基礎架構生命週期任務。

  • Kafka Connect 連接器。連接器使用 Kafka Connect API 將 Kafka 連接到其他系統,例如資料庫、鍵值儲存、搜尋索引和檔案系統。 Confluent Hub 具有適用於最受歡迎的資料來源和接收器的可下載連接器,包括使用 Confluent Platform 對這些連接器進行全面測試和支援的版本。更多詳情請見 "這裡"

  • *自平衡集群。 *提供自動負載平衡、故障偵測和自我修復。它還支援根據需要添加或停用代理,無需手動調整。

  • *匯合簇連接。 *直接將集群連接在一起,並透過連結橋將主題從一個集群鏡像到另一個集群。集群連結簡化了多資料中心、多集群和混合雲部署的設定。

  • *匯合自動數據平衡器。 *監控叢集中的代理數量、分區大小、分區數量以及叢集內的領導者數量。它允許您轉移資料以在整個叢集中創建均勻的工作負載,同時限制重新平衡流量以最大限度地減少重新平衡時對生產工作負載的影響。

  • *匯合複製器。 *讓在多個資料中心維護多個 Kafka 叢集變得比以往更加簡單。

  • *分層儲存。 *提供使用您最喜歡的雲端供應商儲存大量 Kafka 資料的選項,從而減少營運負擔和成本。透過分層存儲,您可以將資料保存在經濟高效的物件儲存中,並且僅在需要更多運算資源時才擴展代理程式。

  • Confluent JMS 用戶端。 Confluent Platform 包含一個與 JMS 相容的 Kafka 用戶端。此 Kafka 用戶端實作了 JMS 1.1 標準 API,使用 Kafka 代理作為後端。如果您有使用 JMS 的遺留應用程式並且想要用 Kafka 取代現有的 JMS 訊息代理,這將非常有用。

  • *Confluent MQTT 代理。 *提供一種從 MQTT 設備和網關直接向 Kafka 發布資料的方法,無需中間的 MQTT 代理。

  • *Confluent 安全插件。 * Confluent 安全外掛程式用於為各種 Confluent 平台工具和產品添加安全功能。目前,有一個可用於 Confluent REST 代理程式的插件,可協助驗證傳入的請求並將經過驗證的主體傳播到對 Kafka 的請求。這使得 Confluent REST 代理客戶端能夠利用 Kafka 代理的多租戶安全功能。