技術概要
このセクションでは、このソリューションで使用されるテクノロジについて説明します。
NetApp ONTAPストレージ コントローラ
NetApp ONTAPは、高性能なエンタープライズ グレードのストレージ オペレーティング システムです。
NetApp ONTAP 9.8 では、Amazon Simple Storage Service (S3) API のサポートが導入されました。 ONTAP は、Amazon Web Services (AWS) S3 API アクションのサブセットをサポートし、クラウド プロバイダー (AWS、Azure、GCP) およびオンプレミス全体のONTAPベースのシステムでデータをオブジェクトとして表現できるようにします。
NetApp StorageGRIDソフトウェアは、オブジェクト ストレージ向けのNetApp の主力ソリューションです。 ONTAP は、エッジでの取り込みおよび前処理ポイントを提供することでStorageGRID を補完し、オブジェクト データ用にNetAppが提供するデータ ファブリックを拡張し、 NetApp製品ポートフォリオの価値を高めます。
S3 バケットへのアクセスは、承認されたユーザーとクライアント アプリケーションを通じて提供されます。次の図は、アプリケーションが S3 バケットにアクセスする様子を示しています。
主な使用例
S3 API をサポートする主な目的は、 ONTAP上のオブジェクト アクセスを提供することです。 ONTAP統合ストレージ アーキテクチャは、ファイル (NFS および SMB)、ブロック (FC および iSCSI)、およびオブジェクト (S3) をサポートするようになりました。
ネイティブS3アプリケーション
S3 を使用したオブジェクト アクセスにONTAPサポートを活用できるアプリケーションが増えています。大容量のアーカイブ ワークロードに適していますが、ネイティブ S3 アプリケーションにおける高パフォーマンスのニーズは急速に高まっており、次のようなメリットがあります。
-
Analytics
-
人工知能
-
エッジツーコアの取り込み
-
機械学習
お客様は、 ONTAP System Manager などの使い慣れた管理ツールを使用して、 ONTAPでの開発および運用用の高性能オブジェクト ストレージを迅速にプロビジョニングし、 ONTAPストレージの効率性とセキュリティを活用できるようになりました。
FabricPoolエンドポイント
ONTAP 9.8 以降、 FabricPool はONTAP内のバケットへの階層化をサポートし、 ONTAP間の階層化が可能になります。これは、既存のFASインフラストラクチャをオブジェクト ストア エンドポイントとして再利用したいお客様にとって最適なオプションです。
FabricPool は、次の 2 つの方法でONTAPへの階層化をサポートします。
-
*ローカル クラスターの階層化*非アクティブなデータは、クラスタ LIF を使用してローカル クラスタにあるバケットに階層化されます。
-
*リモート クラスター階層化*非アクティブなデータは、 FabricPoolクライアント上の IC LIF とONTAPオブジェクト ストア上のデータ LIF を使用して、従来のFabricPoolクラウド階層と同様の方法で、リモート クラスタにあるバケットに階層化されます。
既存のクラスタで追加のハードウェアや管理の負担なしでS3の機能を利用する場合は、ONTAP S3が適しています。300 TB を超える規模の導入では、 NetApp StorageGRIDソフトウェアが引き続きオブジェクト ストレージ向けの主力NetAppソリューションとなります。 ONTAPまたはStorageGRID をクラウド層として使用する場合、 FabricPoolライセンスは必要ありません。
Confluent 階層型ストレージ向けNetApp ONTAP
すべてのデータ センターでは、ビジネスに不可欠なアプリケーションを稼働させ、重要なデータを利用可能かつ安全に維持する必要があります。新しいNetApp AFF A900システムは、 ONTAP Enterprise Edition ソフトウェアと高耐障害性設計を採用しています。当社の新しい超高速 NVMe ストレージ システムは、ミッション クリティカルな業務の中断を排除し、パフォーマンス チューニングを最小限に抑え、ランサムウェア攻撃からデータを保護します。
Confluent クラスターの初期導入から拡張まで、ビジネス クリティカルなアプリケーションを中断することなく、環境の変化に迅速に適応することが求められます。 ONTAP のエンタープライズ データ管理、サービス品質 (QoS)、およびパフォーマンスにより、環境に合わせて計画を立て、適応することができます。
NetApp ONTAPと Confluent Tiered Storage を併用すると、 ONTAP をスケールアウト ストレージ ターゲットとして活用することで Apache Kafka クラスターの管理が簡素化され、Confluent のコンピューティング リソースとストレージ リソースを個別にスケーリングできるようになります。
ONTAP S3 サーバーは、 ONTAPの成熟したスケールアウト ストレージ機能に基づいて構築されています。 S3 バケットを拡張して ONTAP クラスターに新しく追加されたノードを使用することで、 ONTAPクラスターのスケーリングをシームレスに実行できます。
ONTAP System Managerによるシンプルな管理
ONTAP System Manager は、ブラウザベースのグラフィカル インターフェイスであり、世界中に分散した場所にあるONTAPストレージ コントローラを単一の画面で構成、管理、監視できます。
ONTAP S3は、System ManagerおよびONTAP CLIを使用して設定および管理できます。System Manager を使用して S3 を有効にし、バケットを作成すると、 ONTAP は簡素化された構成のためのベストプラクティスのデフォルトを提供します。 S3 サーバーとバケットを CLI から構成した場合でも、必要に応じて System Manager を使用して管理できます。その逆も可能です。
System Managerを使用してS3バケットを作成すると、デフォルトのパフォーマンス サービス レベルが設定されます。これは、システムで使用できる最も高いレベルです。たとえば、 AFFシステムでは、デフォルト設定は Extreme になります。パフォーマンス サービス レベルは、事前定義された適応型 QoS ポリシー グループです。デフォルトのストレージ サービス レベルを使用する代わりに、カスタムのQoSポリシー グループを指定するか、ポリシー グループをなしにすることもできます。
定義済みの適応型 QoS ポリシー グループには次のものが含まれます。
-
*過激。*最も低いレイテンシと最高のパフォーマンスを必要とするアプリケーションに使用されます。
-
*パフォーマンス。*適度なパフォーマンスとレイテンシが求められるアプリケーションに使用します。
-
*価値。*レイテンシよりもスループットと容量を重視するアプリケーションに使用します。
-
*カスタム。*カスタムのQoSポリシーまたはQoSポリシーなしを指定します。
階層化に使用 を選択した場合、パフォーマンス サービス レベルは選択されず、システムは階層化されたデータに最適なパフォーマンスを持つ低コストのメディアを選択しようとします。
ONTAPは、選択したサービス レベルを満たす、最も適切なディスクを含むローカル階層にバケットをプロビジョニングします。ただし、バケットに含めるディスクを指定する必要がある場合は、CLIでローカル階層(アグリゲート)を指定してS3オブジェクト ストレージを設定する方法もあります。CLIでS3サーバを設定した場合も、必要に応じてSystem Managerで管理できます。
バケットに使用するアグリゲートはCLIでしか指定できません。
合流
Confluent Platform は、継続的なリアルタイム ストリームとしてデータに簡単にアクセス、保存、管理できる本格的なデータ ストリーミング プラットフォームです。 Apache Kafka のオリジナル作成者によって構築された Confluent は、エンタープライズ グレードの機能によって Kafka の利点を拡大するとともに、Kafka の管理や監視の負担を軽減します。現在、Fortune 100 企業の 80% 以上がデータ ストリーミング テクノロジーを活用しており、そのほとんどが Confluent を使用しています。
Confluentを選ぶ理由
Confluent は、履歴データとリアルタイム データを単一の信頼できる中央ソースに統合することで、まったく新しいカテゴリの最新のイベント駆動型アプリケーションを簡単に構築し、ユニバーサル データ パイプラインを実現し、完全なスケーラビリティ、パフォーマンス、信頼性を備えた強力な新しいユースケースを実現します。
Confluent は何に使用されますか?
Confluent Platform を使用すると、異なるシステム間でデータがどのように転送されるか、または統合されるかといった基礎となる仕組みを心配するのではなく、データからビジネス価値を引き出す方法に集中できます。具体的には、Confluent Platform は、データ ソースを Kafka に接続し、ストリーミング アプリケーションを構築するだけでなく、Kafka インフラストラクチャのセキュリティ保護、監視、管理も簡素化します。現在、Confluent Platform は、金融サービス、オムニチャネル小売、自律走行車から不正検出、マイクロサービス、IoT まで、さまざまな業界の幅広いユースケースで使用されています。
次の図は、Confluent Platform のコンポーネントを示しています。
Confluent イベント ストリーミング テクノロジーの概要
Confluent Platformの中核は "カフカ"最も人気のあるオープンソース分散ストリーミング プラットフォームです。 Kafka の主な機能は次のとおりです。
-
レコードのストリームを公開およびサブスクライブします。
-
フォールト トレラントな方法でレコードのストリームを保存します。
-
レコードのストリームを処理します。
Confluent Platform には、すぐに使用できる Schema Registry、REST Proxy、合計 100 個以上の構築済み Kafka コネクタ、ksqlDB も含まれています。
Confluent プラットフォームのエンタープライズ機能の概要
-
Confluent コントロール センター Kafka を管理および監視するための UI ベースのシステム。 Kafka Connect を簡単に管理し、他のシステムへの接続を作成、編集、管理できるようになります。
-
Kubernetes 用の Confluent。 Confluent for Kubernetes は Kubernetes オペレーターです。 Kubernetes オペレーターは、特定のプラットフォーム アプリケーションに固有の機能と要件を提供することで、Kubernetes のオーケストレーション機能を拡張します。 Confluent Platform の場合、これには Kubernetes 上の Kafka のデプロイメント プロセスを大幅に簡素化し、一般的なインフラストラクチャ ライフサイクル タスクを自動化することが含まれます。
-
*Kafka Connect コネクタ。*コネクタは Kafka Connect API を使用して、Kafka をデータベース、キー値ストア、検索インデックス、ファイルシステムなどの他のシステムに接続します。 Confluent Hub には、最も人気のあるデータ ソースとシンク用のダウンロード可能なコネクタがあり、Confluent Platform で完全にテストされサポートされているバージョンのコネクタも含まれています。詳細は以下をご覧ください "ここをクリックしてください。"。
-
*自己バランス型クラスター。*自動化された負荷分散、障害検出、自己修復を提供します。また、手動で調整することなく、必要に応じてブローカーを追加または廃止するためのサポートも提供します。
-
*合流クラスターのリンク。*クラスターを直接接続し、リンク ブリッジを介して 1 つのクラスターから別のクラスターにトピックをミラーリングします。クラスター リンクにより、マルチデータセンター、マルチクラスター、ハイブリッド クラウドの展開のセットアップが簡素化されます。
-
*Confluent 自動データバランサー*クラスター内のブローカーの数、パーティションのサイズ、パーティションの数、およびリーダーの数を監視します。これにより、データをシフトしてクラスター全体で均一なワークロードを作成しながら、再バランスのトラフィックを調整して、再バランス中の本番ワークロードへの影響を最小限に抑えることができます。
-
*合流型複製子。*複数のデータ センターで複数の Kafka クラスターを管理することがこれまで以上に簡単になります。
-
*階層型ストレージ*お気に入りのクラウド プロバイダーを使用して大量の Kafka データを保存するオプションを提供し、運用上の負担とコストを削減します。階層型ストレージを使用すると、コスト効率の高いオブジェクト ストレージにデータを保存し、コンピューティング リソースが必要な場合にのみブローカーを拡張できます。
-
Confluent JMS クライアント。 Confluent Platform には、Kafka 用の JMS 互換クライアントが含まれています。この Kafka クライアントは、バックエンドとして Kafka ブローカーを使用して、JMS 1.1 標準 API を実装します。これは、JMS を使用するレガシー アプリケーションがあり、既存の JMS メッセージ ブローカーを Kafka に置き換えたい場合に役立ちます。
-
*Confluent MQTT プロキシ。*中間に MQTT ブローカーを必要とせずに、MQTT デバイスおよびゲートウェイから Kafka に直接データを公開する方法を提供します。
-
Confluent セキュリティ プラグイン Confluent セキュリティ プラグインは、さまざまな Confluent Platform ツールおよび製品にセキュリティ機能を追加するために使用されます。現在、Confluent REST プロキシには、受信リクエストを認証し、認証されたプリンシパルを Kafka へのリクエストに伝播するのに役立つプラグインが用意されています。これにより、Confluent REST プロキシ クライアントは Kafka ブローカーのマルチテナント セキュリティ機能を利用できるようになります。