テクノロジの概要
このセクションでは、この解決策で使用されるテクノロジーについて説明します。
NetApp ONTAP ストレージコントローラ
NetApp ONTAP は、ハイパフォーマンスなエンタープライズクラスのストレージオペレーティングシステムです。
NetApp ONTAP 9.8では、Amazon Simple Storage Service(S3)APIがサポートされるようになりました。ONTAP は、Amazon Web Services(AWS)S3 APIアクションのサブセットをサポートしており、クラウドプロバイダ(AWS、Azure、GCP)とオンプレミスの両方のONTAPベースシステムでデータをオブジェクトとして表すことができます。
ネットアップのStorageGRID ソフトウェアは、オブジェクトストレージ向けの主力製品であるネットアップの解決策 です。ONTAP は、エッジ上での取り込み/前処理ポイントを提供することでStorageGRID を補完します。ネットアップが提供するオブジェクトデータ向けデータファブリックを拡張し、ネットアップ製品ポートフォリオの価値を高めます。
S3バケットへのアクセスは、許可されたユーザアプリケーションとクライアントアプリケーションを介して提供されます。次の図は、S3バケットにアクセスするアプリケーションを示しています。
主なユースケース
S3 APIをサポートする主な目的は、ONTAP でオブジェクトへのアクセスを提供することです。ONTAP ユニファイドストレージアーキテクチャで、ファイル(NFSおよびSMB)、ブロック(FCおよびiSCSI)、オブジェクト(S3)がサポートされるようになりました。
ネイティブS3アプリケーション
S3を使用したオブジェクトアクセスにONTAP のサポートを利用できるアプリケーションが増えています。大容量のアーカイブワークロードには適していますが、ネイティブS3アプリケーションではハイパフォーマンスが急速に拡大しており、次のようなニーズがあります。
-
分析
-
人工知能
-
エッジからコアへの取り込み
-
機械学習
ONTAP System Managerなど、使い慣れた管理ツールを使用して、ONTAP の開発や運用に使用できる高性能オブジェクトストレージを迅速にプロビジョニングできるようになりました。そのため、ONTAP のStorage Efficiency機能とセキュリティを活用できます。
FabricPool エンドポイント
ONTAP 9.8以降では、FabricPool でONTAP のバケットへの階層化がサポートされるため、ONTAP間で階層化できます。これは、既存のFAS インフラをオブジェクトストアのエンドポイントとして転用する場合に最適なオプションです。
FabricPool では、次の2つの方法でONTAP への階層化がサポートさ
-
*ローカルクラスタ階層化。*非アクティブなデータは、クラスタLIFを使用してローカルクラスタにあるバケットに階層化されます。
-
*リモートクラスタの階層化。*非アクティブなデータは、FabricPool クライアントのIC LIFとONTAP オブジェクトストアのデータLIFを使用して、従来のFabricPool クラウド階層と同様に、リモートクラスタにあるバケットに階層化されます。
ONTAP S3 は、ハードウェアや管理の追加なしで既存のクラスタの S3 機能を利用する場合に適しています。300TBを超える導入については、NetApp StorageGRID ソフトウェアを引き続き、オブジェクトストレージ向けの主要なネットアップ解決策 としてご利用いただけます。ONTAP またはStorageGRID をクラウド階層として使用する場合は、FabricPool ライセンスは必要ありません。
格納域の優れた階層化ストレージを実現するNetApp ONTAP
すべてのデータセンターで、ビジネスクリティカルなアプリケーションの稼働を維持し、重要なデータの可用性とセキュリティを確保する必要があります。新しいNetApp AFF A900システムは、ONTAP Enterprise Editionソフトウェアを搭載し、耐障害性に優れた設計を採用しています。ネットアップの新しい高速NVMeストレージシステムは、ミッションクリティカルな運用の中断をなくし、パフォーマンスの調整を最小限に抑え、ランサムウェア攻撃からデータを保護します。
初期導入から流暢なクラスタの拡張に至るまで、ビジネスクリティカルなアプリケーションに影響を伴わない変化に迅速に適応する必要があります。ONTAP のエンタープライズデータ管理、Quality of Service(QoS;サービス品質)、およびパフォーマンスにより、お客様の環境を計画して適合させることができます。
ネットアップのONTAP とConluent Tiered Storageを併用すると、スケールアウトストレージターゲットとしてONTAP を利用することでApache Kafkaクラスタの管理が簡素化され、流暢なコンピューティングリソースとストレージリソースを個別に拡張できます。
ONTAP S3サーバは、成熟したONTAP のスケールアウトストレージ機能を基盤としています。ONTAP クラスタをシームレスONTAP に拡張するには、新しく追加したノードを使用するようにS3バケットを拡張します。
ONTAP システムマネージャを使用してシンプルな管理を実現
ONTAP System Managerは、ブラウザベースのグラフィカルインターフェイスで、ONTAP ストレージコントローラの設定、管理、監視を、単一のコンソールから世界中に分散して実行できます。
ONTAP S3は、System ManagerおよびONTAP CLIを使用して設定および管理できます。System Managerを使用してS3を有効にしてバケットを作成する場合、ONTAP では、シンプルな設定を実現するためのデフォルトのベストプラクティスが提供されます。CLIからS3サーバとバケットを設定した場合は、必要に応じてSystem Managerでそれらを管理することも、その逆も可能です。
System Manager を使用して S3 バケットを作成すると、 ONTAP によって、システムで最も使用可能なパフォーマンスサービスレベルがデフォルトで設定されます。たとえば、AFF システムの場合、デフォルト設定は「最高レベル」です。パフォーマンスサービスレベルは、事前定義されたアダプティブQoSポリシーグループです。カスタムの QoS ポリシーグループを指定する場合は、デフォルトのサービスレベルのいずれかを指定する代わりに、ポリシーグループを指定しなくてもかまいません。
事前定義されたアダプティブQoSポリシーグループには次のものがあります。
-
最高レベル。低レイテンシと最高レベルのパフォーマンスを必要とするアプリケーションに使用されます。
-
*パフォーマンス。*適度なパフォーマンスとレイテンシが求められるアプリケーションに使用します。
-
*値。スループットと容量がレイテンシよりも重要なアプリケーションに使用。
-
*カスタム。*カスタムのQoSポリシーを指定するか、QoSポリシーなしで指定します。
[ 階層化に使用する *] を選択した場合、パフォーマンスサービスレベルは選択されず、階層化データに最適なパフォーマンスを備えた低コストのメディアを選択しようとします。
ONTAP は、選択したサービスレベルを満たす最も適切なディスクを含むローカル階層でこのバケットをプロビジョニングしようとします。ただし、バケットに含めるディスクを指定する必要がある場合は、 CLI でローカル階層(アグリゲート)を指定して S3 オブジェクトストレージを設定することを検討してください。CLI から S3 サーバを設定した場合も、必要に応じて System Manager で管理できます。
バケットに使用するアグリゲートを指定できるようにするには、 CLI を使用する必要があります。
矛盾する
Conflicent Platform は、データへのアクセス、保存、管理を継続的なリアルタイムストリームとして簡単に行うことができる、フルスケールのデータストリーミングプラットフォームです。ConFluent では、 Apache Kafka を作成した元のクリエイターが開発したサービスを利用して、 Kafka のメリットをエンタープライズクラスの機能で拡張しながら、 Kafka の管理や監視の負担を軽減することができます。現在、Fortune 100企業の80%以上がデータストリーミングテクノロジを採用しており、大部分が活用されています。
流暢な理由
履歴データとリアルタイムデータを一元化された単一の情報源に統合することで、 Conluent は、まったく新しいカテゴリの最新のイベント駆動型アプリケーションを簡単に構築し、ユニバーサルデータパイプラインを取得し、拡張性、パフォーマンス、信頼性を備えた強力な新しいユースケースを開放します。
流暢なものは何のために使用されるか。
Conflicent Platform を使用すると、データが異なるシステム間でどのように転送または統合されるかなど、基本的なメカニズムを気にすることなく、データからビジネス価値を引き出す方法に集中できます。具体的には、 Con裕福 なプラットフォームによって、 Kafka へのデータソースの接続やストリーミングアプリケーションの構築、 Kafka インフラの保護、監視、管理が簡易化されます。現在、Conluent Platformは、金融サービス、オムニチャネル小売、自律走行車から不正検出、マイクロサービス、IoTまで、さまざまな業界で幅広く使用されています。
次の図は、流暢なプラットフォームのコンポーネントを示しています。
流暢なイベントストリーミング技術の概要
流暢なプラットフォームの中核はです "カフカ"最も人気の高いオープンソース分散ストリーミングプラットフォームです。Kafkaの主な機能は次のとおりです。
-
レコードのストリームをパブリッシュしてサブスクライブします。
-
レコードのストリームをフォールトトレラントな方法で保存します。
-
レコードのストリームを処理します。
Conluent Platform には Schema Registry 、 REST Proxy 、合計 100 以上の Kafka コネクタ、および ksqlDB も含まれています。
流暢なプラットフォームのエンタープライズ機能の概要
-
* ConFluent Control Center * Kafkaの管理と監視を行うためのUIベースのシステムです。Kafka Connect の管理や、他のシステムとの接続の作成、編集、管理を簡単に行うことができます。
-
* Kubernetes には流暢な言葉があります。 * Kubernetes の流暢な言葉は Kubernetes のオペレータです。Kubernetes の運用担当者は、特定のプラットフォームアプリケーションに固有の機能と要件を提供することで、 Kubernetes のオーケストレーション機能を拡張します。Con裕福 なプラットフォームの場合は、 Kubernetes での Kafka の導入プロセスを大幅に簡易化し、一般的なインフラのライフサイクルタスクを自動化します。
-
* Kafka Connectコネクタ。*コネクタはKafka Connect APIを使用して、Kafkaと他のシステム(データベース、キーバリューストア、検索インデックス、ファイルシステムなど)との接続に使用します。Confluent Hub には、一般的なデータソースおよびシンク用のダウンロード可能なコネクタがあります。これには、 Conluent Platform でこれらのコネクタの完全なテストとサポートされたバージョンが含まれます。詳細については、を参照してください "こちらをご覧ください"。
-
* セルフバランシングクラスタ。 * 自動ロードバランシング、障害検出、自己修復機能を提供します。また、必要に応じてブローカーの追加や運用停止も可能で、手動での調整は不要です。
-
* クラスタを直接接続し、リンクブリッジを介して 1 つのクラスタから別のクラスタにトピックをミラーリングします。クラスタリンクにより、マルチデータセンター、マルチクラスタ、ハイブリッドクラウドの導入を簡易化できます。
-
*流暢な自動データバランサ。*ブローカーの数、パーティションのサイズ、パーティションの数、およびクラスタ内のリーダーの数について、クラスタを監視します。これにより、データを移動してクラスタ全体で均等なワークロードを作成しながら、トラフィックのリバランシングを調整して、リバランシング中の本番ワークロードへの影響を最小限に抑えることができます。
-
* 流暢なリプリケータ * により、複数のデータセンターで複数の Kafka クラスターを容易に保守できます。
-
* 階層化ストレージ。 * 任意のクラウドプロバイダを使用して大量の Kafka データを保存するオプションを提供し、運用上の負担とコストを削減します。階層型ストレージでは、コスト効率に優れたオブジェクトストレージにデータを格納し、ブローカーを拡張するために、必要なコンピューティングリソースが増えた場合のみデータを利用できます。
-
* Conluent JMS Client. * Conluent Platform には Kafka 用の JMS 対応クライアントが含まれています。Kafka クライアントは、 Kafka ブローカーをバックエンドとして使用して、 JMS 1.1 標準 API を実装しています。これは 'JMS を使用するレガシーアプリケーションがあり ' 既存の JMS メッセージブローカを Kafka に置き換える場合に便利です
-
* Coneluent MQTT プロキシ * を使用すると、 MQTT デバイスやゲートウェイから Kafka に直接データを公開できます。 MQTT ブローカーは必要ありません。
-
* 流暢なセキュリティプラグイン。 * 流暢なセキュリティプラグインは、各種の流暢なプラットフォームツールや製品にセキュリティ機能を追加するために使用されます。現在、 Conluent REST プロキシ用のプラグインが用意されており、受信要求の認証に役立ち、認証されたプリンシパルを要求に Kafka に伝播できます。これにより、 Con裕福 な REST プロキシクライアントでは、 Kafka ブローカーのマルチテナントセキュリティ機能を利用できます。