テクノロジの概要
このセクションでは、この解決策で使用されるテクノロジーについて説明します。
NetApp ONTAP ストレージコントローラ
NetApp ONTAP は、ハイパフォーマンスなエンタープライズクラスのストレージオペレーティングシステムです。
NetApp ONTAP 9.8では、Amazon Simple Storage Service(S3)APIがサポートされるようになりました。ONTAP は、Amazon Web Services(AWS)S3 APIアクションのサブセットをサポートしており、クラウドプロバイダ(AWS、Azure、GCP)とオンプレミスの両方のONTAPベースシステムでデータをオブジェクトとして表すことができます。
ネットアップのStorageGRID ソフトウェアは、オブジェクトストレージ向けの主力製品であるネットアップの解決策 です。ONTAP は、エッジ上での取り込み/前処理ポイントを提供することでStorageGRID を補完します。ネットアップが提供するオブジェクトデータ向けデータファブリックを拡張し、ネットアップ製品ポートフォリオの価値を高めます。
S3バケットへのアクセスは、許可されたユーザアプリケーションとクライアントアプリケーションを介して提供されます。次の図は、S3バケットにアクセスするアプリケーションを示しています。
主なユースケース
S3 APIをサポートする主な目的は、ONTAP でオブジェクトへのアクセスを提供することです。ONTAP ユニファイドストレージアーキテクチャで、ファイル(NFSおよびSMB)、ブロック(FCおよびiSCSI)、オブジェクト(S3)がサポートされるようになりました。
ネイティブS3アプリケーション
S3を使用したオブジェクトアクセスにONTAP のサポートを利用できるアプリケーションが増えています。大容量のアーカイブワークロードには適していますが、ネイティブS3アプリケーションではハイパフォーマンスが急速に拡大しており、次のようなニーズがあります。
-
分析
-
人工知能
-
エッジからコアへの取り込み
-
機械学習
ONTAP System Managerなど、使い慣れた管理ツールを使用して、ONTAP の開発や運用に使用できる高性能オブジェクトストレージを迅速にプロビジョニングできるようになりました。そのため、ONTAP のStorage Efficiency機能とセキュリティを活用できます。
FabricPool エンドポイント
ONTAP 9.8以降では、FabricPool でONTAP のバケットへの階層化がサポートされるため、ONTAP間で階層化できます。これは、既存のFAS インフラをオブジェクトストアのエンドポイントとして転用する場合に最適なオプションです。
FabricPool では、次の2つの方法でONTAP への階層化がサポートさ
-
*ローカルクラスタ階層化*アクセス頻度の低いデータは、クラスタLIFを使用してローカルクラスタのバケットに階層化されます。
-
*リモートクラスタ階層化*従来のFabricPoolクラウド階層と同様に、FabricPoolクライアントのIC LIFとONTAPオブジェクトストアのデータLIFを使用して、アクセス頻度の低いデータがリモートクラスタ上のバケットに階層化されます。
ONTAP S3は、既存のクラスタで追加のハードウェアや管理作業を行わずにS3機能を利用する場合に適しています。300TBを超える導入については、NetApp StorageGRID ソフトウェアを引き続き、オブジェクトストレージ向けの主要なネットアップ解決策 としてご利用いただけます。ONTAP またはStorageGRID をクラウド階層として使用する場合は、FabricPool ライセンスは必要ありません。
格納域の優れた階層化ストレージを実現するNetApp ONTAP
すべてのデータセンターで、ビジネスクリティカルなアプリケーションの稼働を維持し、重要なデータの可用性とセキュリティを確保する必要があります。新しいNetApp AFF A900システムは、ONTAP Enterprise Editionソフトウェアを搭載し、耐障害性に優れた設計を採用しています。ネットアップの新しい高速NVMeストレージシステムは、ミッションクリティカルな運用の中断をなくし、パフォーマンスの調整を最小限に抑え、ランサムウェア攻撃からデータを保護します。
初期導入から流暢なクラスタの拡張に至るまで、ビジネスクリティカルなアプリケーションに影響を伴わない変化に迅速に適応する必要があります。ONTAP のエンタープライズデータ管理、Quality of Service(QoS;サービス品質)、およびパフォーマンスにより、お客様の環境を計画して適合させることができます。
ネットアップのONTAP とConluent Tiered Storageを併用すると、スケールアウトストレージターゲットとしてONTAP を利用することでApache Kafkaクラスタの管理が簡素化され、流暢なコンピューティングリソースとストレージリソースを個別に拡張できます。
ONTAP S3サーバは、成熟したONTAP のスケールアウトストレージ機能を基盤としています。ONTAP クラスタをシームレスONTAP に拡張するには、新しく追加したノードを使用するようにS3バケットを拡張します。
ONTAP システムマネージャを使用してシンプルな管理を実現
ONTAP System Managerは、ブラウザベースのグラフィカルインターフェイスで、ONTAP ストレージコントローラの設定、管理、監視を、単一のコンソールから世界中に分散して実行できます。
ONTAP S3は、System ManagerおよびONTAP CLIを使用して設定および管理できます。System Managerを使用してS3を有効にしてバケットを作成する場合、ONTAP では、シンプルな設定を実現するためのデフォルトのベストプラクティスが提供されます。CLIからS3サーバとバケットを設定した場合は、必要に応じてSystem Managerでそれらを管理することも、その逆も可能です。
System Managerを使用してS3バケットを作成すると、ONTAPによってデフォルトのパフォーマンスサービスレベルがシステムで使用可能な最も高いレベルに設定されます。たとえば、AFF システムの場合、デフォルト設定は「最高レベル」です。パフォーマンスサービスレベルは、事前定義されたアダプティブQoSポリシーグループです。デフォルトのいずれかのサービスレベルの代わりに、カスタムのQoSポリシーグループを指定することも、ポリシーグループを指定しないこともできます。
事前定義されたアダプティブQoSポリシーグループには次のものがあります。
-
*エクストリーム。*レイテンシを最小限に抑え、パフォーマンスを最大限に高める必要があるアプリケーションに使用します。
-
*パフォーマンス。*適度なパフォーマンスとレイテンシが求められるアプリケーションに使用します。
-
*値。*レイテンシよりもスループットと容量を重視するアプリケーションに使用します。
-
*カスタム*カスタムのQoSポリシーまたはQoSポリシーなしを指定します。
[ 階層化に使用する *] を選択した場合、パフォーマンスサービスレベルは選択されず、階層化データに最適なパフォーマンスを備えた低コストのメディアを選択しようとします。
ONTAPは、選択したサービスレベルを満たす最も適切なディスクを使用するローカル階層にこのバケットをプロビジョニングしようとします。ただし、バケットに含めるディスクを指定する必要がある場合は、CLIからローカル階層(アグリゲート)を指定してS3オブジェクトストレージを設定することを検討してください。CLIからS3サーバを設定した場合も、必要に応じてSystem Managerで管理できます。
バケットに使用するアグリゲートを指定できるようにするには、CLIを使用する必要があります。
矛盾する
Conflicent Platform は、データへのアクセス、保存、管理を継続的なリアルタイムストリームとして簡単に行うことができる、フルスケールのデータストリーミングプラットフォームです。ConFluent では、 Apache Kafka を作成した元のクリエイターが開発したサービスを利用して、 Kafka のメリットをエンタープライズクラスの機能で拡張しながら、 Kafka の管理や監視の負担を軽減することができます。現在、Fortune 100企業の80%以上がデータストリーミングテクノロジを採用しており、大部分が活用されています。
流暢な理由
履歴データとリアルタイムデータを一元化された単一の情報源に統合することで、 Conluent は、まったく新しいカテゴリの最新のイベント駆動型アプリケーションを簡単に構築し、ユニバーサルデータパイプラインを取得し、拡張性、パフォーマンス、信頼性を備えた強力な新しいユースケースを開放します。
流暢なものは何のために使用されるか。
Conflicent Platform を使用すると、データが異なるシステム間でどのように転送または統合されるかなど、基本的なメカニズムを気にすることなく、データからビジネス価値を引き出す方法に集中できます。具体的には、 Con裕福 なプラットフォームによって、 Kafka へのデータソースの接続やストリーミングアプリケーションの構築、 Kafka インフラの保護、監視、管理が簡易化されます。現在、Conluent Platformは、金融サービス、オムニチャネル小売、自律走行車から不正検出、マイクロサービス、IoTまで、さまざまな業界で幅広く使用されています。
次の図は、流暢なプラットフォームのコンポーネントを示しています。
流暢なイベントストリーミング技術の概要
Confluent Platformの中核は、 "カフカ"最も人気のあるオープンソースの分散ストリーミングプラットフォームです。Kafkaの主な機能は次のとおりです。
-
レコードのストリームをパブリッシュしてサブスクライブします。
-
レコードのストリームをフォールトトレラントな方法で保存します。
-
レコードのストリームを処理します。
Conluent Platform には Schema Registry 、 REST Proxy 、合計 100 以上の Kafka コネクタ、および ksqlDB も含まれています。
流暢なプラットフォームのエンタープライズ機能の概要
-
* Confluent Control Center。*Kafkaを管理および監視するためのUIベースのシステム。Kafka Connect の管理や、他のシステムとの接続の作成、編集、管理を簡単に行うことができます。
-
* Kubernetesに対応*Confluent for KubernetesはKubernetesを運用する企業です。Kubernetes の運用担当者は、特定のプラットフォームアプリケーションに固有の機能と要件を提供することで、 Kubernetes のオーケストレーション機能を拡張します。Con裕福 なプラットフォームの場合は、 Kubernetes での Kafka の導入プロセスを大幅に簡易化し、一般的なインフラのライフサイクルタスクを自動化します。
-
* Kafka Connectコネクタ*コネクタは、Kafka Connect APIを使用して、データベース、キーバリューストア、検索インデックス、ファイルシステムなどの他のシステムにKafkaを接続します。Confluent Hub には、一般的なデータソースおよびシンク用のダウンロード可能なコネクタがあります。これには、 Conluent Platform でこれらのコネクタの完全なテストとサポートされたバージョンが含まれます。詳細はこちらをご覧 "ここをクリック"ください。
-
*自己バランシングクラスタ*自動ロードバランシング、障害検出、自己修復を提供します。また、必要に応じてブローカーの追加や運用停止も可能で、手動での調整は不要です。
-
*クラスタリンクが一致しています。*クラスタを直接接続し、リンクブリッジを介してクラスタ間でトピックをミラーリングします。クラスタリンクにより、マルチデータセンター、マルチクラスタ、ハイブリッドクラウドの導入を簡易化できます。
-
* Confluent auto data balancer*ブローカーの数、パーティションのサイズ、パーティションの数、およびクラスタ内のリーダーの数についてクラスタを監視します。これにより、データを移動してクラスタ全体で均等なワークロードを作成しながら、トラフィックのリバランシングを調整して、リバランシング中の本番ワークロードへの影響を最小限に抑えることができます。
-
* Confluent replicator。*複数のデータセンターで複数のKafkaクラスタをこれまで以上に簡単に管理できます。
-
*階層型ストレージ*任意のクラウドプロバイダを使用して大量のKafkaデータを保存するオプションを提供し、運用の負担とコストを軽減します。階層型ストレージでは、コスト効率に優れたオブジェクトストレージにデータを格納し、ブローカーを拡張するために、必要なコンピューティングリソースが増えた場合のみデータを利用できます。
-
*一致するJMSクライアント。*Confluent Platformには、Kafka用のJMS互換クライアントが含まれています。Kafka クライアントは、 Kafka ブローカーをバックエンドとして使用して、 JMS 1.1 標準 API を実装しています。これは 'JMS を使用するレガシーアプリケーションがあり ' 既存の JMS メッセージブローカを Kafka に置き換える場合に便利です
-
*一致するMQTTプロキシ。*MQTTデバイスやゲートウェイからKafkaにデータを直接パブリッシュする方法を提供します。中央にMQTTブローカーを配置する必要はありません。
-
*整合性のあるセキュリティプラグイン*Confluent Securityプラグインは、さまざまなConfluent Platformツールや製品にセキュリティ機能を追加するために使用されます。現在、 Conluent REST プロキシ用のプラグインが用意されており、受信要求の認証に役立ち、認証されたプリンシパルを要求に Kafka に伝播できます。これにより、 Con裕福 な REST プロキシクライアントでは、 Kafka ブローカーのマルチテナントセキュリティ機能を利用できます。