ユースケース 3 :既存の Hadoop データに対して DevTest を有効化
このユースケースでは、 DevTest と Reporting の目的で同じデータセンターとリモートサイトに大量の分析データを格納した既存の Hadoop クラスタをベースに、新しい Hadoop / Spark クラスタを迅速かつ効率的に構築することがお客様の要件となります。
シナリオ( Scenario )
このシナリオでは、大規模な Hadoop データレイク実装をオンプレミスとディザスタリカバリサイトで使用して、複数の Spark / Hadoop クラスタを構築しています。
要件と課題
このユースケースの主な要件と課題は次のとおりです。
-
DevTest 、 QA 用など、同じ本番環境のデータへのアクセスを必要とする用途に複数の Hadoop クラスタを作成この課題は、非常に大規模な Hadoop クラスタを、スペース効率に優れた方法で何度も瞬時にクローニングすることです。
-
運用効率を高めるために、 Hadoop データを DevTest チームとレポートチームに同期します。
-
業務用クラスタと新規クラスタに同じクレデンシャルを使用して Hadoop データを分散します。
-
スケジュールされたポリシーを使用して、本番クラスタに影響を与えずに効率的に QA クラスタを作成
解決策
FlexClone テクノロジは、直前に説明した要件を回答に適用するために使用されます。FlexClone テクノロジは、 Snapshot コピーの読み取り / 書き込みコピーです。親 Snapshot コピーのデータを読み取り、新規または変更されたブロック用に追加のスペースのみを消費します。高速でスペース効率に優れています。
まず、ネットアップの整合グループを使用して既存のクラスタの Snapshot コピーを作成し、
NetApp System Manager またはストレージ管理プロンプト内の Snapshot コピー。整合グループ Snapshot コピーはアプリケーションと整合性のあるグループ Snapshot コピーであり、整合グループ Snapshot コピーに基づいて FlexClone ボリュームが作成されます。FlexClone ボリュームは親ボリュームの NFS エクスポートポリシーを継承することに留意する必要があります。Snapshot コピーの作成後、次の図に示すように、 DevTest および Reporting 用に新しい Hadoop クラスタをインストールする必要があります。新しいHadoopクラスタのクローンNFSボリュームがNFSデータにアクセスします。
この図は、 DevTest 用の Hadoop クラスタを示しています。