日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ユースケース 3 :既存の Hadoop データに対して DevTest を有効化

寄稿者

このユースケースでは、 DevTest と Reporting の目的で同じデータセンターとリモートサイトに大量の分析データを格納した既存の Hadoop クラスタをベースに、新しい Hadoop / Spark クラスタを迅速かつ効率的に構築することがお客様の要件となります。

シナリオ( Scenario )

このシナリオでは、大規模な Hadoop データレイク実装をオンプレミスとディザスタリカバリサイトで使用して、複数の Spark / Hadoop クラスタを構築しています。

要件と課題

このユースケースの主な要件と課題は次のとおりです。

  • DevTest 、 QA 用など、同じ本番環境のデータへのアクセスを必要とする用途に複数の Hadoop クラスタを作成この課題は、非常に大規模な Hadoop クラスタを、スペース効率に優れた方法で何度も瞬時にクローニングすることです。

  • 運用効率を高めるために、 Hadoop データを DevTest チームとレポートチームに同期します。

  • 業務用クラスタと新規クラスタに同じクレデンシャルを使用して Hadoop データを分散します。

  • スケジュールされたポリシーを使用して、本番クラスタに影響を与えずに効率的に QA クラスタを作成

解決策

FlexClone テクノロジは、直前に説明した要件を回答に適用するために使用されます。FlexClone テクノロジは、 Snapshot コピーの読み取り / 書き込みコピーです。親 Snapshot コピーのデータを読み取り、新規または変更されたブロック用に追加のスペースのみを消費します。高速でスペース効率に優れています。

まず、ネットアップの整合グループを使用して既存のクラスタの Snapshot コピーを作成し、

NetApp System Manager またはストレージ管理プロンプト内の Snapshot コピー。整合グループ Snapshot コピーはアプリケーションと整合性のあるグループ Snapshot コピーであり、整合グループ Snapshot コピーに基づいて FlexClone ボリュームが作成されます。FlexClone ボリュームは親ボリュームの NFS エクスポートポリシーを継承することに留意する必要があります。Snapshot コピーの作成後、次の図に示すように、 DevTest および Reporting 用に新しい Hadoop クラスタをインストールする必要があります。インプレース分析モジュールは、 NFS データのインプレース分析モジュールユーザーおよびグループ許可を介して、新しい Hadoop クラスタからクローン NFS ボリュームにアクセスします。

適切なアクセス権を持つには、インプレース分析モジュールのユーザーとグループ構成で設定されたユーザーに対して、新しいクラスタに同じ UID と GUID が設定されている必要があります。

この図は、 DevTest 用の Hadoop クラスタを示しています。

エラー:グラフィックイメージがありません