日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

TR-4732: ビッグデータ分析データから人工知能へ

08/18/2025

カーティケヤンナガリンガム、NetApp

このドキュメントでは、ビッグデータ分析データと HPC データを AI に移動する方法について説明します。 AI は NFS エクスポートを通じて NFS データを処理しますが、顧客は多くの場合 AI データを HDFS、Blob、S3 ストレージなどのビッグデータ分析プラットフォームや GPFS などの HPC プラットフォームに保存しています。このホワイトペーパーでは、 NetApp XCP と NIPAM を使用してビッグデータ分析データと HPC データを AI に移行するためのガイドラインを示します。また、ビッグデータや HPC から AI にデータを移行することによるビジネス上のメリットについても説明します。

概念とコンポーネント

ビッグデータ分析ストレージ

ビッグデータ分析は、HDFS の主要なストレージプロバイダーです。顧客は、Windows Azure Blob Storage、MapR ファイルシステム (MapR-FS)、S3 オブジェクトストレージなどの Hadoop 互換ファイルシステム (HCFS) をよく使用します。

汎用並列ファイルシステム

IBM の GPFS は、HDFS の代替となるエンタープライズファイルシステムです。 GPFS は、アプリケーションがブロックサイズとレプリケーションレイアウトを決定できる柔軟性を提供し、優れたパフォーマンスと効率を実現します。

NetAppインプレース分析モジュール

NetApp In-Place Analytics Module (NIPAM) は、Hadoop クラスターが NFS データにアクセスするためのドライバーとして機能します。接続プール、NFS InputStream、ファイルハンドルキャッシュ、NFS OutputStream の 4 つのコンポーネントがあります。詳細については、以下を参照してください。 https://www.netapp.com/pdf.html?item=/media/16351-tr-4382pdf.pdf 。

Hadoop 分散コピー

Hadoop Distributed Copy (DistCp) は、大規模なクラスター間およびクラスター内のコピータスクに使用される分散コピーツールです。このツールは、データの配布、エラー処理、レポートに MapReduce を使用します。ファイルとディレクトリのリストを展開し、マップタスクに入力して、ソースリストからデータをコピーします。下の画像は、HDFS および非 HDFS での DistCp 操作を示しています。

入出力ダイアログまたは書かれたコンテンツを示す図

Hadoop DistCp は、追加のドライバーを使用せずに 2 つの HDFS システム間でデータを移動します。 NetApp は、HDFS 以外のシステム用のドライバーを提供します。 NFS 宛先の場合、NIPAM は、データをコピーするときに Hadoop DistCp が NFS 宛先と通信するために使用する、データをコピーするためのドライバーを提供します。

Google Cloud NetApp Volumes

Google Cloud NetApp Volumes は、極めて優れたパフォーマンスを備えたクラウドネイティブのファイルサービスです。このサービスは、リソースを迅速に起動および停止し、 NetApp の機能を使用して生産性を向上させ、スタッフのダウンタイムを削減することで、顧客の市場投入までの時間を短縮するのに役立ちます。 Google Cloud NetApp Volumes は、データセンター全体のフットプリントを削減し、ネイティブのパブリッククラウドストレージの消費量を抑えるため、災害復旧やクラウドへのバックアップに最適な代替手段です。

NetApp XCP

NetApp XCP は、あらゆるデバイスからNetAppへ、またNetAppからNetAppへのデータ移行を高速かつ確実に実行できるクライアントソフトウェアです。このツールは、任意の NAS システムからNetAppストレージコントローラに大量の非構造化 NAS データをコピーするように設計されています。 XCP 移行ツールは、データ移行、ファイルまたはディレクトリのリスト、スペースレポートなど、多数の要求を並行して処理できるマルチコア、マルチチャネル I/O ストリーミングエンジンを使用します。これはデフォルトのNetAppデータ移行ツールです。 XCP を使用して、Hadoop クラスターおよび HPC からNetApp NFS ストレージにデータをコピーできます。下の図は、XCP を使用した Hadoop および HPC クラスターからNetApp NFS ボリュームへのデータ転送を示しています。