Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

Novusストレージシステムについて

共同作成者 dmp-netapp

NetApp Novusは、非常に大規模なAIのニーズに対応するために構築された強力なストレージシステムです。エンタープライズストレージにおけるNetAppの経験を、トレーニングや推論に必要な極めてハイパフォーマンスなインフラストラクチャへと拡張します。その管理構造と構成オプションを理解することは、効果的な管理と最適なパフォーマンスを実現するために不可欠です。

概要

NetApp Novusは、最新のAIワークロードに必要なスループットと拡張性を実現するために設計されたスケールアウト・ファイルストレージシステム・ソリューションです。多くの独立したONTAPストレージクラスタを結合して、クライアントからは1つのファイルシステムとして認識される単一のネームスペースを形成します。Novusは、メタデータとファイルデータを分離するパラレルNFS(pNFS)に基づいて構築されています。専用のメタデータサービスがネームスペースを管理する一方で、ストレージクラスタはファイルデータをクライアントに直接並列で提供します。これにより、単一のストレージクラスタによるスループットの上限が排除され、システムがデータを提供する速度が制限されなくなります。

Novusの導入環境は、ストレージ クラスターを追加するだけで簡単に拡張できます。新しいクラスターを追加するたびに、その全帯域幅と容量がネームスペースに追加されるため、クライアントの再マウントや停止を伴うリバランスを行うことなく、システムの拡張に伴って総スループットが向上します。メタデータ サービスはデータ サーバとは独立して拡張されるため、ワークロードに合わせてネームスペースのサイズとメタデータのパフォーマンスを拡張できます。Novusは、各ストレージ ノードをフルスピードで稼働させ、大規模環境でのコンポーネントの障害を日常的で停止を伴わないものとして扱うように設計されています。主な目的は、システムが非常に大規模になっても、コンピューティングへのデータの流れを維持することです。

クライアントは標準的なNFSクライアントを使用するため、Novusは大規模なGPUおよび計算クラスタへの適応が容易です。また、Novusはマルチテナントであるため、1つの環境で複数の独立したお客様やワークロードをホストでき、それぞれが独自のネームスペースを持つことができます。さらに、ONTAPの実績あるデータ管理と保護を基盤としています。お客様にとって、これはGPUを常に稼働させ、各ノードからより高いパフォーマンスを引き出すことでインフラストラクチャコストを削減し、単一のネームスペースで非常に大規模なデータセットをサポートできるストレージを意味します。

Novusは、AIやその他のデータ集約型ワークロードを大規模に実行する組織を支援できます。これには通常、ネオクラウド、GPU-as-a-serviceプロバイダー、ソブリンクラウド、ハイパースケーラーのほか、AIのトレーニングや推論を実行する大企業や研究機関などが含まれます。Novusは、毎秒数テラバイトのスループットを必要とし、コンピューティングに合わせてストレージを拡張したいと考えている、ハイパフォーマンス コンピューティングやメディア処理を利用するすべてのお客様にメリットをもたらします。

システム設計の原則

Novusは、いくつかの基本原則に基づいて設計および構築されています。これらの基本的なアーキテクチャ上の選択が、そのパフォーマンス、拡張性、および回復力をもたらします。これは、GPUを常に稼働させ、インフラコストを削減するハイパフォーマンス ストレージを必要とするお客様に役立ちます。

エクサスケール対応ストレージ

Novusは、エクサスケール対応のソフトウェアで定義されるストレージ基盤スタックとして設計されています。これは、水平方向に拡張されたpNFSメタデータ サーバと、分離および分散されたデータ サーバを組み合わせたものです。

従来のONTAPクラスタの制限を超えるスループット

従来、単一のONTAPクラスタは、コントローラ数とインターコネクト帯域幅によって設定される固定のスループット上限に達します。AIのトレーニングと推論には、単一のONTAPクラスタでは到達できないスループットが必要です。

クラスタを追加して拡張する

Novusは、それぞれが1つのHAペアほどの小規模な、多数の独立したONTAPクラスタを単一のネームスペースに結合します。新しい各クラスタがその帯域幅を最大限に提供するため、総スループットは直線的に増加します。クライアントは再マウントする必要はなく、フリートの再調整も不要です。

個別にスケーリングされるメタデータ

メタデータサービス層とシャーディングされたメタデータストアは、それぞれ1インスタンスから1,000インスタンス以上に拡張できます。メタデータの容量とリクエストレートは、使用されるデータ ノードの数に依存しません。

ラインレート データ ノード

各データ ノードは、読み取り時はNICのフルスピードで、書き込み時はNVMeのフルスピードで動作する必要があります。ノードあたりの未使用のスループットは、単なる余分なハードウェアとコストと見なされます。

設計上の主な制約としての回復力

1,000台以上のストレージ ノードの規模では、障害は珍しくありません。回復力は主要な設計上の制約であり、運用上の後付け事項ではありません。

ネットワークファイルシステム(NFS)の実装

Novusは、ソフトウェアで定義されるNetwork File System(NFS)プロトコルの実装です。メタデータとデータ パスを分離するために、NFSv4、特にParallel NFS(pNFS)拡張機能を利用しています。クライアントは、標準のNFSクライアントを使用してNFSv4でNovus Data Director(NDD)にアクセスする一方で、NFSv3を使用してONTAPデータ サーバのデータに直接アクセスできます。

パラレル ネットワーク ファイルシステム(pNFS)

パラレルNFS(pNFS)は、NFSv4.1で導入された機能で、ファイルメタデータの管理とファイルデータへのアクセスを分離するものです。NFSサーバはメタデータ操作を処理し、ファイルデータが保存されている場所に関する情報をクライアントに提供します。これにより、クライアントは単一のサーバを経由してすべての読み書きを行うのではなく、専用のストレージデバイスやデータサーバ上のデータに直接アクセスできるようになります。

NFSサーバは、各ファイルのデータがどのように配置されているか、およびクライアントがどのようにアクセスできるかを記述したレイアウトを提供します。レイアウトとストレージ構成によっては、クライアントは1つまたは複数のデータサーバと並行して通信できます。これにより、データ転送パフォーマンスが向上し、メタデータサーバのデータ処理負荷が軽減されます。

pNFSは、ファイル、ブロック、オブジェクト、フレキシブルファイルなど、複数のレイアウトタイプをサポートしています。各タイプは、ファイルデータを基盤となるストレージにマッピングする異なる方法と、クライアントがそれにアクセスするための対応する方法を記述しています。Novusはフレキシブルファイルレイアウトを使用しています。

pNFSの柔軟なファイルレイアウトは、レイアウトオプションに最近追加された機能です。これは、複数のデータサーバに保存されたデータを記述できる柔軟なファイルベースのレイアウトを提供し、ミラーリングされたコピーもサポートします。クライアントはレイアウト情報を使用して、アクセスに適したデータサーバ パスを選択します。これにより、導入環境において、ストレージ構成やワークロードの要件に合わせてデータ配置やアクセス動作を適応させることができます。

主要構成要素

Novusには、pNFS標準とNetAppのエンタープライズストレージの専門知識に基づいて構築された2つの主要なコンポーネントがあります。

ONTAPデータサーバ

ONTAPデータサーバはNovusデータプレーンを実装します。ファイルデータを保存し、NFSクライアントに提供します。Novusネームスペースは、ファイルデータを複数のONTAPクラスタに分散させることができ、1つのONTAPクラスタで複数のネームスペースを提供できます。

Novus Data Director (NDD)

Novus Data Directorは、Novusメタデータプレーンを提供します。ネームスペースのメタデータを管理し、メタデータ操作に対するクライアント要求を処理し、ONTAPクラスタ全体でファイルデータがどこに保存されているかを記述するレイアウトをクライアントに提供します。クライアントはpNFSとともにNFSv4.2を使用してNDDとやり取りしますが、実際のファイルデータにはONTAPから直接アクセスします。

これらのコンポーネントとその連携方法の詳細については、"Novusアーキテクチャ"を参照してください。

追加の技術と概念

Novusとその基盤となる技術に関連する概念は他にもいくつかあります。

ネームスペース

ネームスペースは、リソースを整理・識別するための論理的な構造であり、定義された範囲内で一貫して参照できるようにするものです。NFSv4では、ネームスペースはクライアントに提示されるファイルとディレクトリの階層構造であり、エクスポートされたファイルシステムの統一的なビューを提供し、クライアントはパスを使用してナビゲートできます。各NDDネームスペースは、独自のメタデータサーバインスタンスを保有しています。

フェデレーション

フェデレーションとは、独立したシステムを相互に接続し、それぞれ個別に管理されながらも連携して動作させるための技術です。これは、ID、アプリケーションサービス、ネットワーク、データベース、その他のリソースに適用できます。データプロバイダーと連携して使用される場合、フェデレーションは、ユーザーやアプリケーションが統一されたインターフェースを通じて複数のソースからデータにアクセスすることを可能にする一方、プロバイダーはデータの管理権を保持します。これにより、相互運用性がサポートされ、情報の集中化や重複の必要性が軽減されます。

シャーディング

シャーディングとは、データベースのデータを複数のサーバに分割し、各サーバがデータの一部を保存および提供する技術です。ストレージとクエリ負荷を分散することで、容量とパフォーマンスを向上させます。

ボーダーゲートウェイプロトコル

ボーダーゲートウェイプロトコル(BGP)は、自律システム(インターネットを構成するネットワーク)間で到達可能性情報を交換し、ルーティングポリシーと属性を使用して経路を選択するルーティングプロトコルです。Novusは、BGPを利用してマルチテナントアーキテクチャをサポートしています。

スケーラブルな分散メタデータストア

スケーラブルな分散メタデータストアとは、複数のノードにわたってメタデータを管理し、高可用性、耐障害性、効率的なアクセスを保証するシステムです。Novusでは、Novus Data Director(NDD)がスケーラブルな分散メタデータストア(または単に_メタデータストア_)を実装して、ネームスペースメタデータを処理し、クライアントがファイルデータにアクセスするためのレイアウトを提供します。