テクノロジの概要
このセクションでは、この解決策 を完了するために必要なさまざまな技術コンポーネントの概要を説明します。
プロトピア
Protopia AIは、今日の市場における機密性の高い推論のための、目立たないソフトウェア型解決策 を提供します。Protopia解決策 は、機密情報の漏洩を最小限に抑えることで、推論サービスに対する比類のない保護機能を提供します。AIには、データレコード内の情報のみが提供されます。この情報は、実際にはタスクを実行するために不可欠であり、それ以上何も必要ありません。ほとんどの推論タスクでは、すべてのデータレコードに存在するすべての情報が使用されるわけではありません。画像、音声、ビデオ、構造化された表形式データのどれをAIが消費しているかにかかわらず、Protopiaは推論サービスが必要としているものだけを提供します。特許取得済みのコアテクノロジーは、数学的にキュレーションされたノイズを使用してデータを変革し、特定のMLサービスでは必要のない情報を蓄積します。この解決策 はデータをマスクするのではなく、キュレーションされたランダムなノイズを使用してデータ表現を変更します。
Protopia解決策 は、モデルの機能に関して、入力フィーチャースペースの関連情報を保持する勾配ベースの摂動最大化方法としてリプレゼンテーションを変更する問題を計算します。このディスカバリプロセスは、MLモデルのトレーニング終了時に微調整パスとして実行されます。このパスによって確率分布のセットが自動的に生成されると、オーバーヘッドが低いデータ変換によって、これらの分布から生成されたノイズサンプルがデータに適用され、これが難読化されてから推論モデルに渡されます。
NetApp ONTAP AI
DGX A100システムとネットアップのクラウド対応ストレージシステムを基盤とするNetApp ONTAP AIリファレンスアーキテクチャは、ネットアップとNVIDIAによって開発、検証されました。IT 組織には、次のようなメリットをもたらすアーキテクチャが提供されます。
-
設計の複雑さを解消
-
コンピューティングとストレージを個別に拡張できます
-
小規模構成から始めて、シームレスに拡張できます
-
は、さまざまなパフォーマンスとに対応するさまざまなストレージオプションを提供します コストポイント
ONTAP AIは、DGX A100システムとNetApp AFF A800ストレージシステムを最先端のネットワークと緊密に統合します。ONTAP AIは、設計の複雑さと推測に頼らず、AI導入を簡易化します。小規模構成から始めて、システムを停止することなく拡張でき、エッジからコア、クラウドまで、データをインテリジェントに管理できます。
次の図は、DGX A100システムを使用したONTAP AIソリューションファミリーのいくつかのバリエーションを示しています。AFF A800システムのパフォーマンスは、最大8台のDGX A100システムで検証されます。ONTAP クラスタにストレージコントローラペアを追加することで、アーキテクチャを複数のラックに拡張して、パフォーマンスがリニアに向上したDGX A100システムとペタバイト規模のストレージ容量をサポートできます。このアプローチにより、使用されるDLモデルのサイズと必要なパフォーマンス指標に基づいて、コンピューティングとストレージの比率を個別に変更できる柔軟性が得られます。
追加情報 About ONTAP AIについては、を参照してください "NVA-1153:NVIDIA DGX A100システムとMellanox Spectrumイーサネットスイッチを搭載したNetApp ONTAP AI"
NetApp ONTAP
ネットアップが提供する最新世代のストレージ管理ソフトウェアONTAP 9.11を使用すれば、インフラを刷新し、クラウド対応データセンターに移行できます。ONTAP は、業界をリードするデータ管理機能を活用して、データの格納場所に関係なく、単一のツールセットでデータの管理と保護を実現します。エッジ、コア、クラウドなど、必要な場所に自由にデータを移動することもできます。ONTAP 9.11には、データ管理を簡易化し、重要なデータを高速化、保護し、ハイブリッドクラウドアーキテクチャ全体で次世代インフラ機能を実現するためのさまざまな機能が搭載されています。
NetApp DataOps ツールキット
NetApp DataOpsツールキットはPythonライブラリで、開発者、データサイエンティスト、DevOpsエンジニア、データエンジニアは、新しいデータボリュームやJupyterLabワークスペースのほぼ瞬時のプロビジョニング、データボリュームやJupyterLabワークスペースのほぼ瞬時のクローニングなど、さまざまなデータ管理タスクを簡単に実行できます。 トレーサビリティやベースライン化のために、データボリュームまたはJupyterLabワークスペースのスナップショットをほぼ瞬時に作成できます。このPythonライブラリは、任意のPythonプログラムまたはJupyterノートブックに読み込むことができるコマンドラインユーティリティまたは関数のライブラリとして機能します。
NVIDIA Triton 推論サーバ
NVIDIA Triton Inference Serverは、オープンソースの推論サービスソフトウェアです。モデルの導入と実行を標準化し、高速で拡張性に優れたAIを本番環境に提供できます。Triton Inference Serverは、GPUベースまたはCPUベースのインフラ上のあらゆるフレームワークからトレーニング済みAIモデルを導入、実行、拡張できるため、AI推論が合理化されます。Triton Inference Serverは、TensorFlow、NVIDIA TensorRT、PyTorch、MXNetなどの主要なフレームワークをすべてサポートします。 OpenVNOなど。TritonはKubernetesと統合し、オーケストレーションと拡張を実現します。主要なパブリッククラウドのAIプラットフォームとKubernetesプラットフォームで使用できます。また、多くのMLOpsソフトウェアソリューションと統合されています。
PyTorch
"PyTorch" はオープンソースのMLフレームワークです。GPUとCPUを使用するディープラーニング用に最適化されたテンソルライブラリです。PyTorchパッケージには多次元テンソル用のデータ構造が含まれており、他の有用なユーティリティ間でテンソルを効率的にシリアル化するための多くのユーティリティを提供します。また、コンピューティング機能を備えたNVIDIA GPUでテンソル計算を実行できるCUDA対応製品もあります。この検証では、OpenCV-Python (CV2)ライブラリを使用してモデルを検証しながら、Pythonで最も直感的なコンピュータビジョンの概念を活用しています。
データ管理を簡易化
データ管理は、AIアプリケーションの運用やAI / MLデータセットのトレーニングに適切なリソースを使用できるように、エンタープライズIT運用とデータサイエンティストにとって非常に重要です。以下に記載するネットアップテクノロジに関する追加情報 は、この検証の対象外ですが、導入環境によっては関連性がある場合もあります。
ONTAP データ管理ソフトウェアには、運用を合理化および簡易化し、総運用コストを削減するための次の機能が含まれています。
-
インラインデータコンパクション、強化された重複排除:データコンパクションはストレージブロック内の無駄なスペースを削減し、重複排除は実効容量を大幅に増やします。この環境データはローカルに格納され、データはクラウドに階層化されます。
-
最小、最大、アダプティブのQuality of Service(AQoS)。きめ細かいサービス品質(QoS)管理機能により、高度に共有された環境で重要なアプリケーションのパフォーマンスレベルを維持できます。
-
NetApp FabricPool の略。Amazon Web Services(AWS)、Azure、NetApp StorageGRID ストレージ解決策 など、パブリッククラウドとプライベートクラウドのストレージオプションへコールドデータを自動的に階層化します。FabricPool の詳細については、を参照してください "TR-4598:『FabricPool best bests』"。
データの高速化と保護
ONTAP は、卓越したパフォーマンスとデータ保護を実現し、以下の方法でこれらの機能を拡張します。
-
パフォーマンスとレイテンシの低下:ONTAP は、可能なかぎり最小のレイテンシで最高のスループットを提供します。
-
データ保護ONTAP には、組み込みのデータ保護機能が用意されており、すべてのプラットフォームを共通の管理機能で管理できます。
-
NetApp Volume Encryption(NVE):ONTAP は、オンボードと外部キー管理の両方をサポートし、ボリュームレベルでのネイティブな暗号化を実現します。
-
マルチテナンシーおよび多要素認証ONTAP を使用すると、最高レベルのセキュリティでインフラリソースを共有できます。
将来のニーズにも対応できるインフラ
ONTAP は、次の機能を備えており、要件が厳しく、絶えず変化するビジネスニーズに対応できます。
-
シームレスな拡張とノンストップオペレーションONTAP を使用すると、既存のコントローラとスケールアウトクラスタに無停止で容量を追加できます。NVMe や 32Gb FC などの最新テクノロジへのアップグレードも、コストのかかるデータ移行やシステム停止を行わずに実行できます。
-
クラウドへの接続:ONTAPは、ほとんどのクラウドに対応したストレージ管理ソフトウェアで、すべてのパブリッククラウドでSoftware-Defined Storage(ONTAP Select)とクラウドネイティブインスタンス(Google Cloud NetApp Volumes)のオプションを選択できます。
-
新しいアプリケーションとの統合:ONTAP は、既存のエンタープライズアプリケーションをサポートするインフラを使用して、自律走行車、スマートシティ、インダストリー4.0などの次世代プラットフォームやアプリケーション向けにエンタープライズクラスのデータサービスを提供します。
ネットアップアストラコントロール
ネットアップの Astra 製品ファミリーは、オンプレミスとパブリッククラウドの Kubernetes アプリケーション向けに、ネットアップのストレージテクノロジとデータ管理テクノロジを基盤とするストレージサービスとアプリケーション対応データ管理サービスを提供します。Kubernetesアプリケーションのバックアップ、データの別のクラスタへの移行、作業用アプリケーションのクローンの瞬時作成を簡単に実行できます。パブリッククラウドで実行されているKubernetesアプリケーションを管理する必要がある場合は、のドキュメントを参照してください "Astra 制御サービス"。Astra Control Service は、 Google Kubernetes Engine ( GKE )および Azure Kubernetes Service ( AKS )で Kubernetes クラスタのアプリケーション対応データ管理を提供する、ネットアップが管理するサービスです。
NetApp Trident
アストラ "Trident" ネットアップは、 Docker と Kubernetes 向けのオープンソースの動的ストレージオーケストレーションツールであり、永続的ストレージの作成、管理、使用を簡易化します。KubernetesネイティブアプリケーションであるTridentは、Kubernetesクラスタ内で直接実行されます。Trident を使用すると、 DL コンテナイメージをネットアップストレージにシームレスに導入し、エンタープライズクラスの AI コンテナ環境を実現できます。Kubernetesユーザ(ML開発者、データサイエンティストなど)は、オーケストレーションとクローニングを作成、管理、自動化し、ネットアップテクノロジを基盤とする高度なデータ管理機能を活用できます。
NetApp BlueXPのコピーと同期
"BlueXPのコピーと同期" 高速でセキュアなデータ同期を実現するNetAppサービスです。オンプレミスのNFSまたはSMBファイル共有、NetApp StorageGRID、NetApp ONTAP S3、Google Cloud NetApp Volume、Azure NetApp Files、Amazon Simple Storage Service(Amazon S3)、Amazon Elastic File System(Amazon EFS)、Azure Blob、Google Cloud Storage、IBM Cloud Object Storageの間でファイルを転送する必要がある場合でも、BlueXP のコピーと同期はファイルを必要な場所に迅速かつ安全に移動します。転送されたデータは、ソースとターゲットの両方で完全に使用できます。BlueXPのCopyとSynccは、事前定義されたスケジュールに基づいて継続的にデータを同期し、差分のみを移動するため、データレプリケーションにかかる時間とコストを最小限に抑えることができます。BlueXPのCopy and Syncは、セットアップと使用が非常に簡単なソフトウェアサービス(SaaS)ツールです。BlueXPのCopyとSyncによってトリガーされるデータ転送は、データブローカーによって実行されます。BlueXPのCopy and Syncデータブローカーは、AWS、Azure、Google Cloud Platform、オンプレミスに導入できます。
NetApp BlueXPの分類
強力なAIアルゴリズム、 "NetApp BlueXPの分類" データ資産全体の管理とデータガバナンスを自動化します。コスト削減を容易に特定し、コンプライアンスやプライバシーに関する懸念を特定し、最適化の機会を見つけることができます。BlueXPの分類ダッシュボードでは、重複データを特定して冗長性の排除、個人データ、非個人データ、機密データのマッピング、機密データや異常のアラートの有効化を行うための分析情報を提供します。