テクノロジの概要
この記事では、NetApp ONTAP AI、NetApp AIコントロールプレーン、NetApp Cloud Volumesソフトウェア、Iguazioデータサイエンスプラットフォームを使用したMLRunパイプラインのColutionの概要を説明します。
ネットアップの概要
ネットアップは、ハイブリッドクラウド環境におけるデータ管理のオーソリティです。ネットアップは、クラウド環境とオンプレミス環境全体でアプリケーションとデータの管理を簡易化し、デジタル変革を加速する、幅広いハイブリッドクラウドデータサービスを提供しています。グローバル企業がデータのポテンシャルを最大限に引き出し、お客様とのコンタクトの強化、イノベーションの促進、業務の最適化を図れるよう、パートナー様とともに取り組んでいます。
NetApp ONTAP AI
NVIDIA DGX システムとネットアップのクラウド対応オールフラッシュストレージを基盤とする NetApp ONTAP AI は、データの信頼性を高め、エッジからコア、クラウドにわたるデータファブリックで分析、トレーニング、推論を高速化します。IT 組織には、次のようなメリットをもたらすアーキテクチャが提供されます。
-
設計の複雑さを解消
-
コンピューティングとストレージを個別に拡張できます
-
小規模構成から始めて、シームレスに拡張できます
-
さまざまなパフォーマンスとコストの観点から、幅広いストレージオプションを提供 NetApp ONTAP AI は、 NVIDIA DGX-1 、ペタフロップス規模の AI システム、 NVIDIA Mellanox ハイパフォーマンスイーサネットスイッチを統合したコンバージドインフラスタックを提供し、 AI ワークロードの統合、導入の簡易化、 ROI の向上を実現します。このテクニカルレポートでは、 ONTAP AI を DGX-1 と NetApp AFF A800 ストレージシステムの 1 つに活用しました。次の図は、この検証で使用した DGX-1 システムを使用した ONTAP AI のトポロジを示しています。
NetApp AI コントロールプレーン
ネットアップの AI コントロールプレーンは、卓越した拡張性、合理的な導入、ノンストップのデータ可用性を備えた解決策で、 AI と ML を最大限に活用できます。AI コントロールプレーン解決策は、 Kubernetes と Kubeflow をネットアップのデータファブリックと統合します。クラウドネイティブ環境向けの業界標準のコンテナオーケストレーションプラットフォームである Kubernetes は、ワークロードの拡張性とモビリティを実現します。Kubeflow はオープンソースの機械学習プラットフォームで、管理と導入を簡易化し、開発者がより多くのデータサイエンスをより短時間で行えるようにします。ネットアップのデータファブリックは、エッジからコア、クラウドまで、パイプライン全体でデータに確実にアクセスできるよう、データの可用性とモビリティを妥協することなく提供します。このテクニカルレポートでは、 MLRun パイプラインで NetApp AI コントロールプレーンを使用しています。次の図は、 Kubernetes クラスタ管理ページを示しています。各クラスタに異なるエンドポイントを割り当てることができます。NFS永続ボリュームをKubernetesクラスタに接続しました。次の図は、 "NetApp Trident"永続的ストレージのサポートとデータ管理機能を提供するクラスタに接続された永続ボリュームを示しています。
Iguazio の概要
Iguazio Data Science Platform は、開発の簡素化、パフォーマンスの向上、コラボレーションの促進、運用上の課題への対処を可能にする、完全に統合された安全なデータサイエンスプラットフォームサービス( PaaS )です。このプラットフォームには以下のコンポーネントが組み込まれており、 Iguazio データサイエンスプラットフォームを次の図に示します。
-
Jupyter Notebook 、統合分析エンジン、 Python パッケージを含むデータサイエンスワークベンチ
-
実験追跡機能と自動化されたパイプライン機能を使用したモデル管理
-
拡張性に優れた Kubernetes クラスタでデータサービスと ML サービスを管理
-
サーバレス関数のリアルタイムフレームワークである Nuclio
-
SQL 、 NoSQL 、時系列データベース、ファイル(シンプルなオブジェクト)、ストリーミングをサポートする、きわめて高速でセキュアなデータレイヤです
-
ネットアップ、 Amazon S3 、 HDFS 、 SQL データベース、ストリーミングプロトコルやメッセージングプロトコルなどのサードパーティ製データソースとの統合
-
Grafana に基づくリアルタイムダッシュボード