NetAppによるオープンソース MLOps
変更を提案
PDF
Mike Oglesby、 NetApp Sufian Ahmad、 NetApp Rick Huang、 NetApp Mohan Acharya、 NetApp
あらゆる規模や業種の企業や組織が、現実世界の問題を解決し、革新的な製品やサービスを提供して、競争が激化する市場で優位に立つために、人工知能 (AI) を導入しています。多くの組織は、業界の急速なイノベーションのペースに対応するために、オープンソースの MLOps ツールに注目しています。これらのオープンソース ツールは高度な機能と最先端の機能を提供しますが、データの可用性とデータのセキュリティが考慮されていないことがよくあります。残念ながら、これは高度なスキルを持つデータ サイエンティストが、データにアクセスできるようになるまで、または基本的なデータ関連の操作が完了するまで、かなりの時間を費やさざるを得ないことを意味します。人気のオープンソース MLOps ツールとNetAppのインテリジェント データ インフラストラクチャを組み合わせることで、組織はデータ パイプラインを高速化し、AI イニシアチブを加速できます。データの保護とセキュリティを維持しながら、データから価値を引き出すことができます。このソリューションは、これらの課題に対処するために、 NetApp のデータ管理機能といくつかの一般的なオープンソース ツールおよびフレームワークを組み合わせる方法を示しています。
次のリストは、このソリューションによって有効になる主な機能の一部を示しています。
-
ユーザーは、高性能なスケールアウトNetAppストレージを活用した新しい大容量データ ボリュームと開発ワークスペースを迅速にプロビジョニングできます。
-
ユーザーは、実験や迅速な反復を可能にするために、大容量のデータ ボリュームと開発ワークスペースをほぼ瞬時に複製できます。
-
ユーザーは、バックアップやトレーサビリティ/ベースライン作成のために、大容量データ ボリュームや開発ワークスペースのスナップショットをほぼ瞬時に保存できます。
典型的なMLOpsワークフローには開発ワークスペースが組み込まれており、通常は次のような形式をとります。"Jupyterノートブック" ; 実験の追跡、自動トレーニング パイプライン、データ パイプライン、および推論/デプロイメント。このソリューションは、ワークフローのさまざまな側面に対処するために、独立して、または組み合わせて使用できるさまざまなツールとフレームワークに重点を置いています。また、 NetApp のデータ管理機能とこれらの各ツールの組み合わせについても説明します。このソリューションは、組織がユースケースと要件に合わせてカスタマイズされた MLOps ワークフローを構築するための構成要素を提供することを目的としています。
このソリューションでは、次のツール/フレームワークがカバーされています。
次のリストでは、これらのツールを個別に、または組み合わせて展開するための一般的なパターンについて説明します。
-
JupyterHub、MLflow、Apache Airflowを組み合わせてデプロイ - JupyterHub for"Jupyterノートブック" 、実験追跡用の MLflow、自動トレーニングおよびデータ パイプライン用の Apache Airflow です。
-
KubeflowとApache Airflowを組み合わせてデプロイ - Kubeflow for"Jupyterノートブック" 、実験の追跡、自動化されたトレーニング パイプライン、推論、およびデータ パイプライン用の Apache Airflow です。
-
KubeflowをオールインワンのMLOpsプラットフォームソリューションとして導入"Jupyterノートブック"、実験の追跡、自動化されたトレーニングとデータ パイプライン、および推論。