パート1 - Amazon FSx for NetApp ONTAP(FSx ONTAP)をプライベートS3バケットとしてAWS SageMakerに統合する
このセクションでは、AWS SageMakerを使用して、FSx ONTAPをプライベートS3バケットとして設定するためのガイドを提供します。
はじめに
このページでは、SageMakerを例に、FSx ONTAPをプライベートS3バケットとして設定するためのガイダンスを示します。
FSx ONTAPの詳細については、こちらのプレゼンテーションをご覧ください("ビデオリンク")
ユーザーガイド
サーバの作成
SageMakerノートブックインスタンスの作成
-
AWSコンソールを開きます。検索パネルで、SageMakerを検索し、サービス* Amazon SageMaker *をクリックします。
-
Notebookタブの* Notebook Instances を開き、オレンジ色の Create notebook instance *ボタンをクリックします。
-
作成ページで、ノートブックインスタンス名*を入力します。*ネットワーク*パネルを展開し、その他のエントリをデフォルトのままにして、 VPC*、サブネット、セキュリティグループ*を選択します。(この VPC と Subnet は後でFSx ONTAPファイルシステムの作成に使用します)右下のオレンジ色のボタン[Create notebook instance]*をクリックします。
FSx ONTAPファイルシステムの作成
-
AWSコンソールを開きます。検索パネルでFSxを検索し、サービス* FSX *をクリックします。
-
[ファイルシステムの作成]*をクリックします。
-
最初のカード* FSx ONTAP を選択し、 Next *をクリックします。
-
をクリックします。
-
[標準作成(Standard create)]*オプションを選択します。
パネル"]
-
[File system name]*と[SSD storage capacity]*を入力します。
-
必ず* VPC と*サブネット*を SageMaker Notebook *インスタンスと同じにしてください。
-
Storage Virtual Machine *の名前を入力し、SVM(Storage Virtual Machine)の*パスワードを*指定してください。
-
[その他のエントリ]はデフォルトのままにして、右下のオレンジ色のボタン*[次へ]*をクリックします。
-
レビューページの右下にあるオレンジ色の*ファイルシステムの作成*ボタンをクリックします。
-
-
FSxファイルシステムのスピンアップには約* 20~40分*かかる場合があります。
サーバの設定
ONTAP構成
-
作成したFSxファイルシステムを開きます。ステータスが*利用可能*であることを確認してください。
-
[管理]タブを選択し、[管理エンドポイント- IPアドレス]*と[ ONTAP管理者のユーザー名]*のままにします。
-
作成した* SageMaker Notebookインスタンス*を開き、*[JupyterLab]*をクリックします。
-
Jupyter Labページで、新しい*ターミナル*を開きます。
-
sshコマンドssh < admin user name >@< ONTAP server IP >を入力し、FSx ONTAPファイルシステムにログインします。(ユーザ名とIPアドレスは手順2で取得)* Storage Virtual Machine *の作成時に使用したパスワードを使用してください。
-
次の順序でコマンドを実行します。FSx ONTAPプライベートS3バケット名*の名前には* fsxn- ONTAP を使用します。SVM *引数には Storage Virtual Machine名*を使用してください。
-
以下のコマンドを実行して、FSx ONTAPプライベートS3のエンドポイントIPとクレデンシャルを取得します。
-
あとで使用できるように、エンドポイントのIPとクレデンシャルを保持します。
クライアント設定
-
SageMaker Notebookインスタンスで、新しいJupyterノートブックを作成します。
-
FSx ONTAPプライベートS3バケットにファイルをアップロードする回避策として、以下のコードを使用してください。包括的なコード例については、このノートブックを参照してください。"fsxn_demo.ipynb"
これで、FSx ONTAPとSageMakerインスタンスの統合は終了です。
便利なデバッグチェックリスト
-
SageMaker NotebookインスタンスとFSx ONTAPファイルシステムが同じVPC内にあることを確認します。
-
ONTAPで* set dev コマンドを実行して、特権レベルを dev *に設定することを忘れないでください。
FAQ(2023年9月27日現在)
Q:FSX ONTAPにファイルをアップロードするときに、CreateMultipartUpload操作を呼び出したときに「エラーが発生しました(NotImplemented):要求したs3コマンドが実装されていません」というエラーが表示されるのはなぜですか?
A:プライベートS3バケットとして、FSx ONTAPは最大100MBのファイルのアップロードをサポートしています。S3プロトコルを使用する場合、100MBを超えるファイルは100MBのチャンクに分割され、「CreateMultipartUpload」関数が呼び出されます。ただし、FSx ONTAPプライベートS3の現在の実装では、この機能はサポートされていません。
Q: FSx ONTAPにファイルをアップロードする際に、「* PutObject操作を呼び出したときにエラーが発生しました(AccessDenied)」というエラーが表示されるのはなぜですか?
A:SageMaker NotebookインスタンスからFSx ONTAPプライベートS3バケットにアクセスするには、AWSのクレデンシャルをFSx ONTAPのクレデンシャルに切り替えます。ただし、インスタンスに書き込み権限を付与するには、バケットをマウントし、「chmod」シェルコマンドを実行して権限を変更する 回避策 解決策 が必要です。
Q:FSx ONTAPプライベートS3バケットを他のSageMaker MLサービスと統合するにはどうすればよいですか。
A:残念ながら、SageMakerサービスSDKは、プライベートS3バケットのエンドポイントを指定する方法を提供していません。そのため、FSx ONTAP S3はSagemaker Data Wrangler、Sagemaker Clarify、Sagemaker Glue、Sagemaker Athena、Sagemaker AutoMLなどのSageMakerサービスと互換性がありません。