第 1 部分:將 Amazon FSX for NetApp ONTAP ( FSX ONTAP )整合為私有 S3 儲存區、並整合至 AWS SageMaker
本節提供使用 AWS SageMaker 將 FSX ONTAP 設定為私有 S3 貯體的指南。
簡介
以 SageMaker 為例、本頁提供將 FSX ONTAP 設定為私有 S3 儲存區的指引。
如需有關 FSX ONTAP 的詳細資訊、請參閱本簡報("視訊連結")
使用者指南
伺服器建立
建立 SageMaker 筆記型電腦執行個體
-
開啟 AWS 主控台。在搜尋面板中、搜尋 SageMaker 、然後按一下服務 * Amazon SageMaker* 。
-
開啟 [ 筆記本 ] 索引標籤下的 * 筆記本執行個體 * ,按一下橘色按鈕 * 建立筆記本執行個體 * 。
-
在 " 創建 " 頁面中,輸入 * 筆記本實例名稱 * 展開 Network 面板保留其他項的默認值,然後選擇 VPC 、 * 子網 * 和 * 安全組 * 。(此 * VPC* 和 * 子網路 * 將於稍後用於建立 FSX ONTAP 檔案系統)按一下右下方的橘色按鈕 * 建立筆記型電腦執行個體 * 。
建立 FSX ONTAP 檔案系統
-
開啟 AWS 主控台。在搜尋面板中、搜尋 FSX 並按一下服務 * fsx* 。
-
按一下 * 建立檔案系統 * 。
-
選擇第一張卡 * FSX ONTAP * 、然後按一下 * 下一步 * 。
-
在詳細資料組態頁面中。
-
選擇 * 標準 cre* 選項。
-
輸入 * 檔案系統名稱 * 和 * SSD 儲存容量 * 。
-
確保使用 VPC 和 * 子網 * 與 SageMaker Notebook 實例相同。
-
輸入 * 儲存虛擬機器 * 名稱、並 * 指定 SVM (儲存虛擬機器)的密碼 * 。
-
保留其他項目的預設值、然後按一下右下方的橘色按鈕 * 下一步 * 。
-
按一下檢閱頁面右下角的橘色按鈕 * 建立檔案系統 * 。
-
-
增加 FSX 檔案系統可能需要大約 *20-40 分鐘 * 。
伺服器組態
ONTAP 組態
-
開啟建立的 FSX 檔案系統。請確定狀態為 * 可用 * 。
-
選擇 Administration (管理) * 選項卡並保留 *Management Endpoint - IP address 和 ONTAP 管理員用戶名 * 。
-
開啟建立的 * SageMaker Notebook instance* 、然後按一下 * 開啟 JupyterLab* 。
-
在 Jupyter Lab 頁面中,打開一個新的 * 終端 * 。
-
輸入 ssh 命令 ssh < 管理使用者名稱 >@< ONTAP 伺服器 IP> 以登入 FSX ONTAP 檔案系統。(從步驟 2 擷取使用者名稱和 IP 位址)請使用建立 * 儲存虛擬機器 * 時所使用的密碼。
-
依照下列順序執行命令。我們使用 * ONTAP * 作為 * FSX ONTAP Private S3 儲存區名稱 * 的名稱。請將 * 儲存虛擬機器名稱 * 用於 * 虛擬伺服器 * 引數。
-
執行下列命令以擷取 FSX ONTAP Private S3 的端點 IP 和認證。
-
保留端點 IP 和認證、以供未來使用。
用戶端組態
-
在 SageMaker Notebook 執行個體中、建立新的 Jupyter 筆記本。
-
使用下列程式碼做為解決方案的參考、將檔案上傳至 FSX ONTAP Private S3 儲存庫。如需完整的程式碼範例、請參閱本筆記型電腦。"fsxn_demo.ipynb"
這就結束了 FSX ONTAP 與 SageMaker 執行個體之間的整合。
實用的除錯檢查清單
-
請確定 SageMaker 筆記型電腦執行個體和 FSX ONTAP 檔案系統位於同一個 VPC 中。
-
請記得在 ONTAP 上執行 set dev 命令、將權限等級設為 dev 。
常見問題集(從 2023 年 9 月 27 日起)
問:為什麼在將檔案上傳至 FSX ONTAP 時、我在呼叫 CreateMultpartUpload 作業時收到錯誤「 * 發生錯誤(未實作):您要求的 S3 命令未實作 * 」?
答:作為私有 S3 儲存區、 FSX ONTAP 支援上傳高達 100MB 的檔案。使用 S3 傳輸協定時、大於 100MB 的檔案會分成 100MB 的區塊、並會呼叫「 CreateMultpartUpload 」功能。不過、目前的 FSX ONTAP Private S3 實作不支援此功能。
問:為什麼在將檔案上傳至 FSX ONTAP 時、我在呼叫 PuttObject 作業時收到錯誤「 * 發生錯誤( AccessDenied ):存取遭拒 * 」?
答:若要從 SageMaker 筆記型電腦執行個體存取 FSX ONTAP Private S3 儲存區、請將 AWS 認證切換至 FSX ONTAP 認證。不過、若要授予執行個體寫入權限、則需要一種因應措施解決方案、其中包括掛載儲存區、並執行「 chmod 」 Shell 命令來變更權限。
問:如何將 FSX ONTAP Private S3 儲存區與其他 SageMaker ML 服務整合?
答:很抱歉、 SageMaker 服務 SDK 無法提供方法來指定私有 S3 儲存區的端點。因此、 FSX ONTAP S3 與 SageMaker 服務不相容、例如 Sagemaker Data Wrangler 、 Sagemaker 、 Sagemaker 、 Sagemaker Glue 、 Sagemaker Athena 、 Sagemaker AutoML 等。