本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

第 1 部分：將 Amazon FSX for NetApp ONTAP （ FSX ONTAP ）整合為私有 S3 儲存區、並整合至 AWS SageMaker

10/10/2024 貢獻者

PDF

本節提供使用 AWS SageMaker 將 FSX ONTAP 設定為私有 S3 貯體的指南。

作者： *
NetApp 資深資料與應用科學家 Jian Jian （ Ken ）

簡介

以 SageMaker 為例、本頁提供將 FSX ONTAP 設定為私有 S3 儲存區的指引。

如需有關 FSX ONTAP 的詳細資訊、請參閱本簡報（"視訊連結"）

使用者指南

伺服器建立

建立 SageMaker 筆記型電腦執行個體

開啟 AWS 主控台。在搜尋面板中、搜尋 SageMaker 、然後按一下服務 * Amazon SageMaker* 。
開啟 [ 筆記本 ] 索引標籤下的 * 筆記本執行個體 * ，按一下橘色按鈕 * 建立筆記本執行個體 * 。
在 " 創建 " 頁面中，輸入 * 筆記本實例名稱 * 展開 Network 面板保留其他項的默認值，然後選擇 VPC 、 * 子網 * 和 * 安全組 * 。（此 * VPC* 和 * 子網路 * 將於稍後用於建立 FSX ONTAP 檔案系統）按一下右下方的橘色按鈕 * 建立筆記型電腦執行個體 * 。

建立 FSX ONTAP 檔案系統

開啟 AWS 主控台。在搜尋面板中、搜尋 FSX 並按一下服務 * fsx* 。
按一下 * 建立檔案系統 * 。
選擇第一張卡 * FSX ONTAP * 、然後按一下 * 下一步 * 。
在詳細資料組態頁面中。
1. 選擇 * 標準 cre* 選項。
2. 輸入 * 檔案系統名稱 * 和 * SSD 儲存容量 * 。
3. 確保使用 VPC 和 * 子網 * 與 SageMaker Notebook 實例相同。
4. 輸入 * 儲存虛擬機器 * 名稱、並 * 指定 SVM （儲存虛擬機器）的密碼 * 。
5. 保留其他項目的預設值、然後按一下右下方的橘色按鈕 * 下一步 * 。
6. 按一下檢閱頁面右下角的橘色按鈕 * 建立檔案系統 * 。
增加 FSX 檔案系統可能需要大約 *20-40 分鐘 * 。

伺服器組態

ONTAP 組態

開啟建立的 FSX 檔案系統。請確定狀態為 * 可用 * 。
選擇 Administration （管理） * 選項卡並保留 *Management Endpoint - IP address 和 ONTAP 管理員用戶名 * 。
開啟建立的 * SageMaker Notebook instance* 、然後按一下 * 開啟 JupyterLab* 。
在 Jupyter Lab 頁面中，打開一個新的 * 終端 * 。
輸入 ssh 命令 ssh < 管理使用者名稱 >@< ONTAP 伺服器 IP> 以登入 FSX ONTAP 檔案系統。（從步驟 2 擷取使用者名稱和 IP 位址）請使用建立 * 儲存虛擬機器 * 時所使用的密碼。

依照下列順序執行命令。我們使用 * ONTAP * 作為 * FSX ONTAP Private S3 儲存區名稱 * 的名稱。請將 * 儲存虛擬機器名稱 * 用於 * 虛擬伺服器 * 引數。

vserver object-store-server create -vserver fsxn-svm-demo -object-store-server fsx_s3 -is-http-enabled true -is-https-enabled false

vserver object-store-server user create -vserver fsxn-svm-demo -user s3user

vserver object-store-server group create -name s3group -users s3user -policies FullAccess

vserver object-store-server bucket create fsxn-ontap -vserver fsxn-svm-demo -type nas -nas-path /vol1

Jupyter Lab 終端輸出

執行下列命令以擷取 FSX ONTAP Private S3 的端點 IP 和認證。

network interface show -vserver fsxn-svm-demo -lif nfs_smb_management_1

set adv

vserver object-store-server user show

保留端點 IP 和認證、以供未來使用。

用戶端組態

在 SageMaker Notebook 執行個體中、建立新的 Jupyter 筆記本。

使用下列程式碼做為解決方案的參考、將檔案上傳至 FSX ONTAP Private S3 儲存庫。如需完整的程式碼範例、請參閱本筆記型電腦。"fsxn_demo.ipynb"

# Setup configurations
# -------- Manual configurations --------
seed: int = 77                                              # Random seed
bucket_name: str = 'fsxn-ontap'                             # The bucket name in ONTAP
aws_access_key_id = '<Your ONTAP bucket key id>'            # Please get this credential from ONTAP
aws_secret_access_key = '<Your ONTAP bucket access key>'    # Please get this credential from ONTAP
fsx_endpoint_ip: str = '<Your FSx ONTAP IP address>'        # Please get this IP address from FSx ONTAP
# -------- Manual configurations --------

# Workaround
## Permission patch
!mkdir -p vol1
!sudo mount -t nfs $fsx_endpoint_ip:/vol1 /home/ec2-user/SageMaker/vol1
!sudo chmod 777 /home/ec2-user/SageMaker/vol1

## Authentication for FSx ONTAP as a Private S3 Bucket
!aws configure set aws_access_key_id $aws_access_key_id
!aws configure set aws_secret_access_key $aws_secret_access_key

## Upload file to the FSx ONTAP Private S3 Bucket
%%capture
local_file_path: str = <Your local file path>

!aws s3 cp --endpoint-url http://$fsx_endpoint_ip /home/ec2-user/SageMaker/$local_file_path  s3://$bucket_name/$local_file_path

# Read data from FSx ONTAP Private S3 bucket
## Initialize a s3 resource client
import boto3

# Get session info
region_name = boto3.session.Session().region_name

# Initialize Fsxn S3 bucket object
# --- Start integrating SageMaker with FSXN ---
# This is the only code change we need to incorporate SageMaker with FSXN
s3_client: boto3.client = boto3.resource(
    's3',
    region_name=region_name,
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key,
    use_ssl=False,
    endpoint_url=f'http://{fsx_endpoint_ip}',
    config=boto3.session.Config(
        signature_version='s3v4',
        s3={'addressing_style': 'path'}
    )
)
# --- End integrating SageMaker with FSXN ---

## Read file byte content
bucket = s3_client.Bucket(bucket_name)

binary_data = bucket.Object(data.filename).get()['Body']

這就結束了 FSX ONTAP 與 SageMaker 執行個體之間的整合。

實用的除錯檢查清單

請確定 SageMaker 筆記型電腦執行個體和 FSX ONTAP 檔案系統位於同一個 VPC 中。
請記得在 ONTAP 上執行 set dev 命令、將權限等級設為 dev 。

常見問題集（從 2023 年 9 月 27 日起）

問：為什麼在將檔案上傳至 FSX ONTAP 時、我在呼叫 CreateMultpartUpload 作業時收到錯誤「 * 發生錯誤（未實作）：您要求的 S3 命令未實作 * 」？

答：作為私有 S3 儲存區、 FSX ONTAP 支援上傳高達 100MB 的檔案。使用 S3 傳輸協定時、大於 100MB 的檔案會分成 100MB 的區塊、並會呼叫「 CreateMultpartUpload 」功能。不過、目前的 FSX ONTAP Private S3 實作不支援此功能。

問：為什麼在將檔案上傳至 FSX ONTAP 時、我在呼叫 PuttObject 作業時收到錯誤「 * 發生錯誤（ AccessDenied ）：存取遭拒 * 」？

答：若要從 SageMaker 筆記型電腦執行個體存取 FSX ONTAP Private S3 儲存區、請將 AWS 認證切換至 FSX ONTAP 認證。不過、若要授予執行個體寫入權限、則需要一種因應措施解決方案、其中包括掛載儲存區、並執行「 chmod 」 Shell 命令來變更權限。

問：如何將 FSX ONTAP Private S3 儲存區與其他 SageMaker ML 服務整合？

答：很抱歉、 SageMaker 服務 SDK 無法提供方法來指定私有 S3 儲存區的端點。因此、 FSX ONTAP S3 與 SageMaker 服務不相容、例如 Sagemaker Data Wrangler 、 Sagemaker 、 Sagemaker 、 Sagemaker Glue 、 Sagemaker Athena 、 Sagemaker AutoML 等。