Skip to main content
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

設定 Google Cloud NetApp Volumes 以用於 SAN 工作負載

貢獻者 joan-ing

使用 google-cloud-netapp-volumes-san 驅動程式從 Google Cloud NetApp Volumes Flex Unified 儲存設備池資源配置 iSCSI 區塊 Volume。

註 SAN 驅動程式僅支援區塊工作負載。若要資源配置 NAS Volume,請使用 google-cloud-netapp-volumes 驅動程式。

總覽

此驅動程式從 Flex Unified 儲存設備池資源配置 Volume,並將其做為 iSCSI 區塊裝置呈現給 Kubernetes 節點。

此驅動程式支援以下環境:

  • Trident 26.02 及更新版本

  • Google Kubernetes Engine (GKE) 或在 GCP 上執行的 Red Hat OpenShift 叢集

  • Google Cloud NetApp Volumes Flex 統一儲存池

  • 基於 iSCSI 的工作負載

從 Trident 26.10 開始,SAN 驅動程式支援在 GCP 上執行的自我管理 OpenShift Container Platform(OCP,包括 IPI 部署)和 OpenShift Dedicated(OSD)叢集上的 Google Cloud Workload Identity Federation(WIF)。如需 WIF 先決條件與後端組態,請參閱 "在 OpenShift 上使用工作負載身分聯合"。請使用此頁面上的 SAN 驅動程式名稱與 Flex Unified 儲存設備設定。

設定 SAN 的 WIF

WIF 將投射的 Kubernetes 服務帳戶權杖交換為短期的 Google Cloud 認證資料。Trident 在呼叫 Google Cloud NetApp Volumes API 時,會使用這些認證資料來模擬 Google Cloud 服務帳戶。

為 OpenShift 叢集設定 Google Cloud Workload Identity Pool 和 OIDC 供應商。供應商發行者必須與權杖的 iss`宣告相符,且其屬性對應必須將 `assertion.sub`對應至 `google.subject。

安裝 Trident 時,將供應商資源名稱設定為 WIF 對象。這會使 Trident 專案控制器服務帳戶權杖於 /var/run/secrets/wif-token/token。

Trident運算子
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
  name: trident
spec:
  namespace: trident
  cloudProvider: GCP
  gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
掌舵
helm install trident <trident-operator-package> \
  --namespace trident \
  --create-namespace \
  --set cloudProvider=GCP \
  --set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
試用
tridentctl install \
  --namespace trident \
  --cloud-provider GCP \
  --gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"

請為 Trident 安裝和 wipCredentialConfig.audience`使用相同的對象。請勿同時設定 GKE `cloudIdentity 或 --cloud-identity。請勿修補控制器 Deployment 來新增 projected token;Trident 營運者可以覆寫該變更。

重要

在 OpenShift Dedicated 上,OIDC 供應商可以是與其他 OpenShift 元件共享的。如果供應商的 `allowedAudiences`清單為空,Google 會接受供應商的規範資源名稱(有或沒有 `https://`前綴),因此上述對象無需更改供應商。請勿僅為 Trident 設定明確的對象清單。如果供應商已有明確的對象,請在保留所有現有值的情況下附加 Trident 對象。替換清單可能會阻止其他 OpenShift 元件交換權杖。

在 Trident 將要模擬的 Google Cloud 服務帳戶上,授予 Trident 控制器服務帳戶的 WIF 主體 roles/iam.workloadIdentityUser`角色。對於預設的 Trident 控制器服務帳戶,權杖主旨為 `system:serviceaccount:trident:trident-controller;請使用為您的安裝所設定的主旨。在包含 Google Cloud NetApp Volumes 資源的專案上,授予被模擬的服務帳戶 `roles/netapp.admin`或等效權限。

將以下程式碼段新增至 SAN 後端的 spec:

wipCredentialConfig:
  type: external_account
  audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
  subject_token_type: urn:ietf:params:oauth:token-type:jwt
  token_url: https://sts.googleapis.com/v1/token
  credential_source:
    file: /var/run/secrets/wif-token/token
  service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken

兩種 GCNV 驅動程式的 WIF 組態相同。SAN 後端仍必須使用 google-cloud-netapp-volumes-san 和受支援的 Flex Unified 儲存資源池。

Flex Unified 儲存池

Flex 統一儲存資源池使用 iSCSI 協定提供區塊儲存設備,是 SAN 資源配置所必需的:

  • 支援 Flex Unified REGIONAL 資源池。

  • 從 Trident 26.02.1 開始支援 Flex Unified ZONAL 池。

  • SAN 工作負載僅支援 Flex 服務等級。

後端 `location`必須與 Flex Unified 資源池的區域相符。如果 Trident 找不到該資源池,請驗證區域、網路和資源池資源路徑。

設定 Trident SAN 後端

apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
  name: gcnv-san
  namespace: trident
spec:
  version: 1
  storageDriverName: google-cloud-netapp-volumes-san
  projectNumber: "<project-number>"
  location: "<region>"
  sdkTimeout: "600"
  storage:
  - labels:
      cloud: gcp
      performance: flex
    network: "<vpc-network>"
    serviceLevel: Flex

建立 StorageClass

配置完 SAN 後端後,建立一個 StorageClass 引用 google-cloud-netapp-volumes-san 驅動程式。

請在 StorageClass 中指定檔案系統類型,而不是在後端。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
  backendType: "google-cloud-netapp-volumes-san"
  fsType: "ext4"
allowVolumeExpansion: true

此驅動程式支援以下檔案系統類型:

  • ext4 (預設)

  • ext3

  • xfs

註 SAN 驅動程式僅支援 Flex 服務級別,不使用 NAS 特定的後端參數,例如 exportRule、 unixPermissions、 nasType、 snapshotDir、 `nfsMountOptions`或與分層相關的設定。

驗證 WIF 配置

套用後端並驗證 TridentBackendConfig 是否已綁定且其最後一次操作成功:

oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml

使用此頁面上的 gcnv-san StorageClass 建立 PVC,並驗證其是否達到 Bound。這將同時驗證 WIF 交換、服務帳戶模擬、Google Cloud NetApp Volumes 權限和 SAN 資源池選擇。完成後,請刪除測試 PVC。

如果後端資料核對失敗,請檢查 Trident 控制器日誌:

oc -n trident logs deploy/trident-controller -c trident-main --tail=400

請檢查以下常見錯誤:

  • 對於 `invalid_grant`對象錯誤,請將權杖的 `aud`聲明與 OIDC 供應商允許的對象和 `wipCredentialConfig.audience`進行比較。

  • 對於 iam.serviceAccounts.getAccessToken`權限錯誤,請驗證 Trident 控制器的 WIF 主體是否對被模擬的服務帳戶具有 `roles/iam.workloadIdentityUser。

  • 如果發生 `netapp.storagePools.list`權限錯誤,請驗證被模擬的服務帳戶是否對正確的專案擁有所需的 Google Cloud NetApp Volumes 權限。

  • 如果找不到資源池,請驗證其位置和類型是否受支援,後端區域是否與資源池區域相符,以及後端是否參照正確的網路和資源池。

配置區塊磁碟區

ReadWriteOnce(RWO)

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rwo
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

ReadWriteOncePod(RWOP)

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rwop
spec:
  accessModes:
    - ReadWriteOncePod
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

ReadOnlyMany(ROX)

ROX 的一個常見模式是複製現有 ReadWriteOnce 磁碟區並將複製磁碟區掛載為唯讀。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rox
spec:
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san
  dataSource:
    kind: PersistentVolumeClaim
    name: gcnv-san-rwo

ReadWriteMany (RWX) — 僅原始區塊

僅在 `volumeMode: Block`時才支援 ReadWriteMany。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-raw-rwx
spec:
  accessModes:
    - ReadWriteMany
  volumeMode: Block
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

區塊磁碟區行為

區塊磁碟區以 iSCSI LUN 的形式配置,並以區塊裝置的形式呈現給 Kubernetes 節點。

區塊磁碟區:

  • 使用 iSCSI 協定

  • 支援檔案系統和原始區塊呈現

  • 由 Trident 附加和管理

  • 支援多種 Kubernetes 存取模式

存取模式

Trident 配置的區塊磁碟區支援下列存取模式:

  • ReadWriteOnce(RWO)

  • ReadOnlyMany(ROX)

  • ReadWriteOncePod(RWOP)

  • ReadWriteMany (RWX),僅在以下情況下支持 volumeMode: Block

volumeMode 行為

`volumeMode`欄位控制區塊磁碟區的公開方式:
  • Filesystem Trident 格式化並掛載磁碟區。

  • Block Trident 會連接該裝置並將其作為原始區塊裝置公開。

支援的作業

使用 google-cloud-netapp-volumes-san 驅動程式配置的區塊磁碟區支援:

  • 建立

  • 刪除

  • 複製

  • Snapshot

  • 調整大小

  • 匯入

Volume 大小例行成本

Google Cloud NetApp Volumes 區塊 Volume 包含內部中繼資料例行成本。因此,核心可見的裝置大小小於已配置的容量。

觀察到的例行成本:

  • 建立 Volume 時大約 300 KiB

  • 調整大小後最多約 107 MiB

Google Cloud NetApp Volumes 接受以整數 GiB 為單位的容量分配。為確保可用裝置大小符合或超過 PVC 要求,Trident:

  • 將要求的大小無條件進位至下一個整數 GiB。

  • 新增 1 GiB 緩衝區。

例如:

  • PVC 請求:100 GiB。

  • 已配置容量:101 GiB。

  • 應用程式可見的可用容量:至少 100 GiB。

Pod 範例

檔案系統掛載區塊磁碟區(RWO)

apiVersion: v1
kind: Pod
metadata:
  name: app-rwo
spec:
  containers:
  - name: app
    image: ubuntu:22.04
    command: ["sleep", "infinity"]
    volumeMounts:
    - name: data
      mountPath: /mnt/data
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: gcnv-san-rwo

原始區塊設備(RWX)

apiVersion: v1
kind: Pod
metadata:
  name: app-raw-rwx
spec:
  containers:
  - name: app
    image: ubuntu:22.04
    command: ["sleep", "infinity"]
    volumeDevices:
    - name: data
      devicePath: /dev/xda
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: gcnv-san-raw-rwx

附加和掛載行為

對於從 Google Cloud NetApp Volumes 配置的 SAN 磁碟區:

  • Trident 在 Flex Unified 儲存池中建立邏輯單元號碼(LUN)。

  • 發布期間,Trident 將 LUN 對應到每個節點的主機群組。

  • 在節點暫存期間、 Trident :

    • 登入 iSCSI 目標

    • 探索 LUN

    • 配置多路徑

  • 如果 volumeMode: Filesystem,Trident 會視需要格式化裝置並將其掛載。

  • 如果 volumeMode: Block,Trident 會將裝置連接並直接暴露給 pod,而無需格式化或掛載。

註 SAN 區塊磁碟區不提供分散式鎖定或寫入協調功能。當多個節點存取區塊磁碟區時(ReadWriteMany volumeMode: Block),應用程式或檔案系統必須管理並發性。