設定 Google Cloud NetApp Volumes 以用於 SAN 工作負載
使用 google-cloud-netapp-volumes-san 驅動程式從 Google Cloud NetApp Volumes Flex Unified 儲存設備池資源配置 iSCSI 區塊 Volume。
|
|
SAN 驅動程式僅支援區塊工作負載。若要資源配置 NAS Volume,請使用 google-cloud-netapp-volumes 驅動程式。
|
總覽
此驅動程式從 Flex Unified 儲存設備池資源配置 Volume,並將其做為 iSCSI 區塊裝置呈現給 Kubernetes 節點。
此驅動程式支援以下環境:
-
Trident 26.02 及更新版本
-
Google Kubernetes Engine (GKE) 或在 GCP 上執行的 Red Hat OpenShift 叢集
-
Google Cloud NetApp Volumes Flex 統一儲存池
-
基於 iSCSI 的工作負載
從 Trident 26.10 開始,SAN 驅動程式支援在 GCP 上執行的自我管理 OpenShift Container Platform(OCP,包括 IPI 部署)和 OpenShift Dedicated(OSD)叢集上的 Google Cloud Workload Identity Federation(WIF)。如需 WIF 先決條件與後端組態,請參閱 "在 OpenShift 上使用工作負載身分聯合"。請使用此頁面上的 SAN 驅動程式名稱與 Flex Unified 儲存設備設定。
設定 SAN 的 WIF
WIF 將投射的 Kubernetes 服務帳戶權杖交換為短期的 Google Cloud 認證資料。Trident 在呼叫 Google Cloud NetApp Volumes API 時,會使用這些認證資料來模擬 Google Cloud 服務帳戶。
為 OpenShift 叢集設定 Google Cloud Workload Identity Pool 和 OIDC 供應商。供應商發行者必須與權杖的 iss`宣告相符,且其屬性對應必須將 `assertion.sub`對應至 `google.subject。
安裝 Trident 時,將供應商資源名稱設定為 WIF 對象。這會使 Trident 專案控制器服務帳戶權杖於 /var/run/secrets/wif-token/token。
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
name: trident
spec:
namespace: trident
cloudProvider: GCP
gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
helm install trident <trident-operator-package> \
--namespace trident \
--create-namespace \
--set cloudProvider=GCP \
--set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
tridentctl install \
--namespace trident \
--cloud-provider GCP \
--gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
請為 Trident 安裝和 wipCredentialConfig.audience`使用相同的對象。請勿同時設定 GKE `cloudIdentity 或 --cloud-identity。請勿修補控制器 Deployment 來新增 projected token;Trident 營運者可以覆寫該變更。
|
|
在 OpenShift Dedicated 上,OIDC 供應商可以是與其他 OpenShift 元件共享的。如果供應商的 `allowedAudiences`清單為空,Google 會接受供應商的規範資源名稱(有或沒有 `https://`前綴),因此上述對象無需更改供應商。請勿僅為 Trident 設定明確的對象清單。如果供應商已有明確的對象,請在保留所有現有值的情況下附加 Trident 對象。替換清單可能會阻止其他 OpenShift 元件交換權杖。 |
在 Trident 將要模擬的 Google Cloud 服務帳戶上,授予 Trident 控制器服務帳戶的 WIF 主體 roles/iam.workloadIdentityUser`角色。對於預設的 Trident 控制器服務帳戶,權杖主旨為 `system:serviceaccount:trident:trident-controller;請使用為您的安裝所設定的主旨。在包含 Google Cloud NetApp Volumes 資源的專案上,授予被模擬的服務帳戶 `roles/netapp.admin`或等效權限。
將以下程式碼段新增至 SAN 後端的 spec:
wipCredentialConfig:
type: external_account
audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
subject_token_type: urn:ietf:params:oauth:token-type:jwt
token_url: https://sts.googleapis.com/v1/token
credential_source:
file: /var/run/secrets/wif-token/token
service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken
兩種 GCNV 驅動程式的 WIF 組態相同。SAN 後端仍必須使用 google-cloud-netapp-volumes-san 和受支援的 Flex Unified 儲存資源池。
Flex Unified 儲存池
Flex 統一儲存資源池使用 iSCSI 協定提供區塊儲存設備,是 SAN 資源配置所必需的:
-
支援 Flex Unified REGIONAL 資源池。
-
從 Trident 26.02.1 開始支援 Flex Unified ZONAL 池。
-
SAN 工作負載僅支援 Flex 服務等級。
後端 `location`必須與 Flex Unified 資源池的區域相符。如果 Trident 找不到該資源池,請驗證區域、網路和資源池資源路徑。
設定 Trident SAN 後端
apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
name: gcnv-san
namespace: trident
spec:
version: 1
storageDriverName: google-cloud-netapp-volumes-san
projectNumber: "<project-number>"
location: "<region>"
sdkTimeout: "600"
storage:
- labels:
cloud: gcp
performance: flex
network: "<vpc-network>"
serviceLevel: Flex
建立 StorageClass
配置完 SAN 後端後,建立一個 StorageClass 引用 google-cloud-netapp-volumes-san 驅動程式。
請在 StorageClass 中指定檔案系統類型,而不是在後端。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
backendType: "google-cloud-netapp-volumes-san"
fsType: "ext4"
allowVolumeExpansion: true
此驅動程式支援以下檔案系統類型:
-
ext4(預設) -
ext3 -
xfs
|
|
SAN 驅動程式僅支援 Flex 服務級別,不使用 NAS 特定的後端參數,例如 exportRule、 unixPermissions、 nasType、 snapshotDir、 `nfsMountOptions`或與分層相關的設定。
|
驗證 WIF 配置
套用後端並驗證 TridentBackendConfig 是否已綁定且其最後一次操作成功:
oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml
使用此頁面上的 gcnv-san StorageClass 建立 PVC,並驗證其是否達到 Bound。這將同時驗證 WIF 交換、服務帳戶模擬、Google Cloud NetApp Volumes 權限和 SAN 資源池選擇。完成後,請刪除測試 PVC。
如果後端資料核對失敗,請檢查 Trident 控制器日誌:
oc -n trident logs deploy/trident-controller -c trident-main --tail=400
請檢查以下常見錯誤:
-
對於 `invalid_grant`對象錯誤,請將權杖的 `aud`聲明與 OIDC 供應商允許的對象和 `wipCredentialConfig.audience`進行比較。
-
對於
iam.serviceAccounts.getAccessToken`權限錯誤,請驗證 Trident 控制器的 WIF 主體是否對被模擬的服務帳戶具有 `roles/iam.workloadIdentityUser。 -
如果發生 `netapp.storagePools.list`權限錯誤,請驗證被模擬的服務帳戶是否對正確的專案擁有所需的 Google Cloud NetApp Volumes 權限。
-
如果找不到資源池,請驗證其位置和類型是否受支援,後端區域是否與資源池區域相符,以及後端是否參照正確的網路和資源池。
配置區塊磁碟區
ReadWriteOnce(RWO)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwo
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadWriteOncePod(RWOP)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwop
spec:
accessModes:
- ReadWriteOncePod
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadOnlyMany(ROX)
ROX 的一個常見模式是複製現有 ReadWriteOnce 磁碟區並將複製磁碟區掛載為唯讀。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rox
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
dataSource:
kind: PersistentVolumeClaim
name: gcnv-san-rwo
ReadWriteMany (RWX) — 僅原始區塊
僅在 `volumeMode: Block`時才支援 ReadWriteMany。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-raw-rwx
spec:
accessModes:
- ReadWriteMany
volumeMode: Block
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
區塊磁碟區行為
區塊磁碟區以 iSCSI LUN 的形式配置,並以區塊裝置的形式呈現給 Kubernetes 節點。
區塊磁碟區:
-
使用 iSCSI 協定
-
支援檔案系統和原始區塊呈現
-
由 Trident 附加和管理
-
支援多種 Kubernetes 存取模式
存取模式
Trident 配置的區塊磁碟區支援下列存取模式:
-
ReadWriteOnce(RWO) -
ReadOnlyMany(ROX) -
ReadWriteOncePod(RWOP) -
ReadWriteMany(RWX),僅在以下情況下支持volumeMode: Block
volumeMode 行為
`volumeMode`欄位控制區塊磁碟區的公開方式:
-
FilesystemTrident 格式化並掛載磁碟區。 -
BlockTrident 會連接該裝置並將其作為原始區塊裝置公開。
支援的作業
使用 google-cloud-netapp-volumes-san 驅動程式配置的區塊磁碟區支援:
-
建立
-
刪除
-
複製
-
Snapshot
-
調整大小
-
匯入
Volume 大小例行成本
Google Cloud NetApp Volumes 區塊 Volume 包含內部中繼資料例行成本。因此,核心可見的裝置大小小於已配置的容量。
觀察到的例行成本:
-
建立 Volume 時大約 300 KiB
-
調整大小後最多約 107 MiB
Google Cloud NetApp Volumes 接受以整數 GiB 為單位的容量分配。為確保可用裝置大小符合或超過 PVC 要求,Trident:
-
將要求的大小無條件進位至下一個整數 GiB。
-
新增 1 GiB 緩衝區。
例如:
-
PVC 請求:100 GiB。
-
已配置容量:101 GiB。
-
應用程式可見的可用容量:至少 100 GiB。
Pod 範例
檔案系統掛載區塊磁碟區(RWO)
apiVersion: v1
kind: Pod
metadata:
name: app-rwo
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeMounts:
- name: data
mountPath: /mnt/data
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-rwo
原始區塊設備(RWX)
apiVersion: v1
kind: Pod
metadata:
name: app-raw-rwx
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeDevices:
- name: data
devicePath: /dev/xda
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-raw-rwx
附加和掛載行為
對於從 Google Cloud NetApp Volumes 配置的 SAN 磁碟區:
-
Trident 在 Flex Unified 儲存池中建立邏輯單元號碼(LUN)。
-
發布期間,Trident 將 LUN 對應到每個節點的主機群組。
-
在節點暫存期間、 Trident :
-
登入 iSCSI 目標
-
探索 LUN
-
配置多路徑
-
-
如果
volumeMode: Filesystem,Trident 會視需要格式化裝置並將其掛載。 -
如果
volumeMode: Block,Trident 會將裝置連接並直接暴露給 pod,而無需格式化或掛載。
|
|
SAN 區塊磁碟區不提供分散式鎖定或寫入協調功能。當多個節點存取區塊磁碟區時(ReadWriteMany volumeMode: Block),應用程式或檔案系統必須管理並發性。
|