为 SAN 工作负载配置 Google Cloud NetApp Volumes
使用 `google-cloud-netapp-volumes-san`驱动程序从 Google Cloud NetApp Volumes Flex Unified 存储池配置 iSCSI 块卷。
|
|
SAN 驱动程序仅支持块工作负载。要配置 NAS 卷,请使用 `google-cloud-netapp-volumes`驱动程序。 |
概述
驱动程序从 Flex Unified 存储池配置卷,并将其作为 iSCSI 块设备呈现给 Kubernetes 节点。
驱动程序支持以下环境:
-
Trident 26.02 及更高版本
-
在 GCP 上运行的 Google Kubernetes Engine (GKE) 或 Red Hat OpenShift 集群
-
Google Cloud NetApp Volumes Flex 统一存储池
-
基于 iSCSI 的工作负载
从 Trident 26.10 开始,SAN 驱动程序支持在 GCP 上运行的自我管理 OpenShift Container Platform(OCP,包括 IPI 部署)和 OpenShift Dedicated(OSD)集群上的 Google Cloud Workload Identity Federation(WIF)。有关 WIF 先决条件和后端配置,请参见 "在 OpenShift 上使用 Workload Identity Federation"。使用此页面上的 SAN 驱动程序名称和 Flex Unified 存储设置。
为 SAN 配置 WIF
WIF 将投影的 Kubernetes 服务帐户令牌交换为短期的 Google Cloud 凭据。Trident 在调用 Google Cloud NetApp Volumes API 时使用这些凭据来模拟 Google Cloud 服务帐户。
为 OpenShift 集群配置 Google Cloud Workload Identity Pool 和 OIDC 提供程序。提供程序颁发者必须与令牌的 iss`声明相匹配,并且其属性映射必须将 `assertion.sub`映射到 `google.subject。
使用提供程序资源名称作为 WIF 受众安装 Trident。这会使 Trident 将控制器服务帐户令牌投影到 /var/run/secrets/wif-token/token。
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
name: trident
spec:
namespace: trident
cloudProvider: GCP
gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
helm install trident <trident-operator-package> \
--namespace trident \
--create-namespace \
--set cloudProvider=GCP \
--set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
tridentctl install \
--namespace trident \
--cloud-provider GCP \
--gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
为 Trident 安装和 wipCredentialConfig.audience`使用相同的受众。请勿同时配置 GKE `cloudIdentity`或 `--cloud-identity。请勿修补控制器 Deployment 以添加投影令牌;Trident operator 可以覆盖该更改。
|
|
在 OpenShift Dedicated 上,OIDC 提供程序可以与其他 OpenShift 组件共享。如果提供程序的 `allowedAudiences`列表为空,则 Google 接受提供程序的规范资源名称(带或不带 `https://`前缀),因此上述受众无需更改提供程序。请勿仅为 Trident 设置明确的受众列表。如果提供程序已有明确的受众,请在保留每个现有值的同时追加 Trident 受众。替换该列表可能会阻止其他 OpenShift 组件交换令牌。 |
向 Trident 控制器服务帐户的 WIF 主体授予 Trident 将模拟的 Google Cloud 服务帐户上的 roles/iam.workloadIdentityUser`角色。对于默认的 Trident 控制器服务帐户,令牌主体为 `system:serviceaccount:trident:trident-controller;请使用为您的安装配置的主体。在包含 Google Cloud NetApp Volumes 资源的项目上,向模拟的服务帐户授予 `roles/netapp.admin`或同等权限。
将以下节添加到 SAN 后端的 spec:
wipCredentialConfig:
type: external_account
audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
subject_token_type: urn:ietf:params:oauth:token-type:jwt
token_url: https://sts.googleapis.com/v1/token
credential_source:
file: /var/run/secrets/wif-token/token
service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken
两个 GCNV 驱动程序的 WIF 配置相同。SAN 后端仍必须使用 `google-cloud-netapp-volumes-san`和受支持的 Flex Unified 存储池。
Flex Unified 存储池
Flex Unified 存储池使用 iSCSI 协议提供块存储,是 SAN 配置所必需的:
-
支持 Flex Unified REGIONAL 池。
-
从 Trident 26.02.1 开始支持 Flex Unified ZONAL 池。
-
SAN 工作负载仅支持 Flex 服务级别。
后端 `location`必须与 Flex Unified 池的区域相匹配。如果 Trident 找不到该池,请验证区域、网络和池资源路径。
配置 Trident SAN 后端
apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
name: gcnv-san
namespace: trident
spec:
version: 1
storageDriverName: google-cloud-netapp-volumes-san
projectNumber: "<project-number>"
location: "<region>"
sdkTimeout: "600"
storage:
- labels:
cloud: gcp
performance: flex
network: "<vpc-network>"
serviceLevel: Flex
创建 StorageClass
配置 SAN 后端后,创建一个引用 `google-cloud-netapp-volumes-san`驱动程序的 StorageClass。
在 StorageClass 中指定文件系统类型,而不是在后端。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
backendType: "google-cloud-netapp-volumes-san"
fsType: "ext4"
allowVolumeExpansion: true
驱动程序支持以下文件系统类型:
-
ext4(默认) -
ext3 -
xfs
|
|
SAN 驱动程序仅支持 Flex 服务级别,不使用特定于 NAS 的后端参数,例如 exportRule、 unixPermissions、 nasType、 snapshotDir、 `nfsMountOptions`或与分层相关的设置。
|
验证 WIF 配置
应用后端并验证 TridentBackendConfig 是否已绑定且其上次操作已成功:
oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml
使用此页面上的 gcnv-san StorageClass 创建 PVC,并验证其是否到达 Bound。这将同时验证 WIF 交换、服务帐户模拟、Google Cloud NetApp Volumes 权限和 SAN 池选择。完成后删除测试 PVC。
如果后端协调失败,请检查 Trident 控制器日志:
oc -n trident logs deploy/trident-controller -c trident-main --tail=400
有关常见错误,请检查以下内容:
-
对于 `invalid_grant`受众错误,请将令牌的 `aud`声明与 OIDC 提供程序允许的受众和 `wipCredentialConfig.audience`进行比较。
-
对于
iam.serviceAccounts.getAccessToken`权限错误,请验证 Trident 控制器的 WIF 主体对模拟服务帐户是否具有 `roles/iam.workloadIdentityUser。 -
对于 `netapp.storagePools.list`权限错误,请验证模拟服务帐户对正确的项目具有所需的 Google Cloud NetApp Volumes 权限。
-
如果未找到池,请验证其位置和类型是否受支持,后端区域是否与池区域匹配,以及后端是否引用正确的网络和池。
配置块卷
ReadWriteOnce(RWO)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwo
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadWriteOncePod(RWOP)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwop
spec:
accessModes:
- ReadWriteOncePod
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadOnlyMany(ROX)
ROX 的常见模式是克隆现有 ReadWriteOnce 卷并将克隆挂载为只读。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rox
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
dataSource:
kind: PersistentVolumeClaim
name: gcnv-san-rwo
ReadWriteMany (RWX) — 仅原始块
只有当 `volumeMode: Block`时才支持 ReadWriteMany。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-raw-rwx
spec:
accessModes:
- ReadWriteMany
volumeMode: Block
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
块卷行为
块卷被调配为 iSCSI LUN,并作为块设备呈现给 Kubernetes 节点。
块卷:
-
使用 iSCSI 协议
-
支持文件系统和原始块呈现
-
由 Trident 连接和管理
-
支持多种 Kubernetes 访问模式
访问模式
Trident 配置的块卷支持以下访问模式:
-
ReadWriteOnce(RWO) -
ReadOnlyMany(ROX) -
ReadWriteOncePod(RWOP) -
ReadWriteMany(RWX),仅在 `volumeMode: Block`时受支持
volumeMode 行为
`volumeMode` 字段控制块卷的暴露方式:
-
FilesystemTrident 格式化和装载卷。 -
BlockTrident 附加设备并将其公开为原始块设备。
支持的操作
使用 google-cloud-netapp-volumes-san 驱动程序配置的块卷支持:
-
创建
-
删除
-
克隆
-
Snapshot
-
调整大小
-
导入
卷大小开销
Google Cloud NetApp Volumes 块卷包括内部元数据开销。因此,内核可见的设备大小小于配置的容量。
观察到的开销:
-
创建卷时约为 300 KiB
-
调整大小后最高约 107 MiB
Google Cloud NetApp Volumes 接受以整数 GiB 为单位的容量分配。为确保可用设备大小满足或超过 PVC 请求,Trident:
-
将请求的大小向上舍入至下一个整 GiB。
-
添加 1 GiB 缓冲区。
例如:
-
PVC 请求:100 GiB。
-
配置容量:101 GiB。
-
应用程序可见的可用容量:至少 100 GiB。
Pod 示例
文件系统挂载的块卷 (RWO)
apiVersion: v1
kind: Pod
metadata:
name: app-rwo
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeMounts:
- name: data
mountPath: /mnt/data
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-rwo
原始块设备 (RWX)
apiVersion: v1
kind: Pod
metadata:
name: app-raw-rwx
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeDevices:
- name: data
devicePath: /dev/xda
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-raw-rwx
连接和挂载行为
对于从 Google Cloud NetApp Volumes 配置的 SAN 卷:
-
Trident 在 Flex Unified 存储池中创建逻辑单元号 (LUN)。
-
在发布期间, Trident 将 LUN 映射到每个节点的主机组。
-
在节点暂存期间,Trident:
-
登录到 iSCSI 目标
-
发现 LUN
-
配置多路径
-
-
如果
volumeMode: Filesystem,Trident 会根据需要格式化设备并挂载它。 -
如果
volumeMode: Block,Trident 会连接设备并将其直接暴露给 pod,无需格式化或挂载。
|
|
SAN 块卷不提供分布式锁定或写入协调。当一个块卷被多个节点访问时(ReadWriteMany 与 volumeMode: Block),应用程序或文件系统必须管理并发。
|