Skip to main content
简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

为 SAN 工作负载配置 Google Cloud NetApp Volumes

贡献者 joan-ing

使用 `google-cloud-netapp-volumes-san`驱动程序从 Google Cloud NetApp Volumes Flex Unified 存储池配置 iSCSI 块卷。

备注 SAN 驱动程序仅支持块工作负载。要配置 NAS 卷,请使用 `google-cloud-netapp-volumes`驱动程序。

概述

驱动程序从 Flex Unified 存储池配置卷,并将其作为 iSCSI 块设备呈现给 Kubernetes 节点。

驱动程序支持以下环境:

  • Trident 26.02 及更高版本

  • 在 GCP 上运行的 Google Kubernetes Engine (GKE) 或 Red Hat OpenShift 集群

  • Google Cloud NetApp Volumes Flex 统一存储池

  • 基于 iSCSI 的工作负载

从 Trident 26.10 开始,SAN 驱动程序支持在 GCP 上运行的自我管理 OpenShift Container Platform(OCP,包括 IPI 部署)和 OpenShift Dedicated(OSD)集群上的 Google Cloud Workload Identity Federation(WIF)。有关 WIF 先决条件和后端配置,请参见 "在 OpenShift 上使用 Workload Identity Federation"。使用此页面上的 SAN 驱动程序名称和 Flex Unified 存储设置。

为 SAN 配置 WIF

WIF 将投影的 Kubernetes 服务帐户令牌交换为短期的 Google Cloud 凭据。Trident 在调用 Google Cloud NetApp Volumes API 时使用这些凭据来模拟 Google Cloud 服务帐户。

为 OpenShift 集群配置 Google Cloud Workload Identity Pool 和 OIDC 提供程序。提供程序颁发者必须与令牌的 iss`声明相匹配,并且其属性映射必须将 `assertion.sub`映射到 `google.subject。

使用提供程序资源名称作为 WIF 受众安装 Trident。这会使 Trident 将控制器服务帐户令牌投影到 /var/run/secrets/wif-token/token。

Trident 运算符
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
  name: trident
spec:
  namespace: trident
  cloudProvider: GCP
  gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
掌舵
helm install trident <trident-operator-package> \
  --namespace trident \
  --create-namespace \
  --set cloudProvider=GCP \
  --set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
Tridentctl
tridentctl install \
  --namespace trident \
  --cloud-provider GCP \
  --gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"

为 Trident 安装和 wipCredentialConfig.audience`使用相同的受众。请勿同时配置 GKE `cloudIdentity`或 `--cloud-identity。请勿修补控制器 Deployment 以添加投影令牌;Trident operator 可以覆盖该更改。

重要说明

在 OpenShift Dedicated 上,OIDC 提供程序可以与其他 OpenShift 组件共享。如果提供程序的 `allowedAudiences`列表为空,则 Google 接受提供程序的规范资源名称(带或不带 `https://`前缀),因此上述受众无需更改提供程序。请勿仅为 Trident 设置明确的受众列表。如果提供程序已有明确的受众,请在保留每个现有值的同时追加 Trident 受众。替换该列表可能会阻止其他 OpenShift 组件交换令牌。

向 Trident 控制器服务帐户的 WIF 主体授予 Trident 将模拟的 Google Cloud 服务帐户上的 roles/iam.workloadIdentityUser`角色。对于默认的 Trident 控制器服务帐户,令牌主体为 `system:serviceaccount:trident:trident-controller;请使用为您的安装配置的主体。在包含 Google Cloud NetApp Volumes 资源的项目上,向模拟的服务帐户授予 `roles/netapp.admin`或同等权限。

将以下节添加到 SAN 后端的 spec:

wipCredentialConfig:
  type: external_account
  audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
  subject_token_type: urn:ietf:params:oauth:token-type:jwt
  token_url: https://sts.googleapis.com/v1/token
  credential_source:
    file: /var/run/secrets/wif-token/token
  service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken

两个 GCNV 驱动程序的 WIF 配置相同。SAN 后端仍必须使用 `google-cloud-netapp-volumes-san`和受支持的 Flex Unified 存储池。

Flex Unified 存储池

Flex Unified 存储池使用 iSCSI 协议提供块存储,是 SAN 配置所必需的:

  • 支持 Flex Unified REGIONAL 池。

  • 从 Trident 26.02.1 开始支持 Flex Unified ZONAL 池。

  • SAN 工作负载仅支持 Flex 服务级别。

后端 `location`必须与 Flex Unified 池的区域相匹配。如果 Trident 找不到该池,请验证区域、网络和池资源路径。

配置 Trident SAN 后端

apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
  name: gcnv-san
  namespace: trident
spec:
  version: 1
  storageDriverName: google-cloud-netapp-volumes-san
  projectNumber: "<project-number>"
  location: "<region>"
  sdkTimeout: "600"
  storage:
  - labels:
      cloud: gcp
      performance: flex
    network: "<vpc-network>"
    serviceLevel: Flex

创建 StorageClass

配置 SAN 后端后,创建一个引用 `google-cloud-netapp-volumes-san`驱动程序的 StorageClass。

在 StorageClass 中指定文件系统类型,而不是在后端。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
  backendType: "google-cloud-netapp-volumes-san"
  fsType: "ext4"
allowVolumeExpansion: true

驱动程序支持以下文件系统类型:

  • ext4 (默认)

  • ext3

  • xfs

备注 SAN 驱动程序仅支持 Flex 服务级别,不使用特定于 NAS 的后端参数,例如 exportRule、 unixPermissions、 nasType、 snapshotDir、 `nfsMountOptions`或与分层相关的设置。

验证 WIF 配置

应用后端并验证 TridentBackendConfig 是否已绑定且其上次操作已成功:

oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml

使用此页面上的 gcnv-san StorageClass 创建 PVC,并验证其是否到达 Bound。这将同时验证 WIF 交换、服务帐户模拟、Google Cloud NetApp Volumes 权限和 SAN 池选择。完成后删除测试 PVC。

如果后端协调失败,请检查 Trident 控制器日志:

oc -n trident logs deploy/trident-controller -c trident-main --tail=400

有关常见错误,请检查以下内容:

  • 对于 `invalid_grant`受众错误,请将令牌的 `aud`声明与 OIDC 提供程序允许的受众和 `wipCredentialConfig.audience`进行比较。

  • 对于 iam.serviceAccounts.getAccessToken`权限错误,请验证 Trident 控制器的 WIF 主体对模拟服务帐户是否具有 `roles/iam.workloadIdentityUser。

  • 对于 `netapp.storagePools.list`权限错误,请验证模拟服务帐户对正确的项目具有所需的 Google Cloud NetApp Volumes 权限。

  • 如果未找到池,请验证其位置和类型是否受支持,后端区域是否与池区域匹配,以及后端是否引用正确的网络和池。

配置块卷

ReadWriteOnce(RWO)

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rwo
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

ReadWriteOncePod(RWOP)

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rwop
spec:
  accessModes:
    - ReadWriteOncePod
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

ReadOnlyMany(ROX)

ROX 的常见模式是克隆现有 ReadWriteOnce 卷并将克隆挂载为只读。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-rox
spec:
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san
  dataSource:
    kind: PersistentVolumeClaim
    name: gcnv-san-rwo

ReadWriteMany (RWX) — 仅原始块

只有当 `volumeMode: Block`时才支持 ReadWriteMany。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gcnv-san-raw-rwx
spec:
  accessModes:
    - ReadWriteMany
  volumeMode: Block
  resources:
    requests:
      storage: 100Gi
  storageClassName: gcnv-san

块卷行为

块卷被调配为 iSCSI LUN,并作为块设备呈现给 Kubernetes 节点。

块卷:

  • 使用 iSCSI 协议

  • 支持文件系统和原始块呈现

  • 由 Trident 连接和管理

  • 支持多种 Kubernetes 访问模式

访问模式

Trident 配置的块卷支持以下访问模式:

  • ReadWriteOnce(RWO)

  • ReadOnlyMany(ROX)

  • ReadWriteOncePod(RWOP)

  • ReadWriteMany (RWX),仅在 `volumeMode: Block`时受支持

volumeMode 行为

`volumeMode` 字段控制块卷的暴露方式:
  • Filesystem Trident 格式化和装载卷。

  • Block Trident 附加设备并将其公开为原始块设备。

支持的操作

使用 google-cloud-netapp-volumes-san 驱动程序配置的块卷支持:

  • 创建

  • 删除

  • 克隆

  • Snapshot

  • 调整大小

  • 导入

卷大小开销

Google Cloud NetApp Volumes 块卷包括内部元数据开销。因此,内核可见的设备大小小于配置的容量。

观察到的开销:

  • 创建卷时约为 300 KiB

  • 调整大小后最高约 107 MiB

Google Cloud NetApp Volumes 接受以整数 GiB 为单位的容量分配。为确保可用设备大小满足或超过 PVC 请求,Trident:

  • 将请求的大小向上舍入至下一个整 GiB。

  • 添加 1 GiB 缓冲区。

例如:

  • PVC 请求:100 GiB。

  • 配置容量:101 GiB。

  • 应用程序可见的可用容量:至少 100 GiB。

Pod 示例

文件系统挂载的块卷 (RWO)

apiVersion: v1
kind: Pod
metadata:
  name: app-rwo
spec:
  containers:
  - name: app
    image: ubuntu:22.04
    command: ["sleep", "infinity"]
    volumeMounts:
    - name: data
      mountPath: /mnt/data
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: gcnv-san-rwo

原始块设备 (RWX)

apiVersion: v1
kind: Pod
metadata:
  name: app-raw-rwx
spec:
  containers:
  - name: app
    image: ubuntu:22.04
    command: ["sleep", "infinity"]
    volumeDevices:
    - name: data
      devicePath: /dev/xda
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: gcnv-san-raw-rwx

连接和挂载行为

对于从 Google Cloud NetApp Volumes 配置的 SAN 卷:

  • Trident 在 Flex Unified 存储池中创建逻辑单元号 (LUN)。

  • 在发布期间, Trident 将 LUN 映射到每个节点的主机组。

  • 在节点暂存期间,Trident:

    • 登录到 iSCSI 目标

    • 发现 LUN

    • 配置多路径

  • 如果 volumeMode: Filesystem,Trident 会根据需要格式化设备并挂载它。

  • 如果 volumeMode: Block,Trident 会连接设备并将其直接暴露给 pod,无需格式化或挂载。

备注 SAN 块卷不提供分布式锁定或写入协调。当一个块卷被多个节点访问时(ReadWriteMany 与 volumeMode: Block),应用程序或文件系统必须管理并发。