SAN ワークロード用に Google Cloud NetApp Volumes を設定
`google-cloud-netapp-volumes-san` ドライバを使用して、Google Cloud NetApp Volumes Flex UnifiedストレージプールからiSCSIブロックボリュームをプロビジョニングします。
|
|
SANドライバはブロックワークロードのみをサポートします。NASボリュームをプロビジョニングするには、 `google-cloud-netapp-volumes`ドライバを使用します。 |
概要
このドライバは、Flex Unifiedストレージプールからボリュームをプロビジョニングし、それらをiSCSIブロックデバイスとしてKubernetesノードに提示します。
このドライバーは以下の環境をサポートしています:
-
Trident 26.02以降
-
Google Kubernetes Engine(GKE)、またはGCP上で稼働するRed Hat OpenShiftクラスタ
-
Google Cloud NetApp Volumes Flex統合ストレージプール
-
iSCSIベースのワークロード
Trident 26.10以降、SANドライバは、GCP上で実行される自己管理型のOpenShift Container Platform(OCP、IPIデプロイを含む)およびOpenShift Dedicated(OSD)クラスタでのGoogle Cloud Workload Identity Federation(WIF)をサポートします。WIFの前提条件とバックエンド構成については、"OpenShiftでワークロードIDフェデレーションを使用する"を参照してください。このページのSANドライバ名とFlex Unifiedストレージ設定を使用してください。
SAN用にWIFを構成する
WIFは、プロジェクションされたKubernetesサービスアカウントトークンを、有効期限の短いGoogle Cloud認証情報と交換します。Tridentは、Google Cloud NetApp Volumes APIを呼び出す際に、これらの認証情報を使用してGoogle Cloudサービスアカウントになりすまします。
OpenShiftクラスタ用にGoogle Cloud Workload Identity PoolとOIDCプロバイダを設定します。プロバイダーの発行者はトークンの `iss`クレームと一致する必要があり、その属性マッピングは `assertion.sub`を `google.subject`にマッピングする必要があります。
プロバイダのリソース名をWIFオーディエンスとしてTridentをインストールします。これにより、Tridentはコントローラのサービスアカウントトークンを `/var/run/secrets/wif-token/token`に投影します。
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
name: trident
spec:
namespace: trident
cloudProvider: GCP
gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
helm install trident <trident-operator-package> \
--namespace trident \
--create-namespace \
--set cloudProvider=GCP \
--set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
tridentctl install \
--namespace trident \
--cloud-provider GCP \
--gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
Tridentのインストールと `wipCredentialConfig.audience`には、同じオーディエンスを使用してください。また、GKE `cloudIdentity`や `--cloud-identity`も構成しないでください。投影されたトークンを追加するためにコントローラーのDeploymentにパッチを適用しないでください。Tridentオペレーターがその変更を上書きする可能性があります。
|
|
OpenShift Dedicatedでは、OIDCプロバイダーを他のOpenShiftコンポーネントと共有できます。プロバイダーの `allowedAudiences`リストが空の場合、Googleは `https://`プレフィックスの有無にかかわらずプロバイダーの正規リソース名を受け入れるため、上記のオーディエンスに対してプロバイダーを変更する必要はありません。Trident専用の明示的なオーディエンスリストを設定しないでください。プロバイダーにすでに明示的なオーディエンスがある場合は、既存のすべての値を保持したまま、Tridentオーディエンスを追加します。リストを置き換えると、他のOpenShiftコンポーネントがトークンを交換できなくなる可能性があります。 |
Tridentが権限を借用するGoogle Cloudサービスアカウントの roles/iam.workloadIdentityUser`ロールを、TridentコントローラサービスアカウントのWIFプリンシパルに付与します。デフォルトのTridentコントローラサービスアカウントの場合、トークンのサブジェクトは `system:serviceaccount:trident:trident-controller`です。インストール環境に設定されたサブジェクトを使用してください。権限を借用したサービスアカウントに、Google Cloud NetApp Volumesリソースを含むプロジェクトに対する `roles/netapp.admin、または同等の権限を付与します。
SANバックエンドの `spec`に次のスタンザを追加します:
wipCredentialConfig:
type: external_account
audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
subject_token_type: urn:ietf:params:oauth:token-type:jwt
token_url: https://sts.googleapis.com/v1/token
credential_source:
file: /var/run/secrets/wif-token/token
service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken
WIFの設定は、どちらのGCNVドライバでも同じです。SANバックエンドは引き続き `google-cloud-netapp-volumes-san`とサポートされているFlex Unifiedストレージプールを使用する必要があります。
Flex Unified ストレージプール
Flex Unifiedストレージプールは、iSCSIプロトコルを使用してブロックストレージを提供し、SANプロビジョニングに必要です:
-
Flex Unified REGIONAL プールがサポートされています。
-
Flex Unified ZONAL プールは、Trident 26.02.1 以降でサポートされています。
-
SANワークロードでは、*Flex*サービスレベルのみがサポートされます。
バックエンド `location`は、Flex Unifiedプールのリージョンと一致している必要があります。Tridentがプールを見つけられない場合は、リージョン、ネットワーク、およびプールのリソースパスを確認してください。
Trident SANバックエンドを設定する
apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
name: gcnv-san
namespace: trident
spec:
version: 1
storageDriverName: google-cloud-netapp-volumes-san
projectNumber: "<project-number>"
location: "<region>"
sdkTimeout: "600"
storage:
- labels:
cloud: gcp
performance: flex
network: "<vpc-network>"
serviceLevel: Flex
StorageClassを作成します
SANバックエンドを設定したら、 `google-cloud-netapp-volumes-san`ドライバを参照するStorageClassを作成します。
バックエンドではなく、StorageClassでファイルシステムの種類を指定します。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
backendType: "google-cloud-netapp-volumes-san"
fsType: "ext4"
allowVolumeExpansion: true
このドライバは、以下のファイルシステムタイプをサポートしています:
-
ext4(デフォルト) -
ext3 -
xfs
|
|
SANドライバはFlexサービスレベルのみをサポートし、 exportRule、 unixPermissions、 nasType、 snapshotDir、 `nfsMountOptions`などのNAS固有のバックエンドパラメータや階層化関連の設定は使用しません。
|
WIFプロビジョニングを確認する
バックエンドを適用し、TridentBackendConfigがバインドされ、最後の操作が成功したことを確認します:
oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml
このページの gcnv-san StorageClass を使用してPVCを作成し、 Bound に到達することを確認します。これにより、WIF交換、サービスアカウントの権限借用、Google Cloud NetApp Volumesの権限、およびSANプールの選択がまとめて検証されます。完了したら、テストPVCを削除してください。
バックエンドの調整が失敗した場合は、Tridentコントローラのログを確認してください:
oc -n trident logs deploy/trident-controller -c trident-main --tail=400
よくあるエラーについては、以下を確認してください:
-
`invalid_grant`オーディエンスエラーの場合は、トークンの `aud`クレームをOIDCプロバイダの許可されたオーディエンスおよび `wipCredentialConfig.audience`と比較します。
-
`iam.serviceAccounts.getAccessToken`権限エラーが発生した場合は、TridentコントローラのWIFプリンシパルが、権限を借用したサービスアカウントに対して `roles/iam.workloadIdentityUser`を持っていることを確認してください。
-
`netapp.storagePools.list`権限エラーが発生した場合は、偽装されたサービスアカウントに、適切なプロジェクトに対する必要なGoogle Cloud NetApp Volumes権限があることを確認してください。
-
プールが見つからない場合は、その場所と種類がサポートされているか、バックエンドのリージョンがプールのリージョンと一致しているか、バックエンドが正しいネットワークとプールを参照しているかを確認してください。
ブロックボリュームのプロビジョニング
ReadWriteOnce(RWO)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwo
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadWriteOncePod(RWOP)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwop
spec:
accessModes:
- ReadWriteOncePod
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadOnlyMany(ROX)
ROXの一般的なパターンは、既存のReadWriteOnceボリュームを複製し、クローンを読み取り専用としてマウントすることです。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rox
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
dataSource:
kind: PersistentVolumeClaim
name: gcnv-san-rwo
ReadWriteMany(RWX)— rawブロックのみ
ReadWriteManyは、 `volumeMode: Block`の場合にのみサポートされます。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-raw-rwx
spec:
accessModes:
- ReadWriteMany
volumeMode: Block
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ブロックボリュームの動作
ブロック ボリュームは iSCSI LUN としてプロビジョニングされ、Kubernetes ノードにブロック デバイスとして提示されます。
ブロックボリューム:
-
iSCSIプロトコルを使用する
-
ファイルシステムとrawブロックのプレゼンテーションをサポート
-
Tridentによって接続され、管理されます
-
複数の Kubernetes アクセスモードをサポート
アクセスモード
Tridentによってプロビジョニングされたブロックボリュームは、次のアクセスモードをサポートします:
-
ReadWriteOnce(RWO) -
ReadOnlyMany(ROX) -
ReadWriteOncePod(RWOP) -
ReadWriteMany(RWX)、次の場合にのみサポートされます:volumeMode: Block
volumeModeの動作
`volumeMode`フィールドは、ブロックボリュームの公開方法を制御します:
-
FilesystemTrident がボリュームをフォーマットしてマウントします。 -
BlockTridentはデバイスを接続し、rawブロックデバイスとして公開します。
サポートされている操作
`google-cloud-netapp-volumes-san`ドライバーを使用してプロビジョニングされたブロックボリュームは、次の機能をサポートします:
-
作成
-
削除
-
クローン
-
スナップショット
-
サイズ変更
-
インポート
ボリュームサイズのオーバーヘッド
Google Cloud NetApp Volumes ブロックボリュームには、内部メタデータのオーバーヘッドが含まれます。その結果、カーネルから見えるデバイスのサイズは、プロビジョニングされた容量よりも小さくなります。
観測されたオーバーヘッド:
-
ボリューム作成時に約300 KiB
-
サイズ変更後、最大約107MiB
Google Cloud NetApp Volumesは、GiB単位での容量割り当てを受け付けます。使用可能なデバイスのサイズがPVCの要求を満たすか、それを超えることを保証するために、Trident:
-
要求されたサイズを次の整数GiBに切り上げます。
-
1 GiBのバッファを追加します。
例:
-
PVC要求量:100 GiB。
-
プロビジョニング済み容量:101 GiB。
-
アプリケーションから見える使用可能な容量:最低100 GiB。
Podの例
ファイルシステムにマウントされたブロックボリューム(RWO)
apiVersion: v1
kind: Pod
metadata:
name: app-rwo
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeMounts:
- name: data
mountPath: /mnt/data
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-rwo
Raw ブロックデバイス (RWX)
apiVersion: v1
kind: Pod
metadata:
name: app-raw-rwx
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeDevices:
- name: data
devicePath: /dev/xda
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-raw-rwx
アタッチとマウントの動作
Google Cloud NetApp Volumes からプロビジョニングされた SAN ボリュームの場合:
-
Trident は、Flex Unified ストレージプールに論理ユニット番号(LUN)を作成します。
-
公開中、Trident は LUN をノードごとのホストグループにマップします。
-
ノードステージング中、Trident:
-
iSCSIターゲットにログインします
-
LUNを検出します
-
マルチパスを設定します
-
-
もし
volumeMode: Filesystem、Tridentは必要に応じてデバイスをフォーマットし、マウントします。 -
`volumeMode: Block`の場合、Tridentはデバイスを接続し、フォーマットやマウントを行わずにポッドに直接公開します。
|
|
SAN ブロックボリュームでは、分散ロックや書き込み調整は提供されません。ブロックボリュームが複数のノードからアクセスされる場合(ReadWriteMany with volumeMode: Block)、アプリケーションまたはファイルシステムは同時実行性を管理する必要があります。
|