SAN 워크로드를 위해 Google Cloud NetApp Volumes 구성
`google-cloud-netapp-volumes-san` 드라이버를 사용하여 Google Cloud NetApp Volumes Flex Unified 스토리지 풀에서 iSCSI 블록 볼륨을 프로비저닝하십시오.
|
|
SAN 드라이버는 블록 워크로드만 지원합니다. NAS 볼륨을 프로비저닝하려면 google-cloud-netapp-volumes 드라이버를 사용하십시오.
|
개요
드라이버는 Flex Unified 스토리지 풀에서 볼륨을 프로비저닝하고 이를 iSCSI 블록 장치로 Kubernetes 노드에 제공합니다.
드라이버는 다음 환경을 지원합니다:
-
Trident 26.02 이상
-
Google Kubernetes Engine(GKE) 또는 GCP에서 실행되는 Red Hat OpenShift 클러스터
-
Google Cloud NetApp Volumes Flex 통합 스토리지 풀
-
iSCSI 기반 워크로드
Trident 26.10부터 SAN 드라이버는 GCP에서 실행되는 자체 관리형 OpenShift Container Platform(OCP, IPI 배포 포함) 및 OpenShift Dedicated(OSD) 클러스터에서 Google Cloud Workload Identity Federation(WIF)을 지원합니다. WIF 필수 조건 및 백엔드 구성은 "OpenShift에서 Workload Identity Federation 사용"을(를) 참조하십시오. 이 페이지의 SAN 드라이버 이름과 Flex Unified 스토리지 설정을 사용하십시오.
SAN용 WIF 구성
WIF는 프로젝션된 Kubernetes 서비스 계정 토큰을 단기 Google Cloud 자격 증명으로 교환합니다. Trident는 이러한 자격 증명을 사용하여 Google Cloud NetApp Volumes API를 호출할 때 Google Cloud 서비스 계정을 가장합니다.
OpenShift 클러스터에 대한 Google Cloud 워크로드 ID 풀 및 OIDC 공급자를 구성합니다. 공급자 발급자는 토큰의 iss 클레임과 일치해야 하며, 속성 매핑은 assertion.sub`을(를) `google.subject(으)로 매핑해야 합니다.
공급자 리소스 이름을 WIF 대상으로 사용하여 Trident를 설치하십시오. 이렇게 하면 Trident가 컨트롤러 서비스 계정 토큰을 `/var/run/secrets/wif-token/token`에 투영합니다.
apiVersion: trident.netapp.io/v1
kind: TridentOrchestrator
metadata:
name: trident
spec:
namespace: trident
cloudProvider: GCP
gcpWIFAudience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
helm install trident <trident-operator-package> \
--namespace trident \
--create-namespace \
--set cloudProvider=GCP \
--set-string gcpWIFAudience="//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
tridentctl install \
--namespace trident \
--cloud-provider GCP \
--gcp-wif-audience "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
Trident 설치 및 wipCredentialConfig.audience`에 동일한 대상을 사용하십시오. 또한 GKE `cloudIdentity 또는 `--cloud-identity`를 구성하지 마십시오. 프로젝션된 토큰을 추가하기 위해 컨트롤러 Deployment를 패치하지 마십시오. Trident operator가 해당 변경 사항을 덮어쓸 수 있습니다.
|
|
OpenShift Dedicated 환경에서는 OIDC 공급자를 다른 OpenShift 구성 요소와 공유할 수 있습니다. 공급자의 |
Trident 컨트롤러 서비스 계정의 WIF 주체에게 Trident가 가장할 Google Cloud 서비스 계정에 대한 roles/iam.workloadIdentityUser 역할을 부여합니다. 기본 Trident 컨트롤러 서비스 계정의 토큰 주체는 system:serviceaccount:trident:trident-controller`입니다. 설치에 맞게 구성된 주체를 사용하십시오. 가장된 서비스 계정에 Google Cloud NetApp Volumes 리소스가 포함된 프로젝트에 대한 `roles/netapp.admin 또는 이와 동등한 권한을 부여합니다.
SAN 백엔드의 `spec`에 다음 구문을 추가하십시오:
wipCredentialConfig:
type: external_account
audience: "//iam.googleapis.com/projects/<wif-pool-project-number>/locations/global/workloadIdentityPools/<pool-id>/providers/<provider-id>"
subject_token_type: urn:ietf:params:oauth:token-type:jwt
token_url: https://sts.googleapis.com/v1/token
credential_source:
file: /var/run/secrets/wif-token/token
service_account_impersonation_url: https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/<service-account-email>:generateAccessToken
WIF 구성은 두 GCNV 드라이버 모두에 대해 동일합니다. SAN 백엔드는 여전히 google-cloud-netapp-volumes-san 및 지원되는 Flex Unified 스토리지 풀을 사용해야 합니다.
Flex Unified 스토리지 풀
Flex Unified 스토리지 풀은 iSCSI 프로토콜을 사용하여 블록 스토리지를 제공하며 SAN 프로비저닝에 필요합니다.
-
Flex Unified REGIONAL 풀이 지원됩니다.
-
Flex Unified ZONAL 풀은 Trident 26.02.1부터 지원됩니다.
-
SAN 워크로드의 경우 Flex 서비스 레벨만 지원됩니다.
백엔드 `location`는 Flex Unified 풀의 지역과 일치해야 합니다. Trident가 풀을 찾지 못하면 지역, 네트워크 및 풀 리소스 경로를 확인하십시오.
Trident SAN 백엔드를 구성합니다
apiVersion: trident.netapp.io/v1
kind: TridentBackendConfig
metadata:
name: gcnv-san
namespace: trident
spec:
version: 1
storageDriverName: google-cloud-netapp-volumes-san
projectNumber: "<project-number>"
location: "<region>"
sdkTimeout: "600"
storage:
- labels:
cloud: gcp
performance: flex
network: "<vpc-network>"
serviceLevel: Flex
StorageClass 생성
SAN 백엔드를 구성한 후 google-cloud-netapp-volumes-san 드라이버를 참조하는 StorageClass를 생성합니다.
백엔드가 아닌 StorageClass에서 파일 시스템 유형을 지정하십시오.
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: gcnv-san
provisioner: csi.trident.netapp.io
parameters:
backendType: "google-cloud-netapp-volumes-san"
fsType: "ext4"
allowVolumeExpansion: true
이 드라이버는 다음과 같은 파일 시스템 유형을 지원합니다:
-
ext4(기본값) -
ext3 -
xfs
|
|
SAN 드라이버는 Flex 서비스 레벨만 지원하며 exportRule, unixPermissions, nasType, snapshotDir, `nfsMountOptions`와 같은 NAS 관련 백엔드 매개변수나 티어링 관련 설정은 사용하지 않습니다.
|
WIF 프로비저닝 확인
백엔드를 적용하고 TridentBackendConfig가 바인딩되었는지, 그리고 마지막 작업이 성공했는지 확인합니다:
oc apply -f <backend-file>.yaml
oc -n trident get tridentbackendconfig <backend-name> -o yaml
이 페이지의 gcnv-san StorageClass를 사용하여 PVC를 생성하고 `Bound`에 도달하는지 확인하십시오. 이렇게 하면 WIF 교환, 서비스 계정 가장, Google Cloud NetApp Volumes 권한 및 SAN 풀 선택이 모두 검증됩니다. 완료되면 테스트 PVC를 삭제하십시오.
백엔드 조정이 실패하면 Trident 컨트롤러 로그를 확인하십시오:
oc -n trident logs deploy/trident-controller -c trident-main --tail=400
일반적인 오류에 대해 다음을 확인하십시오:
-
invalid_grant대상 오류가 발생한 경우, 토큰의aud클레임을 OIDC 공급자가 허용한 대상 및 `wipCredentialConfig.audience`과(와) 비교하십시오. -
iam.serviceAccounts.getAccessToken권한 오류가 발생한 경우, Trident 컨트롤러의 WIF 주체가 가장된 서비스 계정에 대해 `roles/iam.workloadIdentityUser`을(를) 가지고 있는지 확인하십시오. -
netapp.storagePools.list권한 오류가 발생하는 경우, 가장된 서비스 계정에 올바른 프로젝트에 필요한 Google Cloud NetApp Volumes 권한이 있는지 확인하십시오. -
풀을 찾을 수 없는 경우, 풀의 위치와 유형이 지원되는지, 백엔드 지역이 풀 지역과 일치하는지, 그리고 백엔드가 올바른 네트워크와 풀을 참조하는지 확인하십시오.
블록 볼륨 프로비저닝
ReadWriteOnce(RWO)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwo
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadWriteOncePod(RWOP)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rwop
spec:
accessModes:
- ReadWriteOncePod
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
ReadOnlyMany (ROX)
ROX에서 흔히 사용되는 패턴은 기존 ReadWriteOnce 볼륨을 복제하고 복제본을 읽기 전용으로 마운트하는 것입니다.
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-rox
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
dataSource:
kind: PersistentVolumeClaim
name: gcnv-san-rwo
ReadWriteMany (RWX) — 원시 블록 전용
ReadWriteMany는 `volumeMode: Block`인 경우에만 지원됩니다.
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: gcnv-san-raw-rwx
spec:
accessModes:
- ReadWriteMany
volumeMode: Block
resources:
requests:
storage: 100Gi
storageClassName: gcnv-san
블록 볼륨 동작
블록 볼륨은 iSCSI LUN으로 프로비저닝되고 Kubernetes 노드에 블록 디바이스로 제공됩니다.
블록 볼륨:
-
iSCSI 프로토콜 사용
-
파일 시스템 및 원시 블록 프레젠테이션 지원
-
Trident에 의해 연결되고 관리됩니다
-
여러 Kubernetes 액세스 모드 지원
액세스 모드
Trident에서 프로비저닝한 블록 볼륨은 다음과 같은 액세스 모드를 지원합니다.
-
ReadWriteOnce(RWO) -
ReadOnlyMany(ROX) -
ReadWriteOncePod(RWOP) -
ReadWriteMany(RWX), 다음과 같은 경우에만 지원됩니다volumeMode: Block
volumeMode 동작
`volumeMode` 필드는 블록 볼륨이 노출되는 방식을 제어합니다.
-
FilesystemTrident가 볼륨을 포맷하고 마운트합니다. -
BlockTrident는 장치를 연결하고 이를 원시 블록 장치로 노출합니다.
지원되는 작업
`google-cloud-netapp-volumes-san` 드라이버를 사용하여 프로비저닝된 블록 볼륨은 다음을 지원합니다:
-
생성
-
삭제
-
클론
-
스냅샷
-
크기 조정
-
가져오기
볼륨 크기 오버헤드
Google Cloud NetApp Volumes 블록 볼륨에는 내부 메타데이터 오버헤드가 포함됩니다. 따라서 커널에 보이는 장치 크기는 프로비저닝된 용량보다 작습니다.
관찰된 오버헤드:
-
볼륨 생성 시 약 300 KiB
-
크기 조정 후 최대 약 107 MiB
Google Cloud NetApp Volumes는 전체 GiB 단위로 용량 할당을 허용합니다. 사용 가능한 장치 크기가 PVC 요청을 충족하거나 초과하도록 하려면 Trident:
-
요청된 크기를 다음 정수 GiB로 올림합니다.
-
1GiB 버퍼를 추가합니다.
예를 들면 다음과 같습니다.
-
PVC 요청: 100 GiB.
-
프로비저닝된 용량: 101 GiB.
-
애플리케이션에 표시되는 사용 가능한 용량: 최소 100 GiB.
Pod 예
파일 시스템 마운트 블록 볼륨(RWO)
apiVersion: v1
kind: Pod
metadata:
name: app-rwo
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeMounts:
- name: data
mountPath: /mnt/data
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-rwo
원시 블록 디바이스(RWX)
apiVersion: v1
kind: Pod
metadata:
name: app-raw-rwx
spec:
containers:
- name: app
image: ubuntu:22.04
command: ["sleep", "infinity"]
volumeDevices:
- name: data
devicePath: /dev/xda
volumes:
- name: data
persistentVolumeClaim:
claimName: gcnv-san-raw-rwx
연결 및 마운트 동작
Google Cloud NetApp Volumes에서 프로비저닝된 SAN 볼륨의 경우:
-
Trident는 Flex Unified 스토리지 풀에 LUN(논리 유닛 번호)을 생성합니다.
-
게시 중에 Trident는 LUN을 노드별 호스트 그룹에 매핑합니다.
-
노드 스테이징 중에 Trident는 다음을 수행합니다.
-
iSCSI 타겟에 로그인합니다
-
LUN을 검색합니다
-
다중 경로를 구성합니다
-
-
`volumeMode: Filesystem`Trident는 필요한 경우 장치를 포맷하고 마운트합니다.
-
`volumeMode: Block`인 경우 Trident는 포맷이나 마운트 없이 장치를 연결하고 Pod에 직접 노출합니다.
|
|
SAN 블록 볼륨은 분산 잠금 또는 쓰기 조정을 제공하지 않습니다. 여러 노드에서 블록 볼륨에 액세스할 때(ReadWriteMany 사용 시 volumeMode: Block) 애플리케이션 또는 파일 시스템이 동시성을 관리해야 합니다.
|