Impostare Dask con L'implementazione DI RAPIDS su AKS utilizzando Helm
Per configurare la distribuzione di Dask con RAPIDS su AKS utilizzando Helm, attenersi alla seguente procedura:
-
Creare uno spazio dei nomi per l'installazione di Dask con RAPIDS.
kubectl create namespace rapids-dask
-
Creare un PVC per memorizzare il set di dati del tasso di click-through:
-
Salvare il seguente contenuto YAML in un file per creare un PVC.
kind: PersistentVolumeClaim apiVersion: v1 metadata: name: pvc-criteo-data spec: accessModes: - ReadWriteMany resources: requests: storage: 1000Gi storageClassName: azurenetappfiles
-
Applicare il file YAML al cluster Kubernetes.
kubectl -n rapids-dask apply -f <your yaml file>
-
-
Clonare il
rapidsai git
repository ( "https://github.com/rapidsai/helm-chart").git clone https://github.com/rapidsai/helm-chart helm-chart
-
Modificare
values.yaml
E includere il PVC creato in precedenza per i lavoratori e l'area di lavoro Jupyter.-
Accedere alla
rapidsai
directory del repository.cd helm-chart/rapidsai
-
Aggiornare
values.yaml
Archiviare e montare il volume utilizzando PVC.dask: … worker: name: worker … mounts: volumes: - name: data persistentVolumeClaim: claimName: pvc-criteo-data volumeMounts: - name: data mountPath: /data … jupyter: name: jupyter … mounts: volumes: - name: data persistentVolumeClaim: claimName: pvc-criteo-data volumeMounts: - name: data mountPath: /data …
-
-
Accedere alla home directory del repository e implementare Dask con tre nodi di lavoro su AKS utilizzando Helm.
cd .. helm dep update rapidsai helm install rapids-dask --namespace rapids-dask rapidsai