Skip to main content
AI Data Engine
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Einsatz von AI Data Engine als Multi-Node Deployment mit einem Proxy

Beitragende netapp-dbagwell
Änderungen vorschlagen

Die Bereitstellung von AI Data Engine (AIDE) als Multi-Node Deployment über NetApp Console ist möglich, wenn Ihr Kubernetes-Cluster und der Installationshost nur über einen ausgehenden Proxy auf das Internet zugreifen. Dieses Verfahren umfasst alle Schritte des Multi-Node Deployment sowie die Proxy-Schritte. Wenn Ihr Cluster und der Installationshost über direkten Internetzugang verfügen, wird stattdessen "Bereitstellung von AI Data Engine als Multi-Node Deployment" verwendet.

Informationen zu den unterstützten Proxy-Typen und der vollständigen Parameterreferenz finden Sie unter "Informationen zu Proxys für AI Data Engine". Informationen zu den auf Ihrem Proxy zulässigen Endpunkten finden Sie unter "Ausgehender Internetzugang".

Bevor Sie beginnen

Berechtigungen und Zugriff
  • Sie verfügen in der NetApp Console über mindestens Organization admin-Berechtigungen.

  • Sie verfügen über eine kubeconfig-Datei mit Cluster-Admin-Zugriff auf den Zielcluster. Falls kubectl nicht auf Ihrem PATH vorhanden ist, lädt das Installationsprogramm sie in das Verzeichnis tools herunter.

Kubernetes Cluster
  • Ihr Kubernetes Cluster erfüllt die in "Voraussetzungen für das AIDE Multi-Node Deployment" und "AIDE-Anforderungen" beschriebenen Voraussetzungen für mehrere Knoten.

  • Der aide Namespace ist bereits auf dem Cluster vorhanden, bevor Sie den Installationsbefehl ausführen.

  • Die Knoten, die AI Data Engine Workloads planen, verfügen über die in "Knotenbezeichnungen" beschriebenen Knotenbezeichnungen.

  • Eine konfigurierte StorageClass (Standardname: aide-sc) ist auf dem Cluster verfügbar und wird für die zustandsbehafteten Backing-Services von AIDE verwendet.

Storage und NetApp Console
  • Für das AIDE Konfigurationsvolume ist ein NFS Server mit exportiertem Pfad verfügbar und vom Cluster aus erreichbar.

  • Ein NetApp Console Agent "ist eingesetzt", der von den Clusterknoten aus erreichbar ist. Die IP-Adresse des Console Agent wird benötigt, um den Installationsbefehl auszuführen.

Proxy
  • Sie haben Ihren Proxy so konfiguriert, dass die Endpunkte in "Ausgehender Internetzugang" zugelassen werden.

  • Sie kennen den Proxy-Host, den Port und das Schema (http oder https). Wenn für den Proxy eine Authentifizierung erforderlich ist, kennen Sie auch den Benutzernamen und das Passwort.

  • Wenn Sie einen HTTPS-Proxy mit einem privat signierten Zertifikat verwenden, liegt das CA-Zertifikat als PEM-Datei oder als flaches Verzeichnis mit .crt und `.pem`Dateien auf dem Installationshost vor.

  • Wenn Sie einen Proxy mit TLS-Inspektion verwenden, liegt das CA-Zertifikat für die Inspektion im gleichen Format auf dem Installationshost vor. Das Installationsprogramm benötigt es.

Hinweis Das Installationsprogramm ist nur für die Erstinstallation von AIDE vorgesehen. Es dient nicht zum Upgrade von AIDE. Nach der Installation verwaltet der AIDE Operator die Upgrades. Informationen zu Upgrades sind beim NetApp Support erhältlich.

Wie der Proxy bei einem Multi-Node Deployment verwendet wird

In einem Multi-Node-Deployment besitzen Sie den Kubernetes-Cluster. Das Installationsprogramm konfiguriert die AI Data Engine Workloads für den Proxy und ändert Ihre Knoten nicht. Vor dem Ausführen des Installationsprogramms müssen Sie die Container-Laufzeitumgebung und die Zertifikatsvertrauensstellung auf jedem Knoten konfigurieren.

Das Installationsprogramm prüft den Proxy nur vom Installationshost aus. Ihre Knoten werden nicht geprüft. Wenn die Container-Laufzeitumgebung eines Knotens nicht konfiguriert ist, wird die Installation abgeschlossen, und Pods auf diesem Knoten zeigen später ImagePullBackOff an.

Das Installationsprogramm installiert auch keine Betriebssystempakete auf Ihren Knoten. Es ist zu prüfen, dass die Knoten über die für Ihre Umgebung erforderlichen Pakete verfügen und dass Ihre Paketmanager gegebenenfalls die entsprechende Proxy-Konfiguration für Ihre Umgebung eingerichtet haben.

Konfiguration der Knoten für den Proxy

Vor dem Ausführen des Installationsprogramms muss die Container-Laufzeitumgebung auf jedem Knoten der Steuerungsebene und auf jedem Worker so konfiguriert sein, dass Images über Ihren Proxy abgerufen werden. Dabei sind derselbe Proxy-Host, derselbe Port und dasselbe Schema zu verwenden, die Sie dem Installationsprogramm angeben.

  • Die Knoten müssen über den Proxy den NetApp Container Registry Host und den Image Layer Bucket erreichen, die in "Ausgehender Internetzugang" aufgeführt sind.

  • Clusterinterne Adressen und Knotenadressen dürfen nicht an den Proxyserver weitergeleitet werden.

  • Wenn Sie einen HTTPS-Proxy mit einem privat signierten Zertifikat verwenden, müssen die Knoten auch dem CA-Zertifikat des Proxyservers vertrauen.

  • Wenn Sie einen TLS-Inspektionsproxy verwenden, müssen die vertrauenswürdigen CA-Zertifikate auf jedem Knoten das Inspektions-CA-Zertifikat des Proxys enthalten.

Die Schritte hängen von Ihrer Kubernetes Distribution ab. Weitere Informationen sind in der Dokumentation Ihrer Distribution enthalten.

Kopieren des Installationsbefehls

  1. Navigieren Sie in NetApp Console zu AI data hub > AI Data Engine.

    Die Landingpage von AI Data Engine wird angezeigt.

  2. Wählen Sie Deploy AI Data Engine.

  3. Die Auswahl erfolgt über die Deployment-Option Multi-node und anschließend über Next.

  4. Wählen Sie Ihre Konfigurationsgröße:

    • Klein: empfohlen für Umgebungen mit bis zu ca. 1 Milliarde Dateien.

    • Mittel (Standard): empfohlen für Umgebungen mit bis zu ca. 3 Milliarden Dateien.

    • Groß: empfohlen für Umgebungen mit bis zu ca. 6 Milliarden Dateien.

      Diese Größenangaben sind empfohlene Richtwerte, keine festen Grenzwerte. Ein AIDE Multi-Node Deployment erfordert für Umgebungen mit mehr als 6 Milliarden Dateien eine benutzerdefinierte Dimensionierung mit NetApp; Einzelheiten sind in "Richtlinien für flexible Größenanpassung" beschrieben.

    Der Assistent generiert den Installationsbefehl mit der von Ihnen gewählten Konfigurationsgröße. Sie müssen den Befehl nicht bearbeiten, um die Größe festzulegen.

  5. Kopieren des im Installationsassistenten angezeigten Installationsbefehls in einen Editor.

Der Installationsbefehl lädt das Installationsprogramm von d13jb5dapseb36.cloudfront.net herunter und startet es in einem Schritt. Dieser Download verwendet keinen Proxyserver.

  • Wenn der Installationshost d13jb5dapseb36.cloudfront.net direkt erreichen kann, kann der nächste Abschnitt übersprungen und mit Erstellung einer Proxy-Passwortdatei fortgefahren werden. Der Installationsbefehl ist wie kopiert auszuführen. Das Installationsprogramm fordert zur Eingabe der Proxy-Einstellungen auf. Informationen dazu, wie diese stattdessen in der Befehlszeile angegeben werden, finden sich unter Nicht interaktive Installation mit Befehlszeilen-Flags.

  • Wenn der Installationshost nur über einen Proxy auf das Internet zugreift, wird der Befehl beim Download abgebrochen. Zuerst muss der nächste Abschnitt abgeschlossen werden. Dies ist nur für den Installationshost erforderlich. Ihre Knoten laden das Installationsprogramm nicht herunter.

Herunterladen des Installationsprogramms über den Proxy

Das Installationsprogramm selbst herunterladen und den Installationsbefehl dann ab ./install-enterprise.sh ausführen.

  1. Das Installationsprogramm wird auf den Installationsrechner übertragen. Dafür kann jede in Ihrer Umgebung zulässige Methode verwendet werden; anschließend wird die Datei auf dem Installationsrechner abgelegt.

    Zum Herunterladen des Installationsprogramms vom Installationshost über Ihren Proxy:

    mkdir -p ~/aide && cd ~/aide
    curl -fsSL -x http://PROXY_HOST:PROXY_PORT \
      https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz -o aide-installer.tar.gz

    Wenn der Proxy einen Benutzernamen erfordert, wird --proxy-user USER dem curl Befehl hinzugefügt. Wenn Sie das Passwort weglassen, fordert curl zur Eingabe auf, sodass es nicht in Ihrem Shell-Verlauf gespeichert wird.

    • Wenn Ihr Proxy auf HTTPS lauscht, wird https:// in der -x Adresse verwendet.

    • Wenn Ihr Proxy ein privat signiertes Zertifikat verwendet, sollte --proxy-cacert CA_FILE hinzugefügt oder das CA-Zertifikat zuerst dem Truststore des Installationshosts hinzugefügt werden.

    • Bei Verwendung eines HTTPS-Proxys und einer curl Version vor 8.3 kann der Download etwa eine Minute lang pausieren. Ubuntu 22.04 enthält eine solche Version. Es empfiehlt sich, den Abschluss des Downloads abzuwarten.

      Alternativ können Sie https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz auf einem anderen Computer herunterladen und es dann mit scp oder Ihrer üblichen Dateiübertragungsmethode auf den Installer-Host kopieren.

  2. Nach dem Entpacken des Installationsprogramms erfolgt der Wechsel in den Installationsordner:

    tar -xzf aide-installer.tar.gz
    cd installer

    Alle folgenden Befehle werden innerhalb dieses Installationsordners ausgeführt. Die version.txt Datei im Ordner zeigt die Build-Version des Installationsprogramms an.

  3. Vorzubereiten ist der Installationsbefehl, den Sie aus NetApp Console kopiert haben. Es lädt das Installationsprogramm herunter und führt dann ./install-enterprise.sh mit Ihren Parametern aus. Da Sie das Installationsprogramm bereits heruntergeladen haben:

    • Es sollte alles vor ./install-enterprise.sh gelöscht werden, sodass der Befehl mit ./install-enterprise.sh beginnt.

    • Wenn der Befehl in Anführungszeichen gesetzt war, zum Beispiel bash -c '…​‘, ist das einfache Anführungszeichen(') ganz am Ende zu entfernen.

    • Wenn der Befehl --no-proxy enthält, ist dies zu löschen.

      Der verbleibende Befehl sieht folgendermaßen aus:

    ./install-enterprise.sh --flavor <small|medium|large> --kubeconfig <kubeconfig-path> --nfs-server <nfs-server> --nfs-data-share <export-path> --registry <registry> --account-id <account-id> --organization-id <organization-id> --agent-id <agent-id> --cm-host <console-agent-ip>

    + Wichtig ist, alle nachfolgenden Parameter ./install-enterprise.sh genau so beizubehalten, wie sie im kopierten Befehl erscheinen. Das Installationsprogramm fordert Sie zur Eingabe der Proxy-Einstellungen auf. Weitere Informationen finden Sie in Interaktiv geführte Einrichtung.

Erstellung einer Proxy-Passwortdatei

Wenn Ihr Proxy eine Authentifizierung erfordert und Sie das Passwort ohne entsprechende Aufforderung angeben möchten, beispielsweise in einem automatisierten Deployment, ist vor dem Ausführen des Installationsprogramms eine Passwortdatei zu erstellen. Andernfalls kann dieser Abschnitt übersprungen werden. Das Installationsprogramm fordert das Passwort mit verdeckter Eingabe an.

Die Datei enthält nur das Passwort. Das Passwort muss exakt in der vorliegenden Form eingegeben werden, ohne Prozentkodierung von Sonderzeichen.

Die Datei muss von demselben Benutzer erstellt werden, der ./install-enterprise.sh ausführt, da das Installationsprogramm die Datei als dieser Benutzer liest.

umask 077
read -rs -p 'Proxy password: ' P && printf '%s' "$P" > $HOME/.aide-proxy-password; unset P; echo
chmod 600 $HOME/.aide-proxy-password

Nach Abschluss der Installation kann die Datei gelöscht werden.

Angabe der Proxy-Einstellungen

Das Installationsprogramm fordert Sie zur Eingabe der Proxy-Einstellungen auf. Der Installationsbefehl wird wie aus NetApp Console kopiert ausgeführt, und die Eingabeaufforderungen werden beantwortet. Informationen zu automatisierten Deployments, die ohne Eingabeaufforderungen ausgeführt werden müssen, finden Sie unter Nicht interaktive Installation mit Befehlszeilen-Flags.

Verwendet werden derselbe Proxy-Host, derselbe Port, dasselbe Schema und dasselbe CA-Zertifikat wie auf den Knoten konfiguriert.

Verwendung der interaktiv geführten Einrichtung

Wenn Sie den Installationsbefehl in einem Terminal ohne --proxy-host oder --no-proxy ausführen, stellt das Installationsprogramm die folgenden Fragen. Wenn Sie einen Wert als Parameter übergeben, werden Sie nicht erneut danach gefragt.

Eingabeaufforderung Was einzutragen ist

Configure outbound proxy? (y/N)

Geben Sie y ein.

Proxy-Host oder IP

Einzugeben sind der Proxy-Hostname oder die IPv4-Adresse, optional mit einem Port (host:port).

Proxy-Schema (https oder http)

Hier wird das Protokoll angegeben, auf dem Ihr Proxy lauscht. Der Standardwert ist https.

Proxy-Port

Eingabe des Proxy-Ports. Der Standardwert ist 443 für HTTPS und 80 für HTTP.

Proxy-Typ

Die Eingabe von r ist für einen regulären Forward Proxy vorgesehen oder von t für einen TLS inspizierenden Proxy. Zum Übernehmen der Standardeinstellung, r, dient die Eingabetaste.

CA-Zertifikat für das eigene Zertifikat des Proxys (nur HTTPS, optional)

Der Pfad zur CA-Datei oder zum Verzeichnis ist anzugeben. Wenn das Proxy-Zertifikat von einer öffentlichen CA signiert wurde, genügt das Drücken der Eingabetaste. Bei einem Proxy mit TLS-Inspektion ist der Pfad zum Prüf-CA-Zertifikat anzugeben. Dies ist erforderlich.

Benötigt der Proxy einen Benutzernamen und ein Passwort? (j/N)

Falls ja, folgt die Eingabe des Benutzernamens und anschließend die zweimalige Eingabe des Passworts. Das Installationsprogramm zeigt das Passwort nicht an.

Ohne ein Terminal fordert das Installationsprogramm nie zu einer Eingabe auf. Zum Verwenden eines Proxys ist --proxy-host anzugeben und --proxy-password-file, wenn der Proxy ein Passwort benötigt.

Verwendung von Befehlszeilenparametern für die Einrichtung

Bei automatisierten oder anderen nicht interaktiven Deployments, die ohne Eingabeaufforderungen ausgeführt werden müssen, kommen Befehlszeilenoptionen zum Einsatz. Die Optionen sind optional. Das Installationsprogramm fordert Sie zur Eingabe aller Proxy-Informationen auf, die Sie nicht angeben.

Die Proxy-Parameter werden am Ende des Installationsbefehls nach dem letzten vorhandenen Parameter hinzugefügt.

  • Beim Ausführen des Installationsbefehls in der Form, in der er aus NetApp Console kopiert wurde, müssen die Parameter innerhalb der Anführungszeichen vor dem schließenden Anführungszeichen stehen.

  • Wenn Sie das Installationsprogramm heruntergeladen und den Befehl verkürzt haben, fügen Sie die Parameter am Ende des verkürzten Befehls hinzu.

Wenn der Befehl --no-proxy enthält, ist es zu entfernen. Alle anderen Parameter des Installationsbefehls bleiben erhalten. Die Beschreibung und der Standardwert jedes Parameters sind unter "Proxy-Konfigurationsparameter" aufgeführt. Die folgenden Beispiele zeigen nur die Proxy-Parameter.

HTTP-Proxy mit Benutzername und Passwort
--proxy-host proxy.example.com \
--proxy-port 3128 \
--proxy-scheme http \
--proxy-user svc-aide \
--proxy-password-file $HOME/.aide-proxy-password
HTTPS-Proxy mit einem privat signierten Zertifikat und ohne Authentifizierung
--proxy-host proxy.example.com \
--proxy-port 8443 \
--proxy-scheme https \
--proxy-ca-cert $HOME/proxy-ca.pem
TLS-inspektierender Proxy
--proxy-host proxy.example.com \
--proxy-port 3128 \
--proxy-scheme http \
--proxy-type t \
--proxy-ca-cert $HOME/inspection-ca.pem
  • Wenn Ihr Proxy keine Authentifizierung erfordert, entfallen --proxy-user und --proxy-password-file.

  • Wenn Sie --proxy-user ohne --proxy-password-file angeben, fordert das Installationsprogramm Sie bei der Ausführung in einem Terminal zur Eingabe des Passworts auf.

Achtung Bei einem HTTP-Proxy werden Benutzername und Passwort des Proxys im Klartext übertragen. Ein HTTPS-Proxy ist zu verwenden, wenn der Proxy eine Authentifizierung erfordert.

Installation ausführen

  1. Die Ausführung des Installationsbefehls erfolgt auf einem Host, der Ihren Kubernetes-Cluster erreichen kann. Wenn Sie das Installationsprogramm heruntergeladen haben, erfolgt die Ausführung des Befehls im Installationsordner.

    Bevor das Installationsprogramm etwas herunterlädt, prüft es vom Installationshost aus, ob der Proxy antwortet, Ihre Anmeldeinformationen akzeptiert und das Proxy-Zertifikat für das von Ihnen gewählte Schema gültig ist. Wenn die Prüfung fehlschlägt, wird der Vorgang vom Installationsprogramm abgebrochen und die Ursache angegeben. Die Prüfung testet nicht, ob die Clusterknoten den Proxy erreichen können.

    Hinweis Die Installation dauert etwa 30 Minuten. Es kann zu Zeitüberschreitungen und Wiederholungsversuchen kommen, und das ist normal.
  2. Wenn nicht alle Proxy-Parameter angegeben wurden, ist eine Beantwortung der Proxy-Eingabeaufforderungen erforderlich. Siehe Interaktiv geführte Einrichtung.

  3. Für die Fortsetzung der Installation ist die Beantwortung der Bestätigungsaufforderungen des Installationsprogramms erforderlich.

    • Das Installationsprogramm zeigt den Kubernetes-Cluster an, der durch Ihre kubeconfig ausgewählt wurde, einschließlich Kontext, Clustername und API-Server. „Ja“ sollte nur ausgewählt werden, wenn dies der Cluster ist, den Sie verwenden möchten. Wenn es sich um den falschen Cluster handelt, sollte das Installationsprogramm beendet, der korrekte kubeconfig-Kontext ausgewählt und das Installationsprogramm erneut ausgeführt werden.

    • Das Installationsprogramm fordert Sie auf, zu bestätigen, dass die Voraussetzungen für ein Multi-Node Deployment erfüllt sind. Zum Fortfahren ist „Ja“ auszuwählen.

    • Das Installationsprogramm erkennt die IP-Adresse des Knotens, auf dem der AI Data Engine NGINX-Ingress ausgeführt wird, und fordert Sie zur Bestätigung auf. Mit der Eingabetaste wird die angezeigte Adresse beibehalten, alternativ kann eine andere Adresse eingegeben werden. Es ist eine Adresse zu verwenden, die von außerhalb des Clusters erreichbar ist. Wenn die erkannte Adresse eine interne Clusteradresse ist, ist stattdessen die erreichbare Adresse einzugeben. Die Adresse des Console agent darf nicht eingegeben werden.

  4. Den Fortschrittsbildschirm beobachten, bis die Erfolgsmeldung erscheint und bestätigt, dass die AIDE Installation abgeschlossen ist.

Ergebnis

Ihr AI Data Engine Multi-Node Deployment ist bereitgestellt und mit NetApp Console verbunden. Sie können jetzt "eine Datenquelle verbinden", um das Scannen zu starten.

Überprüfen des Proxys nach der Installation

Der AI Data Engine Operator protokolliert den verwendeten Proxy. Das Protokoll enthält niemals das Passwort. Die Überprüfung des Proxys erfolgt mit dem folgenden Befehl auf einem Host, der Ihren Cluster erreichen kann. Anstelle von <kubeconfig> ist der Pfad zu Ihrer kubeconfig-Datei anzugeben:

kubectl --kubeconfig <kubeconfig> -n aide logs deploy/aide-operator -c chart-fetcher | grep -m1 'proxy enabled'

Falls kubectl sich nicht auf Ihrem PATH befindet, hat das Installationsprogramm es in das Verzeichnis tools heruntergeladen. Stattdessen erfolgt die Ausführung von <tools-dir>/kubectl. Das Standardverzeichnis für tools ist /opt/netapp/aide/.aide-installer-tools.

Die Zeile zeigt den Proxy-Endpunkt an, ob die Authentifizierung aktiviert ist und ob ein CA-Zertifikat eingebunden ist.