將 AI Data Engine 部署為具有 Proxy 的多節點部署
建議變更
PDF
當您的 Kubernetes 叢集和安裝程式主機僅透過傳出 Proxy 存取網際網路時，請從 NetApp Console 將 AI Data Engine （AIDE）部署為多節點部署。此程序包含多節點部署的每個步驟，以及 Proxy 步驟。如果您的叢集和安裝程式主機可以直接存取網際網路，請改用 "將 AI Data Engine 部署為多節點部署"。
如需支援的 Proxy 類型與完整的參數參考，請參閱 "了解 AI Data Engine 的 Proxy"。如需在 Proxy 上允許的端點，請參閱 "傳出網際網路存取"。
開始之前
-
您在 NetApp Console 中擁有 組織管理員 或更高權限。
-
您擁有具備目標叢集 cluster-admin 存取的 kubeconfig。如果 `kubectl`不在您的 `PATH`中，安裝程式會將其下載到 tools 目錄。
-
您的 Kubernetes 叢集符合 "AIDE 多節點部署的先決條件" 和 "AIDE 要求" 中所述的多節點先決條件。
-
在您執行安裝命令之前，
aide命名空間已存在於叢集中。 -
排程 AI Data Engine 工作負載的節點具有 "節點標籤" 中說明的節點標籤。
-
叢集上提供已設定的 StorageClass（預設名稱：
aide-sc），並用於 AIDE 的有狀態後端服務。
-
具有匯出路徑的 NFS 伺服器可供使用，且可從叢集存取，以供 AIDE 組態 Volume 使用。
-
NetApp Console 代理程式 "已部署" 且可從叢集節點存取。執行安裝命令需要 Console 代理程式的 IP 位址。
-
您已設定 Proxy 以允許 "傳出網際網路存取" 中的端點。
-
您知道 Proxy 主機、連接埠和協定 (
http或https）。如果 Proxy 需要驗證，您也知道使用者名稱和密碼。 -
如果您使用具有私下簽署憑證的 HTTPS Proxy，則 CA 憑證將以 PEM 檔案或包含
.crt和.pem檔案的扁平目錄的形式位於安裝程式主機上。
|
安裝程式僅用於首次安裝 AIDE。請勿使用它來升級 AIDE。安裝後，AIDE 營運者會管理升級。如需升級的相關資訊，請聯絡 NetApp 支援部門。 |
Proxy 如何應用於多節點部署
在多節點部署中，您擁有 Kubernetes 叢集。安裝程式會為 Proxy 設定 AI Data Engine 工作負載，且不會變更您的節點。您必須在每個節點上設定 Container 執行階段和憑證信任，然後再執行安裝程式。
安裝程式僅從安裝程式主機檢查 Proxy。它不會檢查您的節點。如果節點的 Container 執行階段未設定，安裝會完成，且該節點上的 Pod 稍後會顯示 ImagePullBackOff。
安裝程式也不會在您的節點上安裝作業系統套件。請確認節點具有您的環境所需的套件，並且如果您的環境需要，您的套件管理員具有適當的 Proxy 組態。
為 Proxy 設定節點
在執行安裝程式之前，請在每個節點（控制平面和工作節點）上設定 Container 執行階段，使其透過 Proxy 拉取映像。請使用與提供給安裝程式相同的 Proxy 主機、連接埠和協定。
-
節點必須透過 Proxy 存取 "傳出網際網路存取" 中列出的 NetApp Container 註冊表主機和映像階層儲存桶。
-
將叢集內部位址和節點位址排除在 Proxy 之外。
-
如果您使用具有私下簽署憑證的 HTTPS Proxy，則節點也必須信任 Proxy CA 憑證。
具體步驟取決於您的 Kubernetes 經銷。請參閱您的經銷文件。
複製安裝命令
-
在 NetApp Console 中，導覽至 AI 資料中心 > AI Data Engine。
AI Data Engine 活動網頁隨即出現。
-
選擇 部署 AI Data Engine。
-
選擇 多節點 部署選項，然後選擇 下一步。
-
選擇您的組態大小：
-
小型：建議用於檔案數量不超過約 10 億的環境。
-
中等（預設）：建議用於檔案數量不超過約 30 億的環境。
-
大型：建議用於最多約 60 億個檔案的環境。
這些規模是建議的基準，並非硬性限制。AIDE 多節點部署需要針對超過 60 億個檔案的環境與 NetApp 進行自訂規模調整；詳情請參閱 "靈活的規模指南"。
精靈會根據您選擇的組態大小產生安裝命令。您無需編輯該命令來設定大小。
-
-
將精靈中顯示的安裝命令複製到編輯器中。
安裝命令會從 `d13jb5dapseb36.cloudfront.net`下載安裝程式，並一步完成啟動。該下載不使用 Proxy。
-
如果安裝程式主機可以直接連線至
d13jb5dapseb36.cloudfront.net，請跳過下一節並繼續執行 建立 Proxy 密碼檔案。執行複製的安裝命令。安裝程式會提示您輸入 Proxy 設定。若要改為在命令列中提供這些設定，請參閱 使用命令列標誌進行非互動式安裝。 -
如果安裝程式主機僅透過 Proxy 連接到網際網路，則命令會在下載時停止。請先完成下一節。只有安裝程式主機需要此項目。您的節點不會下載安裝程式。
透過 Proxy 下載安裝程式
請自行下載安裝程式，然後從 `./install-enterprise.sh`開始執行安裝命令。
-
將安裝程式放到安裝主機上。使用您的環境允許的任何方法，然後將檔案放在安裝主機上。
若要透過 Proxy 從安裝程式主機下載安裝程式：
mkdir -p ~/aide && cd ~/aide curl -fsSL -x http://PROXY_HOST:PROXY_PORT \ https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz -o aide-installer.tar.gz如果 Proxy 需要使用者名稱，請將
--proxy-user USER新增至curl命令。如果您省略密碼，curl會提示您輸入密碼，因此它不會儲存在您的 shell 歷史記錄中。-
如果您的 Proxy 監聽 HTTPS，請在
-x`位址中使用 `https://。 -
如果您的 Proxy 使用私人簽署的憑證，請新增
--proxy-cacert CA_FILE，或先將 CA 憑證新增至安裝程式主機信任儲存區。 -
如果您使用 HTTPS Proxy 且 `curl`版本低於 8.3，下載可能會暫停約一分鐘。Ubuntu 22.04 包含此類版本。請等待其完成。
或者，從另一台電腦下載
https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz，然後使用 `scp`或您常用的檔案傳輸方法將其複本到安裝程式主機。
-
-
解壓縮安裝程式，並切換至安裝程式資料夾：
tar -xzf aide-installer.tar.gz cd installer請在此安裝程式資料夾內執行下列每個命令。資料夾中的
version.txt檔案會顯示安裝程式的建置版本。 -
準備您從 NetApp Console 複製的安裝命令。它會下載安裝程式，然後使用您的參數執行
./install-enterprise.sh。因為您已經下載了安裝程式：-
刪除
./install-enterprise.sh之前的所有內容，使命令以./install-enterprise.sh開頭。 -
如果命令用引號括起來，例如
bash -c '…‘，請刪除最末端的單一引號 (')。 -
如果命令包含
--no-proxy，請將其刪除。剩餘的命令如下：
./install-enterprise.sh --flavor <small|medium|large> --kubeconfig <kubeconfig-path> --nfs-server <nfs-server> --nfs-data-share <export-path> --registry <registry> --account-id <account-id> --organization-id <organization-id> --agent-id <agent-id> --cm-host <console-agent-ip>+ 請保留 `./install-enterprise.sh`之後的每個參數，使其與您複製的命令完全一致。安裝程式會提示您輸入 Proxy 設定。請參閱互動式引導設定。
-
建立 Proxy 密碼檔案
如果您的 Proxy 需要驗證，並且您希望在不提示輸入密碼的情況下提供密碼（例如在自動化部署中），請在執行安裝程式之前建立密碼檔案。否則，請跳過此部分。安裝程式會以隱藏輸入的方式提示輸入密碼。
該檔案僅包含密碼。請完全照原樣輸入密碼，無需對特殊字元進行百分號編碼。
以執行 `./install-enterprise.sh`的相同使用者身分建立檔案，因為安裝程式會以該使用者的身分讀取該檔案。
umask 077
read -rs -p 'Proxy password: ' P && printf '%s' "$P" > $HOME/.aide-proxy-password; unset P; echo
chmod 600 $HOME/.aide-proxy-password安裝完成後刪除該檔案。
提供 Proxy 設定
安裝程式會提示您輸入 Proxy 設定。執行從 NetApp Console 複製的安裝命令，並按照提示操作。對於必須在沒有提示的情況下執行的自動部署，請參閱 使用命令列標誌進行非互動式安裝。
使用與節點上設定相同的 Proxy 主機、連接埠、方案和 CA 憑證。
使用互動式引導設定
當您在終端機中執行安裝命令而沒有 `--proxy-host`或 `--no-proxy`時，安裝程式會詢問下列問題。如果您傳遞值作為參數，安裝程式就不會再詢問。
| 提示 | 要輸入的內容 |
|---|---|
|
輸入 |
Proxy 主機或 IP |
輸入 Proxy 主機名稱或 IPv4 位址，可選擇加上連接埠 ( |
Proxy 方案 ( |
請輸入 Proxy 監聽的通訊協定。預設值為 |
Proxy 連接埠 |
輸入 Proxy 連接埠。HTTPS 的預設值為 |
Proxy 類型 |
按 Enter 鍵接受預設值。 |
Proxy 自身憑證的 CA 憑證（僅限 HTTPS，選用） |
輸入 CA 檔案或目錄的路徑。如果 Proxy 憑證是由公用 CA 簽署的，請按 Enter 鍵。 |
Proxy 是否需要使用者名稱和密碼？（y/N） |
如果是，請輸入使用者名稱，然後輸入兩次密碼。安裝程式不會回顯密碼。 |
如果沒有終端機，安裝程式將不會提示。傳遞 --proxy-host`以使用 Proxy，並在 Proxy 需要密碼時傳遞 `--proxy-password-file。
使用命令列標誌進行設定
對於必須無需提示即可執行的自動化或其他非互動式部署，請使用命令列旗標。這些旗標是選用的。安裝程式會提示您輸入任何您未提供的 Proxy 資訊。
將 Proxy 參數新增到安裝命令的末尾，放在最後一個現有參數之後。
-
如果您執行從 NetApp Console 複製的安裝命令，請將參數新增至引號內，放在結束引號之前。
-
如果您下載了安裝程式並縮短了命令，請將參數新增至縮短命令的末端。
如果命令包含 --no-proxy，請將其移除。保留安裝命令中的所有其他參數。有關每個參數的執行摘要和預設值，請參閱 "Proxy 組態參數"。以下範例僅顯示 Proxy 參數。
--proxy-host proxy.example.com \
--proxy-port 3128 \
--proxy-scheme http \
--proxy-user svc-aide \
--proxy-password-file $HOME/.aide-proxy-password--proxy-host proxy.example.com \
--proxy-port 8443 \
--proxy-scheme https \
--proxy-ca-cert $HOME/proxy-ca.pem-
如果您的 Proxy 不需要驗證，請省略
--proxy-user`和 `--proxy-password-file。 -
如果您指定
--proxy-user`而未指定 `--proxy-password-file，則從終端機執行安裝程式時，安裝程式會提示您輸入密碼。
|
使用 HTTP Proxy 時，Proxy 的使用者名稱和密碼會以清除文字傳送。如果 Proxy 需要驗證，請使用 HTTPS Proxy。 |
執行安裝
-
從可以存取 Kubernetes 叢集的主機執行安裝命令。如果您已下載安裝程式，請從安裝程式資料夾執行命令。
安裝程式在下載任何內容之前，會先從安裝主機檢查 Proxy 是否回應、是否接受您的認證，以及 Proxy 憑證是否對您選擇的協定有效。如果檢查失敗，安裝程式將停止並指出原因。此檢查不會測試叢集節點是否可以存取 Proxy。
安裝大約需要 30 分鐘完成。可能會發生逾時和重試，這是正常現象。 -
如果您沒有傳遞所有 Proxy 參數，請回答 Proxy 提示。請參閱 互動式引導設定。
-
回答安裝程式的確認提示以繼續安裝。
-
安裝程式會顯示由您的 kubeconfig 所選的 Kubernetes 叢集，包括 context、叢集名稱和 API 伺服器。只有當那是您打算使用的叢集時，才回答 yes。如果是錯誤的叢集，請停止安裝程式，選擇正確的 kubeconfig context，然後再次執行安裝程式。
-
安裝程式會要求您確認多節點部署的先決條件已完成。請回答「是」以繼續。
-
安裝程式會偵測執行 AI Data Engine NGINX 入口的節點的 IP 位址，並要求您確認。按 Enter 鍵保留顯示的位址，或輸入其他位址。請使用可從叢集外部存取的位址。如果偵測到的位址是叢集內部位址，請改為輸入可存取的位址。請勿輸入 Console 代理程式位址。
-
-
監控進度畫面，直到出現成功畫面並確認 AIDE 安裝完成。
您的 AI Data Engine 多節點部署已部署並連線至 NetApp Console。您現在可以 "連接資料來源" 開始掃描。
安裝後檢查 Proxy
AI Data Engine 營運者會記錄它使用的 Proxy。日誌中不會包含密碼。若要檢查 Proxy，請從可以存取叢集的主機執行下列命令。將 `<kubeconfig>`替換為您的 kubeconfig 檔案路徑：
kubectl --kubeconfig <kubeconfig> -n aide logs deploy/aide-operator -c chart-fetcher | grep -m1 'proxy enabled'如果 kubectl`不在您的 `PATH`中，安裝程式已將其下載至工具目錄。請改為執行 `<tools-dir>/kubectl。預設的工具目錄為 /opt/netapp/aide/.aide-installer-tools。
該行顯示 Proxy 端點、驗證是否開啟以及是否掛載了 CA 憑證。