遷移到採用NVIDIA SN2100 叢集交換器的雙節點交換集群
如果您已經擁有一個雙節點無交換器叢集環境,則可以使用NVIDIA SN2100 交換器遷移到雙節點有交換器叢集環境,從而使叢集能夠擴展到兩個以上的節點。
具體操作步驟取決於每個控制器上是有兩個專用叢集網路連接埠還是只有一個叢集連接埠。記錄的過程適用於所有使用光纖或 Twinax 連接埠的節點,但如果節點使用板載 10GBASE-T RJ45 連接埠作為叢集網路端口,則此交換器不支援此過程。
審查要求
確保:
-
雙節點無交換器配置已正確設定並正常運作。
-
這些節點運行的是ONTAP 9.10.1P3 及更高版本。
-
叢集所有連接埠均處於*開啟*狀態。
-
所有群集邏輯介面(LIF)均處於 up 狀態,並位於其主連接埠上。
確保:
-
兩台交換器都具備管理網路連線功能。
-
可以透過控制台存取叢集交換器。
-
NVIDIA SN2100 節點到節點交換器和交換器到交換器的連接使用 Twinax 或光纖電纜。
看"審查佈線和配置注意事項"有關注意事項和更多詳情,請參閱相關說明。這 "Hardware Universe- 交換機"也包含更多關於佈線的資訊。 -
交換器間連結 (ISL) 電纜連接到兩台NVIDIA SN2100 交換器的 swp15 和 swp16 連接埠。
-
兩台 SN2100 交換器的初始自訂已完成,因此:
-
SN2100交換器運行的是最新版本的Cumulus Linux作業系統。
-
參考設定檔(RCF)應用於交換機
-
任何站點定制,如 SMTP、SNMP 和 SSH,都在新交換器上進行設定。
這 "Hardware Universe"包含您平台實際集群連接埠的最新資訊。
-
遷移交換機
本流程中的範例使用下列叢集交換器和節點命名規則:
-
SN2100 交換器的名稱為 sw1 和 sw2。
-
聚類SVM的名稱為_node1_和_node2_。
-
節點 1 上的 LIF 名稱分別為 node1_clus1 和 node1_clus2,節點 2 上的 LIF 名稱分別為 node2_clus1 和 node2_clus2。
-
這 `cluster1::*>`prompt 指示叢集名稱。
-
此過程中使用的叢集連接埠為 e3a 和 e3b。
-
分支端口採用以下格式:swp[端口]s[分支端口 0-3]。例如,swp1 上的四個分支連接埠分別是 swp1s0、swp1s1、swp1s2 和 swp1s3。
步驟 1:準備遷移
-
如果此叢集上啟用了AutoSupport ,則透過呼叫AutoSupport訊息來抑制自動建立案例:
system node autosupport invoke -node * -type all -message MAINT=xh其中 x 為維護視窗的持續時間(小時)。
-
將權限級別變更為高級,輸入
y`當系統提示繼續: `set -privilege advanced進階提示(`*>`出現。
步驟二:設定埠和線纜
-
停用新叢集交換器 sw1 和 sw2 上所有面向節點的連接埠(非 ISL 連接埠)。
您不得禁用 ISL 連接埠。
下列命令可停用交換器 sw1 和 sw2 上面向節點的連接埠:
cumulus@sw1:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit cumulus@sw2:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
確認兩台 SN2100 交換器 sw1 和 sw2 之間的 ISL 以及 ISL 上的實體連接埠 swp15 和 swp16 是否已啟動:
net show interface以下命令顯示交換器 sw1 和 sw2 上的 ISL 連接埠已啟動:
cumulus@sw1:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw2 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw2 (swp16) Master: cluster_isl(UP) cumulus@sw2:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw1 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw1 (swp16) Master: cluster_isl(UP)
-
停用兩個新叢集交換器 sw1 和 sw2 上所有面向節點的連接埠(非 ISL 連接埠)。
您不得禁用 ISL 連接埠。
下列命令可停用交換器 sw1 和 sw2 上面向節點的連接埠:
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv config save cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv config save
-
確認兩台 SN2100 交換器 sw1 和 sw2 之間的 ISL 以及 ISL 上的實體連接埠 swp15 和 swp16 是否已啟動:
nv show interface以下範例表示交換器 sw1 和 sw2 上的 ISL 連接埠已啟動:
cumulus@sw1:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp cumulus@sw2:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp
-
步驟3:驗證叢集所有連接埠是否都已啟動:
network port show每個連接埠應顯示
up`為了 `Link`而且對身體有益 `Health Status。顯示範例
cluster1::*> network port show Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false -
確認所有叢集 LIF 都已啟動並正常運作:
network interface show每個聚類 LIF 都應該顯示為 true
Is Home`並且擁有 `Status Admin/Oper`的 `up/up。顯示範例
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ----- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true -
停用叢集 LIF 的自動回滾功能:
network interface modify -vserver Cluster -lif * -auto-revert false顯示範例
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 false node1_clus2 false node2_clus1 false node2_clus2 false -
斷開節點 3 上的叢集連接埠 e3a 的電纜,然後使用 SN2100 交換器支援的適當電纜將 e3a 連接到叢集交換器 sw1 上的連接埠 1。
這 "Hardware Universe- 交換機"包含更多關於佈線的資訊。
-
斷開節點 4 上的叢集連接埠 e3a 的電纜,然後使用 SN2100 交換器支援的適當電纜將 e3a 連接到叢集交換器 sw1 上的連接埠 2。
-
以下命令啟用交換器 sw1 上所有面向節點的連接埠。
cumulus@sw1:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit
-
net show interface allcumulus@sw1:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3a) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3a) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
以下命令啟用交換器 sw1 上所有面向節點的連接埠。
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv config save
-
nv show interfacecumulus@sw1:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
步驟10:驗證叢集所有連接埠是否都已啟動。
network port show -ipspace Cluster顯示範例
以下範例顯示節點 1 和節點 2 上的所有叢集連接埠均已啟動:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false -
顯示叢集中節點的狀態資訊:
cluster show顯示範例
以下範例顯示了叢集中節點的健康狀況和資格資訊:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------------ node1 true true false node2 true true false
-
斷開節點 3 上的叢集連接埠 e3b 的電纜,然後使用 SN2100 交換器支援的適當電纜將 e3b 連接到叢集交換器 sw2 上的連接埠 1。
-
斷開節點 4 上的叢集連接埠 e3b 的電纜,然後使用 SN2100 交換器支援的適當電纜將 e3b 連接到叢集交換器 sw2 上的連接埠 2。
-
下列指令啟用交換器 sw2 上面向節點的連接埠:
cumulus@sw2:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
net show interface allcumulus@sw2:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3b) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3b) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
在交換器 sw1 和 sw2 上,驗證兩個節點是否都與每個交換器建立了一個連線:
net show lldp以下範例顯示了交換器 sw1 和 sw2 的正確結果:
cumulus@sw1:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3a swp4 100G Trunk/L2 node2 e3a swp15 100G BondMember sw2 swp15 swp16 100G BondMember sw2 swp16 cumulus@sw2:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3b swp4 100G Trunk/L2 node2 e3b swp15 100G BondMember sw1 swp15 swp16 100G BondMember sw1 swp16
-
下列指令啟用交換器 sw2 上面向節點的連接埠:
cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv config save
-
nv show interfacecumulus@sw2:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
在交換器 sw1 和 sw2 上,驗證兩個節點是否都與每個交換器建立了一個連線:
nv show interface --view=lldp以下範例顯示了交換器 sw1 和 sw2 的對應結果:
cumulus@sw1:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16 cumulus@sw2:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16
-
network device-discovery show -protocol lldp顯示範例
cluster1::*> network device-discovery show -protocol lldp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ------------ ---------------- node1 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp3 - e3b sw2 (b8:ce:f6:19:1b:96) swp3 - node2 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp4 - e3b sw2 (b8:ce:f6:19:1b:96) swp4 - -
請確認叢集所有連接埠均已啟動:
network port show -ipspace Cluster顯示範例
以下範例顯示節點 1 和節點 2 上的所有叢集連接埠均已啟動:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false
步驟 3:驗證配置
-
啟用所有叢集 LIF 的自動回滾功能:
net interface modify -vserver Cluster -lif * -auto-revert true顯示範例
cluster1::*> net interface modify -vserver Cluster -lif * -auto-revert true Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 true node1_clus2 true node2_clus1 true node2_clus2 true -
確認所有介面均顯示
true`為了 `Is Home:net interface show -vserver Cluster這可能需要一分鐘才能完成。 顯示範例
以下範例顯示節點 1 和節點 2 上的所有 LIF 都已啟動,並且 `Is Home`結果屬實:
cluster1::*> net interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ---------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true -
請確認這些設定已停用:
network options switchless-cluster show顯示範例
以下範例中的錯誤輸出表示組態設定已停用:
cluster1::*> network options switchless-cluster show Enable Switchless Cluster: false
-
驗證叢集中節點成員的狀態:
cluster show顯示範例
以下範例顯示了叢集中節點的健康狀況和資格資訊:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ -------- node1 true true false node2 true true false
-
驗證遠端集群介面的連接性:
你可以使用 `network interface check cluster-connectivity`執行命令以啟動叢集連接性檢查,然後顯示詳細資訊:
network interface check cluster-connectivity start`和 `network interface check cluster-connectivity show
cluster1::*> network interface check cluster-connectivity start
*注意:*運行程式前請等待幾秒鐘 `show`顯示詳細資訊的命令。
cluster1::*> network interface check cluster-connectivity show
Source Destination Packet
Node Date LIF LIF Loss
------ -------------------------- ---------------- ---------------- -----------
node1
3/5/2022 19:21:18 -06:00 node1_clus2 node2-clus1 none
3/5/2022 19:21:20 -06:00 node1_clus2 node2_clus2 none
node2
3/5/2022 19:21:18 -06:00 node2_clus2 node1_clus1 none
3/5/2022 19:21:20 -06:00 node2_clus2 node1_clus2 none
對於所有ONTAP版本,您也可以使用 `cluster ping-cluster -node <name>`檢查連接性的命令:
cluster ping-cluster -node <name>
cluster1::*> cluster ping-cluster -node local Host is node1 Getting addresses from network interface table... Cluster node1_clus1 169.254.209.69 node1 e3a Cluster node1_clus2 169.254.49.125 node1 e3b Cluster node2_clus1 169.254.47.194 node2 e3a Cluster node2_clus2 169.254.19.183 node2 e3b Local = 169.254.47.194 169.254.19.183 Remote = 169.254.209.69 169.254.49.125 Cluster Vserver Id = 4294967293 Ping status: Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) Detected 9000 byte MTU on 4 path(s): Local 169.254.47.194 to Remote 169.254.209.69 Local 169.254.47.194 to Remote 169.254.49.125 Local 169.254.19.183 to Remote 169.254.209.69 Local 169.254.19.183 to Remote 169.254.49.125 Larger than PMTU communication succeeds on 4 path(s) RPC status: 2 paths up, 0 paths down (tcp check) 2 paths up, 0 paths down (udp check)
-
步驟6:將權限等級改回管理員:
set -privilege admin -
如果您已停用自動建立案例功能,請透過呼叫AutoSupport訊息重新啟用該功能:
system node autosupport invoke -node * -type all -message MAINT=END
交換器遷移完成後,您可以… "配置交換器健康監控"。