Migrazione a un cluster con switch a due nodi con switch cluster NVIDIA SN2100
Se si dispone di un ambiente cluster senza switch a due nodi, è possibile migrare a un ambiente cluster con switch a due nodi utilizzando gli switch NVIDIA SN2100 per scalare oltre due nodi nel cluster.
La procedura da seguire dipende dalla presenza di due porte cluster-network dedicate su ciascun controller o di una singola porta cluster su ciascun controller. Il processo documentato funziona per tutti i nodi che utilizzano porte ottiche o Twinax, ma non è supportato su questo switch se i nodi utilizzano porte 10GBASE-T RJ45 integrate per le porte di rete del cluster.
Verifica dei requisiti
Assicurarsi che:
-
La configurazione senza switch a due nodi è configurata e funziona correttamente.
-
I nodi eseguono ONTAP 9.10.1P3 e versioni successive.
-
Tutte le porte del cluster si trovano nello stato up.
-
Tutte le interfacce logiche del cluster (LIFF) si trovano nello stato up e nelle porte home.
Assicurarsi che:
-
Entrambi gli switch dispongono di connettività di rete di gestione.
-
Gli switch del cluster sono accessibili dalla console.
-
Le connessioni switch node-to-node NVIDIA SN2100 e switch-to-switch utilizzano cavi Twinax o in fibra.
Vedere "Esaminare le considerazioni relative al cablaggio e alla configurazione" per avvertenze e ulteriori dettagli. Il "Hardware Universe - Switch" contiene inoltre ulteriori informazioni sul cablaggio. -
I cavi ISL (Inter-Switch link) sono collegati alle porte swp15 e swp16 su entrambi gli switch NVIDIA SN2100.
-
La personalizzazione iniziale di entrambi gli switch SN2100 è stata completata, in modo che:
-
Gli switch SN2100 utilizzano la versione più recente di Cumulus Linux
-
I file di configurazione di riferimento (RCF) vengono applicati agli switch
-
Qualsiasi personalizzazione del sito, ad esempio SMTP, SNMP e SSH, viene configurata sui nuovi switch.
Il "Hardware Universe" contiene le informazioni più recenti sulle porte cluster effettive per le piattaforme in uso.
-
Migrare gli switch
Gli esempi di questa procedura utilizzano la seguente nomenclatura di nodi e switch del cluster:
-
I nomi degli switch SN2100 sono sw1 e sw2.
-
I nomi delle SVM del cluster sono node1 e node2.
-
I nomi delle LIF sono rispettivamente node1_clus1 e node1_clus2 sul nodo 1 e node2_clus1 e node2_clus2 sul nodo 2.
-
Il
cluster1::*>
prompt indica il nome del cluster. -
Le porte del cluster utilizzate in questa procedura sono e3a e e3b.
-
Le porte breakout hanno il formato: swp[port]s[breakout port 0-3]. Ad esempio, quattro porte di breakout su swp1 sono swp1s0, swp1s1, swp1s2 e swp1s3.
Fase 1: Preparazione per la migrazione
-
Se AutoSupport è attivato su questo cluster, eliminare la creazione automatica del caso richiamando un messaggio AutoSupport:
system node autosupport invoke -node * -type all -message MAINT=xh
dove x è la durata della finestra di manutenzione in ore.
-
Impostare il livello di privilegio su Advanced (avanzato), immettendo
y
quando viene richiesto di continuare:set -privilege advanced
Il prompt avanzato (
*>
).
Fase 2: Configurare le porte e il cablaggio
-
Disattivare tutte le porte rivolte ai nodi (non le porte ISL) su entrambi i nuovi switch del cluster sw1 e sw2.
Non è necessario disattivare le porte ISL.
I seguenti comandi disattivano le porte rivolte al nodo sugli switch sw1 e sw2:
cumulus@sw1:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit cumulus@sw2:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
Verificare che le porte ISL e fisiche dell'ISL tra i due switch SN2100 sw1 e sw2 siano installate sulle porte swp15 e swp16:
net show interface
I seguenti comandi mostrano che le porte ISL sono attive sugli switch SW1 e SW2:
cumulus@sw1:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw2 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw2 (swp16) Master: cluster_isl(UP) cumulus@sw2:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw1 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw1 (swp16) Master: cluster_isl(UP)
-
Disattiva tutte le porte rivolte ai nodi (non porte ISL) su entrambi i nuovi switch cluster SW1 e SW2.
Non è necessario disattivare le porte ISL.
I seguenti comandi disattivano le porte rivolte al nodo sugli switch sw1 e sw2:
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv save cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv save
-
Verificare che le porte ISL e fisiche dell'ISL tra i due switch SN2100 sw1 e sw2 siano installate sulle porte swp15 e swp16:
nv show interface
I seguenti esempi mostrano che le porte ISL sono attive sugli switch SW1 e SW2:
cumulus@sw1:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp cumulus@sw2:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp
-
verificare che tutte le porte del cluster siano attive:
network port show
Ogni porta dovrebbe essere visualizzata
up
perLink
e sano perHealth Status
.Mostra esempio
cluster1::*> network port show Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false
-
Verificare che tutte le LIF del cluster siano operative:
network interface show
Ogni LIF del cluster dovrebbe visualizzare true per
Is Home
e hanno unStatus Admin/Oper
diup/up
.Mostra esempio
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ----- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true
-
Disattivare il ripristino automatico sulle LIF del cluster:
network interface modify -vserver Cluster -lif * -auto-revert false
Mostra esempio
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 false node1_clus2 false node2_clus1 false node2_clus2 false
-
Scollegare il cavo dalla porta del cluster e3a sul nodo 1, quindi collegare e3a alla porta 3 sullo switch del cluster sw1, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
Il "Hardware Universe - Switch" contiene ulteriori informazioni sul cablaggio.
-
Scollegare il cavo dalla porta del cluster e3a sul nodo 2, quindi collegare e3a alla porta 4 sullo switch del cluster sw1, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
sullo switch SW1, abilitare tutte le porte rivolte ai nodi.
I seguenti comandi abilitano tutte le porte rivolte ai nodi sullo switch SW1.
cumulus@sw1:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit
-
sullo switch SW1, verificare che tutte le porte siano attive:
net show interface all
cumulus@sw1:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3a) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3a) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
sullo switch SW1, abilitare tutte le porte rivolte ai nodi.
I seguenti comandi abilitano tutte le porte rivolte ai nodi sullo switch SW1.
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv config save
-
sullo switch SW1, verificare che tutte le porte siano attive:
nv show interface
cumulus@sw1:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
verificare che tutte le porte del cluster siano attive:
network port show -ipspace Cluster
Mostra esempio
L'esempio seguente mostra che tutte le porte del cluster sono su node1 e node2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false
-
Visualizza informazioni sullo stato dei nodi nel cluster:
cluster show
Mostra esempio
Nell'esempio seguente vengono visualizzate informazioni sullo stato e sull'idoneità dei nodi nel cluster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------------ node1 true true false node2 true true false
-
Scollegare il cavo dalla porta del cluster e3b sul nodo 1, quindi collegare e3b alla porta 3 sullo switch del cluster sw2, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
Scollegare il cavo dalla porta del cluster e3b sul nodo 2, quindi collegare e3b alla porta 4 sullo switch del cluster sw2, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
sullo switch SW2, abilitare tutte le porte rivolte ai nodi.
I seguenti comandi abilitano le porte rivolte al nodo dello switch sw2:
cumulus@sw2:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
sullo switch SW2, verificare che tutte le porte siano attive:
net show interface all
cumulus@sw2:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3b) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3b) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
su entrambi gli switch SW1 e SW2, verificare che entrambi i nodi abbiano ciascuno una connessione a ciascuno switch:
net show lldp
L'esempio seguente mostra i risultati appropriati per entrambi gli switch sw1 e sw2:
cumulus@sw1:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3a swp4 100G Trunk/L2 node2 e3a swp15 100G BondMember sw2 swp15 swp16 100G BondMember sw2 swp16 cumulus@sw2:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3b swp4 100G Trunk/L2 node2 e3b swp15 100G BondMember sw1 swp15 swp16 100G BondMember sw1 swp16
-
sullo switch SW2, abilitare tutte le porte rivolte ai nodi.
I seguenti comandi abilitano le porte rivolte al nodo dello switch sw2:
cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv config save
-
sullo switch SW2, verificare che tutte le porte siano attive:
nv show interface
cumulus@sw2:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
su entrambi gli switch SW1 e SW2, verificare che entrambi i nodi abbiano ciascuno una connessione a ciascuno switch:
nv show interface --view=lldp
I seguenti esempi mostrano i risultati appropriati per entrambi gli interruttori SW1 e SW2:
cumulus@sw1:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16 cumulus@sw2:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16
-
Visualizza informazioni sui dispositivi di rete rilevati nel cluster:
network device-discovery show -protocol lldp
Mostra esempio
cluster1::*> network device-discovery show -protocol lldp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ------------ ---------------- node1 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp3 - e3b sw2 (b8:ce:f6:19:1b:96) swp3 - node2 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp4 - e3b sw2 (b8:ce:f6:19:1b:96) swp4 -
-
Verificare che tutte le porte del cluster siano installate:
network port show -ipspace Cluster
Mostra esempio
L'esempio seguente mostra che tutte le porte del cluster sono su node1 e node2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false
Fase 3: Verificare la configurazione
-
Abilitare il ripristino automatico su tutte le LIF del cluster:
net interface modify -vserver Cluster -lif * -auto-revert true
Mostra esempio
cluster1::*> net interface modify -vserver Cluster -lif * -auto-revert true Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 true node1_clus2 true node2_clus1 true node2_clus2 true
-
Verificare che tutte le interfacce siano visualizzate
true
perIs Home
:net interface show -vserver Cluster
Il completamento dell'operazione potrebbe richiedere alcuni minuti. Mostra esempio
L'esempio seguente mostra che tutte le LIF sono in su su node1 e node2 e questo
Is Home
i risultati sono veri:cluster1::*> net interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ---------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true
-
Verificare che le impostazioni siano disattivate:
network options switchless-cluster show
Mostra esempio
L'output falso nell'esempio seguente mostra che le impostazioni di configurazione sono disattivate:
cluster1::*> network options switchless-cluster show Enable Switchless Cluster: false
-
Verificare lo stato dei membri del nodo nel cluster:
cluster show
Mostra esempio
L'esempio seguente mostra informazioni sullo stato e sull'idoneità dei nodi nel cluster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ -------- node1 true true false node2 true true false
-
Verificare la connettività delle interfacce del cluster remoto:
È possibile utilizzare network interface check cluster-connectivity
per avviare un controllo di accessibilità per la connettività del cluster e visualizzare i dettagli:
network interface check cluster-connectivity start
e. network interface check cluster-connectivity show
cluster1::*> network interface check cluster-connectivity start
NOTA: attendere alcuni secondi prima di eseguire il show
comando per visualizzare i dettagli.
cluster1::*> network interface check cluster-connectivity show Source Destination Packet Node Date LIF LIF Loss ------ -------------------------- ---------------- ---------------- ----------- node1 3/5/2022 19:21:18 -06:00 node1_clus2 node2-clus1 none 3/5/2022 19:21:20 -06:00 node1_clus2 node2_clus2 none node2 3/5/2022 19:21:18 -06:00 node2_clus2 node1_clus1 none 3/5/2022 19:21:20 -06:00 node2_clus2 node1_clus2 none
Per tutte le release di ONTAP, è possibile utilizzare anche cluster ping-cluster -node <name>
comando per controllare la connettività:
cluster ping-cluster -node <name>
cluster1::*> cluster ping-cluster -node local Host is node1 Getting addresses from network interface table... Cluster node1_clus1 169.254.209.69 node1 e3a Cluster node1_clus2 169.254.49.125 node1 e3b Cluster node2_clus1 169.254.47.194 node2 e3a Cluster node2_clus2 169.254.19.183 node2 e3b Local = 169.254.47.194 169.254.19.183 Remote = 169.254.209.69 169.254.49.125 Cluster Vserver Id = 4294967293 Ping status: Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) Detected 9000 byte MTU on 4 path(s): Local 169.254.47.194 to Remote 169.254.209.69 Local 169.254.47.194 to Remote 169.254.49.125 Local 169.254.19.183 to Remote 169.254.209.69 Local 169.254.19.183 to Remote 169.254.49.125 Larger than PMTU communication succeeds on 4 path(s) RPC status: 2 paths up, 0 paths down (tcp check) 2 paths up, 0 paths down (udp check)