Migrazione a un cluster con switch a due nodi con switch cluster NVIDIA SN2100
Se si dispone di un ambiente cluster senza switch a due nodi, è possibile migrare a un ambiente cluster con switch a due nodi utilizzando gli switch NVIDIA SN2100 per scalare oltre due nodi nel cluster.
La procedura da seguire dipende dalla presenza di due porte cluster-network dedicate su ciascun controller o di una singola porta cluster su ciascun controller. Il processo documentato funziona per tutti i nodi che utilizzano porte ottiche o Twinax, ma non è supportato su questo switch se i nodi utilizzano porte 10GBASE-T RJ45 integrate per le porte di rete del cluster.
Verifica dei requisiti
Per la configurazione senza switch a due nodi, assicurarsi che:
-
La configurazione senza switch a due nodi è configurata e funziona correttamente.
-
I nodi eseguono ONTAP 9.10.1P3 e versioni successive.
-
Tutte le porte del cluster sono in stato attivo.
-
Tutte le interfacce logiche del cluster (LIFF) sono in stato up e sulle porte home.
Per la configurazione dello switch del cluster NVIDIA SN2100, assicurarsi che:
-
Entrambi gli switch dispongono di connettività di rete di gestione.
-
Gli switch del cluster sono accessibili dalla console.
-
Le connessioni switch node-to-node NVIDIA SN2100 e switch-to-switch utilizzano cavi Twinax o in fibra.
Vedere "Considerazioni sul cablaggio e sulla configurazione" per avvertenze e ulteriori dettagli. Il "Hardware Universe - Switch" contiene ulteriori informazioni sul cablaggio.
-
I cavi ISL (Inter-Switch link) sono collegati alle porte swp15 e swp16 su entrambi gli switch NVIDIA SN2100.
-
La personalizzazione iniziale di entrambi gli switch SN2100 è stata completata, in modo che:
-
Gli switch SN2100 utilizzano la versione più recente di Cumulus Linux
-
I file di configurazione di riferimento (RCF) sono stati applicati agli switch
-
Qualsiasi personalizzazione del sito, ad esempio SMTP, SNMP e SSH, viene configurata sui nuovi switch.
-
Migrare gli switch
Gli esempi di questa procedura utilizzano la seguente nomenclatura di nodi e switch del cluster:
-
I nomi degli switch SN2100 sono sw1 e sw2.
-
I nomi delle SVM del cluster sono node1 e node2.
-
I nomi delle LIF sono rispettivamente node1_clus1 e node1_clus2 sul nodo 1 e node2_clus1 e node2_clus2 sul nodo 2.
-
Il
cluster1::*>
prompt indica il nome del cluster. -
Le porte del cluster utilizzate in questa procedura sono e3a e e3b.
-
Le porte breakout hanno il formato: swp[port]s[breakout port 0-3]. Ad esempio, quattro porte di breakout su swp1 sono swp1s0, swp1s1, swp1s2 e swp1s3.
Il "Hardware Universe" contiene le informazioni più recenti sulle porte cluster effettive per le piattaforme in uso.
Fase 1: Preparazione per la migrazione
-
Se AutoSupport è attivato su questo cluster, eliminare la creazione automatica del caso richiamando un messaggio AutoSupport:
system node autosupport invoke -node * -type all -message MAINT=xh
dove x è la durata della finestra di manutenzione in ore.
-
Impostare il livello di privilegio su Advanced (avanzato), immettendo
y
quando viene richiesto di continuare:set -privilege advanced
Il prompt avanzato (
*>
).
Fase 2: Configurazione di cavi e porte
-
Disattivare tutte le porte rivolte ai nodi (non le porte ISL) su entrambi i nuovi switch del cluster sw1 e sw2.
Non è necessario disattivare le porte ISL.
Mostra esempio
I seguenti comandi disattivano le porte rivolte al nodo sugli switch sw1 e sw2:
cumulus@sw1:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit cumulus@sw2:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
Verificare che le porte ISL e fisiche dell'ISL tra i due switch SN2100 sw1 e sw2 siano installate sulle porte swp15 e swp16:
net show interface
Mostra esempio
L'esempio seguente mostra che le porte ISL sono installate sullo switch sw1:
cumulus@sw1:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw2 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw2 (swp16) Master: cluster_isl(UP)
L'esempio seguente mostra che le porte ISL sono installate sullo switch sw2:
+
cumulus@sw2:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw1 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw1 (swp16) Master: cluster_isl(UP)
-
Verificare che tutte le porte del cluster siano installate:
network port show
Ogni porta deve essere visualizzata per
Link
e sano perHealth Status
.Mostra esempio
cluster1::*> network port show Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false
-
Verificare che tutte le LIF del cluster siano operative:
network interface show
Ogni LIF del cluster dovrebbe visualizzare true per
Is Home
e hanno unStatus Admin/Oper
di up/upMostra esempio
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ----- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true
-
Disattivare il ripristino automatico sulle LIF del cluster:
network interface modify -vserver Cluster -lif * -auto-revert false
Mostra esempio
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 false node1_clus2 false node2_clus1 false node2_clus2 false
-
Scollegare il cavo dalla porta del cluster e3a sul nodo 1, quindi collegare e3a alla porta 3 sullo switch del cluster sw1, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
Il "Hardware Universe - Switch" contiene ulteriori informazioni sul cablaggio.
-
Scollegare il cavo dalla porta del cluster e3a sul nodo 2, quindi collegare e3a alla porta 4 sullo switch del cluster sw1, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
Sullo switch sw1, abilitare tutte le porte rivolte al nodo.
Mostra esempio
Il seguente comando abilita tutte le porte rivolte ai nodi sullo switch sw1:
cumulus@sw1:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit
-
Sullo switch sw1, verificare che tutte le porte siano in funzione:
net show interface all
Mostra esempio
cumulus@sw1:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3a) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3a) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
Verificare che tutte le porte del cluster siano installate:
network port show -ipspace Cluster
Mostra esempio
L'esempio seguente mostra che tutte le porte del cluster sono su node1 e node2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false
-
Visualizza informazioni sullo stato dei nodi nel cluster:
cluster show
Mostra esempio
Nell'esempio seguente vengono visualizzate informazioni sullo stato e sull'idoneità dei nodi nel cluster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------------ node1 true true false node2 true true false
-
Scollegare il cavo dalla porta del cluster e3b sul nodo 1, quindi collegare e3b alla porta 3 sullo switch del cluster sw2, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
Scollegare il cavo dalla porta del cluster e3b sul nodo 2, quindi collegare e3b alla porta 4 sullo switch del cluster sw2, utilizzando il cablaggio appropriato supportato dagli switch SN2100.
-
Sullo switch sw2, abilitare tutte le porte rivolte al nodo.
Mostra esempio
I seguenti comandi abilitano le porte rivolte al nodo dello switch sw2:
cumulus@sw2:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
Sullo switch sw2, verificare che tutte le porte siano in funzione:
net show interface all
Mostra esempio
cumulus@sw2:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3b) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3b) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
Su entrambi gli switch sw1 e sw2, verificare che entrambi i nodi dispongano di una connessione a ciascuno switch:
net show lldp
Mostra esempio
L'esempio seguente mostra i risultati appropriati per entrambi gli switch sw1 e sw2:
cumulus@sw1:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3a swp4 100G Trunk/L2 node2 e3a swp15 100G BondMember sw2 swp15 swp16 100G BondMember sw2 swp16 cumulus@sw2:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3b swp4 100G Trunk/L2 node2 e3b swp15 100G BondMember sw1 swp15 swp16 100G BondMember sw1 swp16
Fase 3: Completare la procedura
-
Visualizzare le informazioni relative ai dispositivi di rete rilevati nel cluster:
net device-discovery show -protocol lldp
Mostra esempio
cluster1::*> network device-discovery show -protocol lldp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ------------ ---------------- node1 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp3 - e3b sw2 (b8:ce:f6:19:1b:96) swp3 - node2 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp4 - e3b sw2 (b8:ce:f6:19:1b:96) swp4 -
-
Verificare che tutte le porte del cluster siano installate:
network port show -ipspace Cluster
Mostra esempio
L'esempio seguente mostra che tutte le porte del cluster sono su node1 e node2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false
-
Abilitare il ripristino automatico su tutte le LIF del cluster:
net interface modify -vserver Cluster -lif * -auto-revert true
Mostra esempio
cluster1::*> net interface modify -vserver Cluster -lif * -auto-revert true Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 true node1_clus2 true node2_clus1 true node2_clus2 true
-
Verificare che tutte le interfacce visualizzino true per
Is Home
:net interface show -vserver Cluster
Il completamento dell'operazione potrebbe richiedere alcuni minuti. Mostra esempio
L'esempio seguente mostra che tutte le LIF sono in su su node1 e node2 e questo
Is Home
i risultati sono veri:cluster1::*> net interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ---------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true
-
Verificare che le impostazioni siano disattivate:
network options switchless-cluster show
Mostra esempio
L'output falso nell'esempio seguente mostra che le impostazioni di configurazione sono disattivate:
cluster1::*> network options switchless-cluster show Enable Switchless Cluster: false
-
Verificare lo stato dei membri del nodo nel cluster:
cluster show
Mostra esempio
L'esempio seguente mostra informazioni sullo stato e sull'idoneità dei nodi nel cluster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ -------- node1 true true false node2 true true false
-
Assicurarsi che la rete del cluster disponga di connettività completa:
cluster ping-cluster -node node-name
Mostra esempio
cluster1::*> cluster ping-cluster -node node1 Host is node1 Getting addresses from network interface table... Cluster node1_clus1 169.254.209.69 node1 e3a Cluster node1_clus2 169.254.49.125 node1 e3b Cluster node2_clus1 169.254.47.194 node2 e3a Cluster node2_clus2 169.254.19.183 node2 e3b Local = 169.254.47.194 169.254.19.183 Remote = 169.254.209.69 169.254.49.125 Cluster Vserver Id = 4294967293 Ping status: Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) Detected 9000 byte MTU on 4 path(s): Local 169.254.47.194 to Remote 169.254.209.69 Local 169.254.47.194 to Remote 169.254.49.125 Local 169.254.19.183 to Remote 169.254.209.69 Local 169.254.19.183 to Remote 169.254.49.125 Larger than PMTU communication succeeds on 4 path(s) RPC status: 2 paths up, 0 paths down (tcp check) 2 paths up, 0 paths down (udp check)
-
Attivare la funzione di raccolta dei log dello switch Ethernet per la raccolta dei file di log relativi allo switch, utilizzando i comandi seguenti:
system switch ethernet log setup-password
e.system switch ethernet log enable-collection
Inserire:
system switch ethernet log setup-password
Mostra esempio
cluster1::*> system switch ethernet log setup-password Enter the switch name: <return> The switch name entered is not recognized. Choose from the following list: sw1 sw2 cluster1::*> system switch ethernet log setup-password Enter the switch name: sw1 RSA key fingerprint is e5:8b:c6:dc:e2:18:18:09:36:63:d9:63:dd:03:d9:cc Do you want to continue? {y|n}::[n] y Enter the password: <enter switch password> Enter the password again: <enter switch password> cluster1::*> system switch ethernet log setup-password Enter the switch name: sw2 RSA key fingerprint is 57:49:86:a1:b9:80:6a:61:9a:86:8e:3c:e3:b7:1f:b1 Do you want to continue? {y|n}:: [n] y Enter the password: <enter switch password> Enter the password again: <enter switch password>
Seguito da:
system switch ethernet log enable-collection
Mostra esempio
cluster1::*> system switch ethernet log enable-collection Do you want to enable cluster log collection for all nodes in the cluster? {y|n}: [n] y Enabling cluster switch log collection. cluster1::*>
Se uno di questi comandi restituisce un errore, contattare il supporto NetApp. -
Avviare la funzione di raccolta dei log dello switch:
system switch ethernet log collect -device *
Attendere 10 minuti, quindi verificare che la raccolta dei log sia stata eseguita correttamente utilizzando il comando:
system switch ethernet log show
Mostra esempio
cluster1::*> system switch ethernet log show Log Collection Enabled: true Index Switch Log Timestamp Status ------ ---------------------------- ------------------- --------- 1 sw1 (b8:ce:f6:19:1b:42) 4/29/2022 03:05:25 complete 2 sw2 (b8:ce:f6:19:1b:96) 4/29/2022 03:07:42 complete
-
Modificare nuovamente il livello di privilegio in admin:
set -privilege admin
-
Se è stata eliminata la creazione automatica del caso, riattivarla richiamando un messaggio AutoSupport:
system node autosupport invoke -node * -type all -message MAINT=END