Migre a un clúster con switches de dos nodos con switches de clúster NVIDIA SN2100
Sugerir cambios
PDF
Si ya dispone de un entorno de clúster sin switches de dos nodos, puede migrar a un entorno de clústeres con switches de dos nodos mediante switches NVIDIA SN2100 para permitir el escalado más allá de los dos nodos del clúster.
El procedimiento que utilice dependerá de si tiene dos puertos de red de clúster dedicados en cada controladora o un único puerto de clúster de cada controladora. El proceso documentado funciona para todos los nodos utilizando puertos ópticos o Twinax, pero no es compatible con este switch si los nodos utilizan puertos RJ45 10GBASE-T integrados para los puertos de red del clúster.
Revise los requisitos
Asegúrese de que:
-
La configuración sin switch de dos nodos está correctamente configurada y funciona.
-
Los nodos ejecutan ONTAP 9.10.1P3 y una versión posterior.
-
Todos los puertos del clúster están en el estado up.
-
Todas las interfaces lógicas de cluster (LIF) están en el estado up y en sus puertos de inicio.
Asegúrese de que:
-
Ambos switches tienen conectividad de red de gestión.
-
Hay acceso de la consola a los switches de clúster.
-
El switch de nodo a nodo NVIDIA SN2100 y las conexiones de switch a switch utilizan cables Twinax o de fibra.
Consulte "Revise las consideraciones sobre el cableado y la configuración" para obtener advertencias e información adicional. La "Hardware Universe - interruptores" también contiene más información sobre el cableado. -
Los cables de enlace entre switches (ISL) están conectados a los puertos swp15 y swp16 en ambos switches NVIDIA SN2100.
-
Se ha completado la personalización inicial de los dos conmutadores SN2100, de modo que:
-
Los conmutadores SN2100 ejecutan la última versión de Cumulus Linux
-
Los archivos de configuración de referencia (RCF) se aplican a los conmutadores
-
Cualquier personalización de sitio, como SMTP, SNMP y SSH, se configura en los nuevos switches.
La "Hardware Universe" contiene la información más reciente acerca de los puertos del clúster reales para las plataformas.
-
Migrar los switches
Los ejemplos de este procedimiento utilizan la siguiente nomenclatura de nodo y conmutador de cluster:
-
Los nombres de los interruptores SN2100 son sw1 y sw2.
-
Los nombres de las SVM del clúster son 1 y 2.
-
Los nombres de las LIF son 1_clus1 y 1_clus2 en el nodo 1, y 2_clus1 y 2_clus2 en el nodo 2, respectivamente.
-
La
cluster1::*>prompt indica el nombre del clúster. -
Los puertos de clúster utilizados en este procedimiento son e3a y e3b.
-
Los puertos de arranque tienen el formato: swp[Port]s[breakout Port 0-3]. Por ejemplo, cuatro puertos de arranque en swp1 son swp1s0, swp1s1, swp1s2 y swp1s3.
Paso 1: Preparación para la migración
-
Si se habilita AutoSupport en este clúster, elimine la creación automática de casos invocando un mensaje de AutoSupport:
system node autosupport invoke -node * -type all -message MAINT=xhdonde x es la duración de la ventana de mantenimiento en horas.
-
Cambie el nivel de privilegio a Advanced, introduzca
ycuando se le solicite continuar:set -privilege advancedEl aviso avanzado (
*>) aparece.
Paso 2: Configure los puertos y el cableado
-
Deshabilite todos los puertos orientados al nodo (no los puertos ISL) en los nuevos switches del clúster sw1 y sw2.
No debe deshabilitar los puertos ISL.
Los siguientes comandos desactivan los puertos orientados al nodo en los switches sw1 y sw2:
cumulus@sw1:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit cumulus@sw2:~$ net add interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
Compruebe que el ISL y los puertos físicos del ISL entre los dos switches SN2100 sw1 y sw2 están en los puertos swp15 y swp16:
net show interfaceLos siguientes comandos muestran que los puertos ISL están activos en los switches sw1 y SW2:
cumulus@sw1:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw2 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw2 (swp16) Master: cluster_isl(UP) cumulus@sw2:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------- ----------------------- ... ... UP swp15 100G 9216 BondMember sw1 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember sw1 (swp16) Master: cluster_isl(UP)
-
Deshabilite todos los puertos orientados al nodo (no puertos ISL) en los dos switches de clúster nuevos sw1 y SW2.
No debe deshabilitar los puertos ISL.
Los siguientes comandos desactivan los puertos orientados al nodo en los switches sw1 y sw2:
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv save cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state down cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv save
-
Compruebe que el ISL y los puertos físicos del ISL entre los dos switches SN2100 sw1 y sw2 están en los puertos swp15 y swp16:
nv show interfaceLos ejemplos siguientes muestran que los puertos ISL están activos en los switches sw1 y SW2:
cumulus@sw1:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp cumulus@sw2:~$ nv show interface Interface MTU Speed State Remote Host Remote Port Type Summary ------------- ------ ----- ------ ------------ ------------------------------------ ------- ------- ... ... + swp14 9216 down swp + swp15 9216 100G up ossg-rcf1 Intra-Cluster Switch ISL Port swp15 swp + swp16 9216 100G up ossg-rcf2 Intra-Cluster Switch ISL Port swp16 swp
-
Verifique que todos los puertos del clúster estén activos:
network port showCada puerto debe aparecer
upparaLinky saludable paraHealth Status.Muestra el ejemplo
cluster1::*> network port show Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false -
Compruebe que todas las LIF del clúster estén en funcionamiento:
network interface showCada LIF de clúster debería mostrar el valor true para
Is Homey que tengan unStatus Admin/Operdeup/up.Muestra el ejemplo
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ----- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true -
Deshabilite la reversión automática en las LIF del clúster:
network interface modify -vserver Cluster -lif * -auto-revert falseMuestra el ejemplo
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 false node1_clus2 false node2_clus1 false node2_clus2 false -
Desconecte el cable del puerto del clúster e3a del nodo 1 y, a continuación, conecte e3a al puerto 3 del conmutador del cluster sw1, utilizando el cableado adecuado admitido por los conmutadores SN2100.
La "Hardware Universe - interruptores" contiene más información sobre el cableado.
-
Desconecte el cable del puerto del clúster e3a en el nodo 2 y, a continuación, conecte e3a al puerto 4 del interruptor del cluster sw1, utilizando el cableado adecuado admitido por los interruptores SN2100.
-
En el switch sw1, habilite todos los puertos orientados al nodo.
Los siguientes comandos habilitan todos los puertos orientados al nodo del switch sw1.
cumulus@sw1:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw1:~$ net pending cumulus@sw1:~$ net commit
-
En el switch sw1, verifique que todos los puertos estén activos:
net show interface allcumulus@sw1:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3a) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3a) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
En el switch sw1, habilite todos los puertos orientados al nodo.
Los siguientes comandos habilitan todos los puertos orientados al nodo del switch sw1.
cumulus@sw1:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw1:~$ nv config apply cumulus@sw1:~$ nv config save
-
En el switch sw1, verifique que todos los puertos estén activos:
nv show interfacecumulus@sw1:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
Verifique que todos los puertos del clúster estén activos:
network port show -ipspace ClusterMuestra el ejemplo
En el siguiente ejemplo, se muestra que todos los puertos del clúster están en los nodos 1 y 2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false -
Muestra información sobre el estado de los nodos en el clúster:
cluster showMuestra el ejemplo
En el siguiente ejemplo se muestra información sobre el estado y la elegibilidad de los nodos en el clúster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------------ node1 true true false node2 true true false
-
Desconecte el cable del puerto del clúster e3b del nodo 1 y, a continuación, conecte e3b al puerto 3 del switch del clúster sw2, utilizando el cableado adecuado compatible con los switches SN2100.
-
Desconecte el cable del puerto del clúster e3b en el nodo 2 y, a continuación, conecte e3b al puerto 4 del switch del clúster sw2, utilizando el cableado adecuado compatible con los conmutadores SN2100.
-
En el switch SW2, habilite todos los puertos orientados al nodo.
Los siguientes comandos habilitan los puertos orientados al nodo en el switch sw2:
cumulus@sw2:~$ net del interface swp1s0-3, swp2s0-3, swp3-14 link down cumulus@sw2:~$ net pending cumulus@sw2:~$ net commit
-
En el switch SW2, verifique que todos los puertos estén activos:
net show interface allcumulus@sw2:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- --------------- -------- ... DN swp1s0 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s1 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s2 10G 9216 Trunk/L2 Master: br_default(UP) DN swp1s3 10G 9216 Trunk/L2 Master: br_default(UP) DN swp2s0 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s1 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s2 25G 9216 Trunk/L2 Master: br_default(UP) DN swp2s3 25G 9216 Trunk/L2 Master: br_default(UP) UP swp3 100G 9216 Trunk/L2 node1 (e3b) Master: br_default(UP) UP swp4 100G 9216 Trunk/L2 node2 (e3b) Master: br_default(UP) ... ... UP swp15 100G 9216 BondMember swp15 Master: cluster_isl(UP) UP swp16 100G 9216 BondMember swp16 Master: cluster_isl(UP) ...
-
En ambos conmutadores sw1 y SW2, verifique que ambos nodos tengan cada uno una conexión a cada conmutador:
net show lldpEn el siguiente ejemplo se muestran los resultados adecuados para ambos interruptores sw1 y sw2:
cumulus@sw1:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3a swp4 100G Trunk/L2 node2 e3a swp15 100G BondMember sw2 swp15 swp16 100G BondMember sw2 swp16 cumulus@sw2:~$ net show lldp LocalPort Speed Mode RemoteHost RemotePort --------- ----- ---------- ----------------- ----------- swp3 100G Trunk/L2 node1 e3b swp4 100G Trunk/L2 node2 e3b swp15 100G BondMember sw1 swp15 swp16 100G BondMember sw1 swp16
-
En el switch SW2, habilite todos los puertos orientados al nodo.
Los siguientes comandos habilitan los puertos orientados al nodo en el switch sw2:
cumulus@sw2:~$ nv set interface swp1s0-3,swp2s0-3,swp3-14 link state up cumulus@sw2:~$ nv config apply cumulus@sw2:~$ nv config save
-
En el switch SW2, verifique que todos los puertos estén activos:
nv show interfacecumulus@sw2:~$ nv show interface Interface State Speed MTU Type Remote Host Remote Port Summary ----------- ----- ----- ----- -------- -------------------------- ----------- ---------- ... ... swp1s0 up 10G 9216 swp odq-a300-1a e0a swp1s1 up 10G 9216 swp odq-a300-1b e0a swp1s2 down 10G 9216 swp swp1s3 down 10G 9216 swp swp2s0 down 25G 9216 swp swp2s1 down 25G 9216 swp swp2s2 down 25G 9216 swp swp2s3 down 25G 9216 swp swp3 down 9216 swp swp4 down 9216 swp ... ... swp14 down 9216 swp swp15 up 100G 9216 swp ossg-int-rcf10 swp15 swp16 up 100G 9216 swp ossg-int-rcf10 swp16
-
En ambos conmutadores sw1 y SW2, verifique que ambos nodos tengan cada uno una conexión a cada conmutador:
nv show interface --view=lldpLos siguientes ejemplos muestran los resultados adecuados para los switches sw1 y SW2:
cumulus@sw1:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16 cumulus@sw2:~$ nv show interface --view=lldp Interface Speed Type Remote Host Remote Port ----------- ----- -------- ---------------------------------- ----------- ... ... swp1s0 10G swp odq-a300-1a e0a swp1s1 10G swp odq-a300-1b e0a swp1s2 10G swp swp1s3 10G swp swp2s0 25G swp swp2s1 25G swp swp2s2 25G swp swp2s3 25G swp swp3 swp swp4 swp ... ... swp14 swp swp15 100G swp ossg-int-rcf10 swp15 swp16 100G swp ossg-int-rcf10 swp16
-
Muestra información sobre los dispositivos de red detectados en el cluster:
network device-discovery show -protocol lldpMuestra el ejemplo
cluster1::*> network device-discovery show -protocol lldp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ------------ ---------------- node1 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp3 - e3b sw2 (b8:ce:f6:19:1b:96) swp3 - node2 /lldp e3a sw1 (b8:ce:f6:19:1a:7e) swp4 - e3b sw2 (b8:ce:f6:19:1b:96) swp4 - -
Compruebe que todos los puertos del clúster estén activos:
network port show -ipspace ClusterMuestra el ejemplo
En el siguiente ejemplo, se muestra que todos los puertos del clúster están en los nodos 1 y 2:
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e3a Cluster Cluster up 9000 auto/10000 healthy false e3b Cluster Cluster up 9000 auto/10000 healthy false
Paso 3: Verificar la configuración
-
Activa la reversión automática en todos los LIF del clúster:
net interface modify -vserver Cluster -lif * -auto-revert trueMuestra el ejemplo
cluster1::*> net interface modify -vserver Cluster -lif * -auto-revert true Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 true node1_clus2 true node2_clus1 true node2_clus2 true -
Compruebe que se muestran todas las interfaces
trueparaIs Home:net interface show -vserver Cluster
Esto puede tardar un minuto en completarse. Muestra el ejemplo
En el ejemplo siguiente, se muestra que todas las LIF están activas en los nodos 1 y 2, y eso
Is Homelos resultados son verdaderos:cluster1::*> net interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ---------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true -
Compruebe que la configuración está desactivada:
network options switchless-cluster showMuestra el ejemplo
El resultado falso en el ejemplo siguiente muestra que las opciones de configuración están deshabilitadas:
cluster1::*> network options switchless-cluster show Enable Switchless Cluster: false
-
Compruebe el estado de los miembros del nodo en el clúster:
cluster showMuestra el ejemplo
En el siguiente ejemplo se muestra información sobre el estado y la elegibilidad de los nodos en el clúster:
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ -------- node1 true true false node2 true true false
-
Compruebe la conectividad de las interfaces del clúster remoto:
Puede utilizar el network interface check cluster-connectivity comando para iniciar una comprobación de accesibilidad de la conectividad del clúster y, a continuación, muestre los detalles:
network interface check cluster-connectivity start y.. network interface check cluster-connectivity show
cluster1::*> network interface check cluster-connectivity start
NOTA: Espere varios segundos antes de ejecutar el show comando para mostrar los detalles.
cluster1::*> network interface check cluster-connectivity show
Source Destination Packet
Node Date LIF LIF Loss
------ -------------------------- ---------------- ---------------- -----------
node1
3/5/2022 19:21:18 -06:00 node1_clus2 node2-clus1 none
3/5/2022 19:21:20 -06:00 node1_clus2 node2_clus2 none
node2
3/5/2022 19:21:18 -06:00 node2_clus2 node1_clus1 none
3/5/2022 19:21:20 -06:00 node2_clus2 node1_clus2 none
En todas las versiones de ONTAP, también se puede utilizar el cluster ping-cluster -node <name> comando para comprobar la conectividad:
cluster ping-cluster -node <name>
cluster1::*> cluster ping-cluster -node local Host is node1 Getting addresses from network interface table... Cluster node1_clus1 169.254.209.69 node1 e3a Cluster node1_clus2 169.254.49.125 node1 e3b Cluster node2_clus1 169.254.47.194 node2 e3a Cluster node2_clus2 169.254.19.183 node2 e3b Local = 169.254.47.194 169.254.19.183 Remote = 169.254.209.69 169.254.49.125 Cluster Vserver Id = 4294967293 Ping status: Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) Detected 9000 byte MTU on 4 path(s): Local 169.254.47.194 to Remote 169.254.209.69 Local 169.254.47.194 to Remote 169.254.49.125 Local 169.254.19.183 to Remote 169.254.209.69 Local 169.254.19.183 to Remote 169.254.49.125 Larger than PMTU communication succeeds on 4 path(s) RPC status: 2 paths up, 0 paths down (tcp check) 2 paths up, 0 paths down (udp check)