La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Esaminare le considerazioni relative al cablaggio e alla configurazione

02/09/2024 Collaboratori

PDF

Prima di configurare lo switch NVIDIA SN2100, fare riferimento alle seguenti considerazioni.

Dettagli della porta NVIDIA

Porte switch

Utilizzo delle porte

swp1s0-3

4 nodi di porte cluster breakout da 10 GbE

swp2s0-3

4 nodi di porte cluster breakout da 25 GbE

swp3-14

Nodi di porta cluster 40/100GbE

swp15-16

Porte ISL (Inter-Switch link) 40 GbE

Vedere "Hardware Universe" per ulteriori informazioni sulle porte dello switch.

Ritardi di collegamento con connessioni ottiche

Se si verificano ritardi di collegamento superiori a cinque secondi, Cumulus Linux 5.4 e versioni successive includono il supporto per il collegamento rapido. È possibile configurare i collegamenti utilizzando nv set eseguire il comando come segue:

nv set interface <interface-id> link fast-linkup on
nv config apply
reload the switchd

Mostra esempio

cumulus@cumulus-cs13:mgmt:~$ nv set interface swp5 link fast-linkup on
cumulus@cumulus-cs13:mgmt:~$ nv config apply
switchd need to reload on this config change

Are you sure? [y/N] y
applied [rev_id: 22]

Only switchd reload required

Supporto per connessioni in rame

Per risolvere questo problema, sono necessarie le seguenti modifiche alla configurazione.

Cumulus Linux 4.4.3

Identificare il nome di ciascuna interfaccia utilizzando cavi di rame da 40 GbE/100 GbE:

cumulus@cumulus:mgmt:~$ net show interface pluggables

Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
---------  -------------  --------------  -----------  -------------  ----------
swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0

Aggiungere le due righe seguenti a /etc/cumulus/switchd.conf File per ogni porta (swpg <n>) che utilizza cavi in rame da 40 GbE/100 GbE:

interface.swp<n>.enable_media_depended_linkup_flow=TRUE
interface.swp<n>.enable_short_tuning=TRUE

Ad esempio:

cumulus@cumulus:mgmt:~$ sudo nano /etc/cumulus/switchd.conf
.
.
interface.swp3.enable_media_depended_linkup_flow=TRUE
interface.swp3.enable_short_tuning=TRUE
interface.swp4.enable_media_depended_linkup_flow=TRUE
interface.swp4.enable_short_tuning=TRUE

Riavviare switchd servizio:

cumulus@cumulus:mgmt:~$ sudo systemctl restart switchd.service

Verificare che le porte siano in funzione:

cumulus@cumulus:mgmt:~$ net show interface all

State  Name      Spd   MTU    Mode       LLDP              Summary
-----  --------- ----  -----  ---------- ----------------- --------
UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)

Cumulus Linux 5.x

Identificare il nome di ciascuna interfaccia utilizzando cavi di rame da 40 GbE/100 GbE:

cumulus@cumulus:mgmt:~$ nv show interface pluggables

Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
---------  -------------  --------------  -----------  -------------  ----------
swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0

Configurare i collegamenti utilizzando nv set eseguire il comando come segue:

nv set interface <interface-id> link fast-linkup on
nv config apply
Ricaricare switchd servizio

Ad esempio:

cumulus@cumulus:mgmt:~$ nv set interface swp5 link fast-linkup on
cumulus@cumulus:mgmt:~$ nv config apply
switchd need to reload on this config change

Are you sure? [y/N] y
applied [rev_id: 22]

Only switchd reload required

Verificare che le porte siano in funzione:

cumulus@cumulus:mgmt:~$ net show interface all

State  Name      Spd   MTU    Mode       LLDP              Summary
-----  --------- ----  -----  ---------- ----------------- --------
UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)

Vedere "Questo KB" per ulteriori dettagli.

Su Cumulus Linux 4.4.2, le connessioni in rame non sono supportate sugli switch SN2100 con NIC X1151A, NIC X1146A o porte 100GbE integrate. Ad esempio:

AFF A800 sulle porte e0a e e0b
AFF A320 sulle porte e0g e e0h

Adattatore QSA

Quando si utilizza un adattatore QSA per connettersi alle porte del cluster 10GbE/25GbE su una piattaforma, il collegamento potrebbe non essere disponibile.

Per risolvere il problema, procedere come segue:

Per 10GbE, impostare manualmente la velocità di collegamento swp1s0-3 su 10000 e impostare la negoziazione automatica su Off.
Per 25GbE, impostare manualmente la velocità di collegamento swp2s0-3 su 25000 e impostare la negoziazione automatica su Off.

Quando si utilizzano adattatori QSA 10GbE/25GbE, inserirli nelle porte 40GbE/100GbE senza interruzione (swp3-swp14). Non inserire l'adattatore QSA in una porta configurata per il breakout.

Impostazione della velocità dell'interfaccia sulle porte di breakout

A seconda del ricetrasmettitore nella porta dello switch, potrebbe essere necessario impostare la velocità sull'interfaccia dello switch su una velocità fissa. Se si utilizzano porte breakout 10GbE e 25GbE, verificare che la negoziazione automatica sia disattivata e impostare la velocità dell'interfaccia sullo switch.

Cumulus Linux 4.4.3

Ad esempio:

cumulus@cumulus:mgmt:~$ net add int swp1s3 link autoneg off && net com
--- /etc/network/interfaces     2019-11-17 00:17:13.470687027 +0000
+++ /run/nclu/ifupdown2/interfaces.tmp  2019-11-24 00:09:19.435226258 +0000
@@ -37,21 +37,21 @@
     alias 10G Intra-Cluster Node
     link-autoneg off
     link-speed 10000  <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp1s3
iface swp1s3
     alias 10G Intra-Cluster Node
-    link-autoneg off
+    link-autoneg on
     link-speed 10000 <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp2s0
iface swp2s0
     alias 25G Intra-Cluster Node
     link-autoneg off
     link-speed 25000 <---- port speed set

Controllare lo stato dell'interfaccia e della porta per verificare che le impostazioni siano applicate:

cumulus@cumulus:mgmt:~$ net show interface

State  Name      Spd    MTU    Mode        LLDP             Summary
-----  --------  -----  -----  ----------  ---------------  --------------------------------------
.
.
UP     swp1s0     10G   9216   Trunk/L2    cs07 (e4c)       Master: br_default(UP)
UP     swp1s1     10G   9216   Trunk/L2    cs07 (e4d)       Master: br_default(UP)
UP     swp1s2     10G   9216   Trunk/L2    cs08 (e4c)       Master: br_default(UP)
UP     swp1s3     10G   9216   Trunk/L2    cs08 (e4d)       Master: br_default(UP)
.
.
UP     swp3       40G   9216   Trunk/L2    cs03 (e4e)       Master: br_default(UP)
UP     swp4       40G   9216   Trunk/L2    cs04 (e4e)       Master: br_default(UP)
DN     swp5       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp6       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp7       N/A   9216   Trunk/L2                     Master: br_default(UP)
.
.
UP     swp15      100G  9216   BondMember  cs01 (swp15)     Master: cluster_isl(UP)
UP     swp16      100G  9216   BondMember  cs01 (swp16)     Master: cluster_isl(UP)
.
.