Skip to main content
Cluster and storage switches
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Prüfen Sie die Verkabelung und Konfigurationsüberlegungen

Beitragende

Lesen Sie vor der Konfiguration des NVIDIA SN2100-Switches die folgenden Punkte.

Details zum NVIDIA-Port

Switch-Ports

Verwendung von Ports

Swp1s0-3

4 x 10 GbE Breakout-Cluster-Port-Nodes

Swp2s0-3

4 x 25-GbE-Breakout-Cluster-Port-Nodes

Swp3-14

40/100-GbE-Cluster-Port-Nodes

Swp15-16

40/100-GbE-Inter-Switch Link (ISL)-Ports

Siehe "Hardware Universe" Weitere Informationen zu Switch-Ports.

Verbindungsverzögerungen mit optischen Verbindungen

Wenn Sie Verbindungsverzögerungen von mehr als fünf Sekunden haben, bietet Cumulus Linux 5.4 und höher Unterstützung für eine schnelle Verbindungsaufnahme. Sie können die Verknüpfungen mit konfigurieren nv set Befehl wie folgt:

nv set interface <interface-id> link fast-linkup on
nv config apply
reload the switchd
Beispiel anzeigen
cumulus@cumulus-cs13:mgmt:~$ nv set interface swp5 link fast-linkup on
cumulus@cumulus-cs13:mgmt:~$ nv config apply
switchd need to reload on this config change

Are you sure? [y/N] y
applied [rev_id: 22]

Only switchd reload required

Unterstützung für Kupferverbindungen

Die folgenden Konfigurationsänderungen sind erforderlich, um dieses Problem zu beheben.

Cumulus Linux 4.4.3
  1. Benennen Sie die einzelnen Schnittstellen, die 40-GbE-/100-GbE-Kupferkabel verwenden, wie folgt:

    cumulus@cumulus:mgmt:~$ net show interface pluggables
    
    Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
    ---------  -------------  --------------  -----------  -------------  ----------
    swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
    swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0
  2. Fügen Sie die folgenden beiden Zeilen zum hinzu /etc/cumulus/switchd.conf Datei für jeden Port (swpp <n>), der 40 GbE/100 GbE Kupferkabel verwendet:

    • interface.swp<n>.enable_media_depended_linkup_flow=TRUE

    • interface.swp<n>.enable_short_tuning=TRUE

      Beispiel:

    cumulus@cumulus:mgmt:~$ sudo nano /etc/cumulus/switchd.conf
    .
    .
    interface.swp3.enable_media_depended_linkup_flow=TRUE
    interface.swp3.enable_short_tuning=TRUE
    interface.swp4.enable_media_depended_linkup_flow=TRUE
    interface.swp4.enable_short_tuning=TRUE
  3. Starten Sie den neu switchd Dienst:

    cumulus@cumulus:mgmt:~$ sudo systemctl restart switchd.service
  4. Vergewissern Sie sich, dass die Ports hochgefahren sind:

    cumulus@cumulus:mgmt:~$ net show interface all
    
    State  Name      Spd   MTU    Mode       LLDP              Summary
    -----  --------- ----  -----  ---------- ----------------- --------
    UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
    UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)
Cumulus Linux 5.x
  1. Benennen Sie die einzelnen Schnittstellen, die 40-GbE-/100-GbE-Kupferkabel verwenden, wie folgt:

    cumulus@cumulus:mgmt:~$ nv show interface pluggables
    
    Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
    ---------  -------------  --------------  -----------  -------------  ----------
    swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
    swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0
  2. Konfigurieren Sie die Verknüpfungen mit nv set Befehl wie folgt:

    • nv set interface <interface-id> link fast-linkup on

    • nv config apply

    • Laden Sie den neu switchd Service

      Beispiel:

    cumulus@cumulus:mgmt:~$ nv set interface swp5 link fast-linkup on
    cumulus@cumulus:mgmt:~$ nv config apply
    switchd need to reload on this config change
    
    Are you sure? [y/N] y
    applied [rev_id: 22]
    
    Only switchd reload required
  3. Vergewissern Sie sich, dass die Ports hochgefahren sind:

    cumulus@cumulus:mgmt:~$ net show interface all
    
    State  Name      Spd   MTU    Mode       LLDP              Summary
    -----  --------- ----  -----  ---------- ----------------- --------
    UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
    UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)

Siehe "Diesen KB" Entnehmen.

Auf Cumulus Linux 4.4.2 werden Kupferverbindungen nicht auf SN2100-Switches mit X1151A NIC, X1146A NIC oder integrierten 100-GbE-Ports unterstützt. Beispiel:

  • AFF A800 auf den Ports e0a und e0b

  • AFF A320 an den Ports e0g und e0h

QSA-Adapter

Wenn ein QSA-Adapter für die Verbindung mit den 10 GbE/25 GbE-Cluster-Ports auf einer Plattform verwendet wird, wird die Verbindung möglicherweise nicht hergestellt.

Gehen Sie wie folgt vor, um dieses Problem zu beheben:

  • Stellen Sie bei 10GbE die Verbindungsgeschwindigkeit swp1s0-3 manuell auf 10000 und stellen Sie die automatische Aushandlung auf aus.

  • Stellen Sie für 25 GbE die Verbindungsgeschwindigkeit swp2s0-3 manuell auf 25000 ein, und stellen Sie die automatische Aushandlung auf aus.

Hinweis Wenn Sie 10-GbE-QSA-Adapter verwenden, fügen Sie sie in Breakout-GbE-/100-GbE-Ports (swp3-swp14) ein. Setzen Sie den QSA-Adapter nicht in einen Port ein, der für einen Breakout konfiguriert ist.

Einstellen der Schnittstellengeschwindigkeit an Breakout-Ports

Je nach Transceiver im Switch-Port müssen Sie die Geschwindigkeit an der Switch-Schnittstelle möglicherweise auf eine feste Geschwindigkeit einstellen. Bei Verwendung von 10-GbE- und 25-GbE-Breakout-Ports überprüfen Sie, ob die automatische Aushandlung deaktiviert ist, und legen Sie die Schnittstellengeschwindigkeit auf dem Switch fest.

Cumulus Linux 4.4.3

Beispiel:

cumulus@cumulus:mgmt:~$ net add int swp1s3 link autoneg off && net com
--- /etc/network/interfaces     2019-11-17 00:17:13.470687027 +0000
+++ /run/nclu/ifupdown2/interfaces.tmp  2019-11-24 00:09:19.435226258 +0000
@@ -37,21 +37,21 @@
     alias 10G Intra-Cluster Node
     link-autoneg off
     link-speed 10000  <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp1s3
iface swp1s3
     alias 10G Intra-Cluster Node
-    link-autoneg off
+    link-autoneg on
     link-speed 10000 <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp2s0
iface swp2s0
     alias 25G Intra-Cluster Node
     link-autoneg off
     link-speed 25000 <---- port speed set

Überprüfen Sie die Schnittstelle und den Port-Status, um zu überprüfen, ob die Einstellungen angewendet werden:

cumulus@cumulus:mgmt:~$ net show interface

State  Name      Spd    MTU    Mode        LLDP             Summary
-----  --------  -----  -----  ----------  ---------------  --------------------------------------
.
.
UP     swp1s0     10G   9216   Trunk/L2    cs07 (e4c)       Master: br_default(UP)
UP     swp1s1     10G   9216   Trunk/L2    cs07 (e4d)       Master: br_default(UP)
UP     swp1s2     10G   9216   Trunk/L2    cs08 (e4c)       Master: br_default(UP)
UP     swp1s3     10G   9216   Trunk/L2    cs08 (e4d)       Master: br_default(UP)
.
.
UP     swp3       40G   9216   Trunk/L2    cs03 (e4e)       Master: br_default(UP)
UP     swp4       40G   9216   Trunk/L2    cs04 (e4e)       Master: br_default(UP)
DN     swp5       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp6       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp7       N/A   9216   Trunk/L2                     Master: br_default(UP)
.
.
UP     swp15      100G  9216   BondMember  cs01 (swp15)     Master: cluster_isl(UP)
UP     swp16      100G  9216   BondMember  cs01 (swp16)     Master: cluster_isl(UP)
.
.
Cumulus Linux 5.x

Beispiel:

cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link auto-negotiate off
cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link speed 10G
cumulus@cumulus:mgmt:~$ nv show interface swp1s3

link                                                                                            
  auto-negotiate        off                     off                     off                   
  duplex                full                    full                    full                  
  speed                 10G                     10G                     10G                   
  fec                   auto                    auto                    auto                  
  mtu                   9216                    9216                    9216                  
[breakout]                                                                                    
  state                 up                      up                      up

Überprüfen Sie die Schnittstelle und den Port-Status, um zu überprüfen, ob die Einstellungen angewendet werden:

cumulus@cumulus:mgmt:~$ nv show interface

State  Name      Spd    MTU    Mode        LLDP             Summary
-----  --------  -----  -----  ----------  ---------------  --------------------------------------
.
.
UP     swp1s0     10G   9216   Trunk/L2    cs07 (e4c)       Master: br_default(UP)
UP     swp1s1     10G   9216   Trunk/L2    cs07 (e4d)       Master: br_default(UP)
UP     swp1s2     10G   9216   Trunk/L2    cs08 (e4c)       Master: br_default(UP)
UP     swp1s3     10G   9216   Trunk/L2    cs08 (e4d)       Master: br_default(UP)
.
.
UP     swp3       40G   9216   Trunk/L2    cs03 (e4e)       Master: br_default(UP)
UP     swp4       40G   9216   Trunk/L2    cs04 (e4e)       Master: br_default(UP)
DN     swp5       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp6       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp7       N/A   9216   Trunk/L2                     Master: br_default(UP)
.
.
UP     swp15      100G  9216   BondMember  cs01 (swp15)     Master: cluster_isl(UP)
UP     swp16      100G  9216   BondMember  cs01 (swp16)     Master: cluster_isl(UP)
.
.