Skip to main content
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

審查佈線和配置注意事項

貢獻者 netapp-yvonneo netapp-jolieg netapp-jsnyder

在設定NVIDIA SN2100 交換器之前,請先查看以下注意事項。

NVIDIA連接埠詳情

交換埠

連接埠使用情況

swp1s0-3

4x10GbE 分支集群埠節點

swp2s0-3

4x25GbE 分支集群埠節點

swp3-14

40/100GbE 叢集連接埠節點

swp15-16

100GbE交換器間鏈路(ISL)端口

參見 "Hardware Universe"有關交換器連接埠的詳細資訊。

光纖連接中的鏈路延遲

如果您遇到連線延遲超過五秒的情況,Cumulus Linux 5.4 及更高版本包含對快速連線的支援。您可以使用以下方法配置連結: `nv set`命令如下:

nv set interface <interface-id> link fast-linkup on
nv config apply
reload the switchd
顯示範例
cumulus@cumulus-cs13:mgmt:~$ nv set interface swp5 link fast-linkup on
cumulus@cumulus-cs13:mgmt:~$ nv config apply
switchd need to reload on this config change

Are you sure? [y/N] y
applied [rev_id: 22]

Only switchd reload required

支援銅連接

要解決此問題,需要進行以下配置變更。

Cumulus Linux 4.4.3
  1. 確定使用 40GbE/100GbE 銅纜的每個介面的名稱:

    cumulus@cumulus:mgmt:~$ net show interface pluggables
    
    Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
    ---------  -------------  --------------  -----------  -------------  ----------
    swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
    swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0
  2. 將以下兩行加入 `/etc/cumulus/switchd.conf`使用 40GbE/100GbE 銅纜的每個連接埠 (swp<n>) 的檔案:

    • interface.swp<n>.enable_media_depended_linkup_flow=TRUE

    • interface.swp<n>.enable_short_tuning=TRUE

      例如:

    cumulus@cumulus:mgmt:~$ sudo nano /etc/cumulus/switchd.conf
    .
    .
    interface.swp3.enable_media_depended_linkup_flow=TRUE
    interface.swp3.enable_short_tuning=TRUE
    interface.swp4.enable_media_depended_linkup_flow=TRUE
    interface.swp4.enable_short_tuning=TRUE
  3. 重新啟動 `switchd`服務:

    cumulus@cumulus:mgmt:~$ sudo systemctl restart switchd.service
  4. 確認連接埠已開啟:

    cumulus@cumulus:mgmt:~$ net show interface all
    
    State  Name      Spd   MTU    Mode       LLDP              Summary
    -----  --------- ----  -----  ---------- ----------------- --------
    UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
    UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)
Cumulus Linux 5.x
  1. 確定使用 40GbE/100GbE 銅纜的每個介面的名稱:

    cumulus@cumulus:mgmt:~$ nv show interface pluggables
    
    Interface  Identifier     Vendor Name     Vendor PN    Vendor SN      Vendor Rev
    ---------  -------------  --------------  -----------  -------------  ----------
    swp3       0x11 (QSFP28)  Molex           112-00576    93A2229911111  B0
    swp4       0x11 (QSFP28)  Molex           112-00576    93A2229922222  B0
  2. 使用以下方式配置鏈接 `nv set`命令如下:

    • nv set interface <interface-id> link fast-linkup on

    • nv config apply

    • 重新載入 `switchd`服務

      例如:

    cumulus@cumulus:mgmt:~$ nv set interface swp5 link fast-linkup on
    cumulus@cumulus:mgmt:~$ nv config apply
    switchd need to reload on this config change
    
    Are you sure? [y/N] y
    applied [rev_id: 22]
    
    Only switchd reload required
  3. 確認連接埠已開啟:

    cumulus@cumulus:mgmt:~$ net show interface all
    
    State  Name      Spd   MTU    Mode       LLDP              Summary
    -----  --------- ----  -----  ---------- ----------------- --------
    UP     swp3      100G  9216   Trunk/L2                     Master: bridge(UP)
    UP     swp4      100G  9216   Trunk/L2                     Master: bridge(UP)

請參閱知識庫文章 "SN2100交換器無法使用40/100GbE銅纜連接"更多詳情請見下文。

在 Cumulus Linux 4.4.2 中,配備 X1151A NIC、X1146A NIC 或板載 100GbE 連接埠的 SN2100 交換器不支援銅纜連接。例如:

  • AFF A800位於連接埠 e0a 和 e0b

  • AFF A320在 e0g 和 e0h 連接埠上

QSA適配器

當使用 QSA 適配器連接到平台上的 10GbE/25GbE 叢集連接埠時,連結可能無法建立。

若要解決此問題,請執行下列操作:

  • 對於 10GbE,手動將 swp1s0-3 連結速度設定為 10000,並將自動協商設定為關閉。

  • 對於 25GbE,手動將 swp2s0-3 連結速度設定為 25000,並將自動協商設定為關閉。

註 使用 10GbE/25GbE QSA 轉接器時,將其插入非分線 40GbE/100GbE 連接埠(swp3-swp14)。請勿將 QSA 適配器插入配置為分線連接埠的連接埠。

設定分支端口的介面速度

根據交換器連接埠中的收發器,您可能需要將交換器介面的速度設定為固定速度。如果使用 10GbE 和 25GbE 分支端口,請確認自動協商已關閉,並在交換器上設定介面速度。

Cumulus Linux 4.4.3

例如:

cumulus@cumulus:mgmt:~$ net add int swp1s3 link autoneg off && net com
--- /etc/network/interfaces     2019-11-17 00:17:13.470687027 +0000
+++ /run/nclu/ifupdown2/interfaces.tmp  2019-11-24 00:09:19.435226258 +0000
@@ -37,21 +37,21 @@
     alias 10G Intra-Cluster Node
     link-autoneg off
     link-speed 10000  <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp1s3
iface swp1s3
     alias 10G Intra-Cluster Node
-    link-autoneg off
+    link-autoneg on
     link-speed 10000 <---- port speed set
     mstpctl-bpduguard yes
     mstpctl-portadminedge yes
     mtu 9216

auto swp2s0
iface swp2s0
     alias 25G Intra-Cluster Node
     link-autoneg off
     link-speed 25000 <---- port speed set

檢查介面和連接埠狀態,以確認設定已套用:

cumulus@cumulus:mgmt:~$ net show interface

State  Name      Spd    MTU    Mode        LLDP             Summary
-----  --------  -----  -----  ----------  ---------------  --------------------------------------
.
.
UP     swp1s0     10G   9216   Trunk/L2    cs07 (e4c)       Master: br_default(UP)
UP     swp1s1     10G   9216   Trunk/L2    cs07 (e4d)       Master: br_default(UP)
UP     swp1s2     10G   9216   Trunk/L2    cs08 (e4c)       Master: br_default(UP)
UP     swp1s3     10G   9216   Trunk/L2    cs08 (e4d)       Master: br_default(UP)
.
.
UP     swp3       40G   9216   Trunk/L2    cs03 (e4e)       Master: br_default(UP)
UP     swp4       40G   9216   Trunk/L2    cs04 (e4e)       Master: br_default(UP)
DN     swp5       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp6       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp7       N/A   9216   Trunk/L2                     Master: br_default(UP)
.
.
UP     swp15      100G  9216   BondMember  cs01 (swp15)     Master: cluster_isl(UP)
UP     swp16      100G  9216   BondMember  cs01 (swp16)     Master: cluster_isl(UP)
.
.
Cumulus Linux 5.x

例如:

cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link auto-negotiate off
cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link speed 10G
cumulus@cumulus:mgmt:~$ nv show interface swp1s3

link                                                                                            
  auto-negotiate        off                     off                     off                   
  duplex                full                    full                    full                  
  speed                 10G                     10G                     10G                   
  fec                   auto                    auto                    auto                  
  mtu                   9216                    9216                    9216                  
[breakout]                                                                                    
  state                 up                      up                      up

檢查介面和連接埠狀態,以確認設定已套用:

cumulus@cumulus:mgmt:~$ nv show interface

State  Name      Spd    MTU    Mode        LLDP             Summary
-----  --------  -----  -----  ----------  ---------------  --------------------------------------
.
.
UP     swp1s0     10G   9216   Trunk/L2    cs07 (e4c)       Master: br_default(UP)
UP     swp1s1     10G   9216   Trunk/L2    cs07 (e4d)       Master: br_default(UP)
UP     swp1s2     10G   9216   Trunk/L2    cs08 (e4c)       Master: br_default(UP)
UP     swp1s3     10G   9216   Trunk/L2    cs08 (e4d)       Master: br_default(UP)
.
.
UP     swp3       40G   9216   Trunk/L2    cs03 (e4e)       Master: br_default(UP)
UP     swp4       40G   9216   Trunk/L2    cs04 (e4e)       Master: br_default(UP)
DN     swp5       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp6       N/A   9216   Trunk/L2                     Master: br_default(UP)
DN     swp7       N/A   9216   Trunk/L2                     Master: br_default(UP)
.
.
UP     swp15      100G  9216   BondMember  cs01 (swp15)     Master: cluster_isl(UP)
UP     swp16      100G  9216   BondMember  cs01 (swp16)     Master: cluster_isl(UP)
.
.
下一步是什麼?

在您審核佈線和配置要求後,您可以"將 NS224 貨架連接成交換器連接的儲存設備"