審查佈線和配置注意事項
在設定NVIDIA SN2100 交換器之前,請先查看以下注意事項。
NVIDIA連接埠詳情
交換埠 |
連接埠使用情況 |
swp1s0-3 |
4x10GbE 分支集群埠節點 |
swp2s0-3 |
4x25GbE 分支集群埠節點 |
swp3-14 |
40/100GbE 叢集連接埠節點 |
swp15-16 |
100GbE交換器間鏈路(ISL)端口 |
參見 "Hardware Universe"有關交換器連接埠的詳細資訊。
光纖連接中的鏈路延遲
如果您遇到連線延遲超過五秒的情況,Cumulus Linux 5.4 及更高版本包含對快速連線的支援。您可以使用以下方法配置連結: `nv set`命令如下:
nv set interface <interface-id> link fast-linkup on nv config apply reload the switchd
顯示範例
cumulus@cumulus-cs13:mgmt:~$ nv set interface swp5 link fast-linkup on cumulus@cumulus-cs13:mgmt:~$ nv config apply switchd need to reload on this config change Are you sure? [y/N] y applied [rev_id: 22] Only switchd reload required
支援銅連接
要解決此問題,需要進行以下配置變更。
-
確定使用 40GbE/100GbE 銅纜的每個介面的名稱:
cumulus@cumulus:mgmt:~$ net show interface pluggables Interface Identifier Vendor Name Vendor PN Vendor SN Vendor Rev --------- ------------- -------------- ----------- ------------- ---------- swp3 0x11 (QSFP28) Molex 112-00576 93A2229911111 B0 swp4 0x11 (QSFP28) Molex 112-00576 93A2229922222 B0
-
將以下兩行加入 `/etc/cumulus/switchd.conf`使用 40GbE/100GbE 銅纜的每個連接埠 (swp<n>) 的檔案:
-
interface.swp<n>.enable_media_depended_linkup_flow=TRUE -
interface.swp<n>.enable_short_tuning=TRUE例如:
cumulus@cumulus:mgmt:~$ sudo nano /etc/cumulus/switchd.conf . . interface.swp3.enable_media_depended_linkup_flow=TRUE interface.swp3.enable_short_tuning=TRUE interface.swp4.enable_media_depended_linkup_flow=TRUE interface.swp4.enable_short_tuning=TRUE
-
-
重新啟動 `switchd`服務:
cumulus@cumulus:mgmt:~$ sudo systemctl restart switchd.service
-
確認連接埠已開啟:
cumulus@cumulus:mgmt:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------------- -------- UP swp3 100G 9216 Trunk/L2 Master: bridge(UP) UP swp4 100G 9216 Trunk/L2 Master: bridge(UP)
-
確定使用 40GbE/100GbE 銅纜的每個介面的名稱:
cumulus@cumulus:mgmt:~$ nv show interface --view=pluggables Interface Identifier Vendor Name Vendor PN Vendor SN Vendor Rev --------- ------------- -------------- ----------- ------------- ---------- swp3 0x11 (QSFP28) Molex 112-00576 93A2229911111 B0 swp4 0x11 (QSFP28) Molex 112-00576 93A2229922222 B0
-
使用以下方式配置鏈接 `nv set`命令如下:
-
nv set interface <interface-id> link fast-linkup on -
nv config apply -
重新載入 `switchd`服務
例如:
cumulus@cumulus:mgmt:~$ nv set interface swp5 link fast-linkup on cumulus@cumulus:mgmt:~$ nv config apply switchd need to reload on this config change Are you sure? [y/N] y applied [rev_id: 22] Only switchd reload required
-
-
確認連接埠已開啟:
cumulus@cumulus:mgmt:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------------- -------- UP swp3 100G 9216 Trunk/L2 Master: bridge(UP) UP swp4 100G 9216 Trunk/L2 Master: bridge(UP)
請參閱知識庫文章 "SN2100交換器無法使用40/100GbE銅纜連接"更多詳情請見下文。
在 Cumulus Linux 4.4.2 中,配備 X1151A NIC、X1146A NIC 或板載 100GbE 連接埠的 SN2100 交換器不支援銅纜連接。例如:
-
AFF A800位於連接埠 e0a 和 e0b
-
AFF A320在 e0g 和 e0h 連接埠上
QSA適配器
當使用 QSA 適配器連接到平台上的 10GbE/25GbE 叢集連接埠時,連結可能無法建立。
若要解決此問題,請執行下列操作:
-
對於 10GbE,手動將 swp1s0-3 連結速度設定為 10000,並將自動協商設定為關閉。
-
對於 25GbE,手動將 swp2s0-3 連結速度設定為 25000,並將自動協商設定為關閉。
|
|
使用 10GbE/25GbE QSA 轉接器時,將其插入非分線 40GbE/100GbE 連接埠(swp3-swp14)。請勿將 QSA 適配器插入配置為分線連接埠的連接埠。 |
設定分支端口的介面速度
根據交換器連接埠中的收發器,您可能需要將交換器介面的速度設定為固定速度。如果使用 10GbE 和 25GbE 分支端口,請確認自動協商已關閉,並在交換器上設定介面速度。
例如:
cumulus@cumulus:mgmt:~$ net add int swp1s3 link autoneg off && net com
--- /etc/network/interfaces 2019-11-17 00:17:13.470687027 +0000
+++ /run/nclu/ifupdown2/interfaces.tmp 2019-11-24 00:09:19.435226258 +0000
@@ -37,21 +37,21 @@
alias 10G Intra-Cluster Node
link-autoneg off
link-speed 10000 <---- port speed set
mstpctl-bpduguard yes
mstpctl-portadminedge yes
mtu 9216
auto swp1s3
iface swp1s3
alias 10G Intra-Cluster Node
- link-autoneg off
+ link-autoneg on
link-speed 10000 <---- port speed set
mstpctl-bpduguard yes
mstpctl-portadminedge yes
mtu 9216
auto swp2s0
iface swp2s0
alias 25G Intra-Cluster Node
link-autoneg off
link-speed 25000 <---- port speed set
檢查介面和連接埠狀態,以確認設定已套用:
cumulus@cumulus:mgmt:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- -------- ----- ----- ---------- --------------- -------------------------------------- . . UP swp1s0 10G 9216 Trunk/L2 cs07 (e4c) Master: br_default(UP) UP swp1s1 10G 9216 Trunk/L2 cs07 (e4d) Master: br_default(UP) UP swp1s2 10G 9216 Trunk/L2 cs08 (e4c) Master: br_default(UP) UP swp1s3 10G 9216 Trunk/L2 cs08 (e4d) Master: br_default(UP) . . UP swp3 40G 9216 Trunk/L2 cs03 (e4e) Master: br_default(UP) UP swp4 40G 9216 Trunk/L2 cs04 (e4e) Master: br_default(UP) DN swp5 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp6 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp7 N/A 9216 Trunk/L2 Master: br_default(UP) . . UP swp15 100G 9216 BondMember cs01 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember cs01 (swp16) Master: cluster_isl(UP) . .
例如:
cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link auto-negotiate off cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link speed 10G cumulus@cumulus:mgmt:~$ nv show interface swp1s3 link auto-negotiate off off off duplex full full full speed 10G 10G 10G fec auto auto auto mtu 9216 9216 9216 [breakout] state up up up
檢查介面和連接埠狀態,以確認設定已套用:
cumulus@cumulus:mgmt:~$ nv show interface State Name Spd MTU Mode LLDP Summary ----- -------- ----- ----- ---------- --------------- -------------------------------------- . . UP swp1s0 10G 9216 Trunk/L2 cs07 (e4c) Master: br_default(UP) UP swp1s1 10G 9216 Trunk/L2 cs07 (e4d) Master: br_default(UP) UP swp1s2 10G 9216 Trunk/L2 cs08 (e4c) Master: br_default(UP) UP swp1s3 10G 9216 Trunk/L2 cs08 (e4d) Master: br_default(UP) . . UP swp3 40G 9216 Trunk/L2 cs03 (e4e) Master: br_default(UP) UP swp4 40G 9216 Trunk/L2 cs04 (e4e) Master: br_default(UP) DN swp5 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp6 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp7 N/A 9216 Trunk/L2 Master: br_default(UP) . . UP swp15 100G 9216 BondMember cs01 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember cs01 (swp16) Master: cluster_isl(UP) . .
在您審核佈線和配置要求後,您可以"將 NS224 貨架連接成交換器連接的儲存設備"。