审查布线和配置注意事项
在配置NVIDIA SN2100 交换机之前,请查看以下注意事项。
NVIDIA端口详情
交换端口 |
端口使用情况 |
swp1s0-3 |
4x10GbE 分支集群端口节点 |
swp2s0-3 |
4x25GbE 分支集群端口节点 |
swp3-14 |
40/100GbE 集群端口节点 |
swp15-16 |
100GbE交换机间链路(ISL)端口 |
参见 "Hardware Universe" 有关交换机端口的更多信息。
光纤连接中的链路延迟
如果您遇到连接延迟超过五秒的情况,Cumulus Linux 5.4 及更高版本包含对快速连接的支持。您可以使用以下方法配置链接: `nv set`命令如下:
nv set interface <interface-id> link fast-linkup on nv config apply reload the switchd
显示示例
cumulus@cumulus-cs13:mgmt:~$ nv set interface swp5 link fast-linkup on cumulus@cumulus-cs13:mgmt:~$ nv config apply switchd need to reload on this config change Are you sure? [y/N] y applied [rev_id: 22] Only switchd reload required
支持铜连接
要解决此问题,需要进行以下配置更改。
-
确定使用 40GbE/100GbE 铜缆的每个接口的名称:
cumulus@cumulus:mgmt:~$ net show interface pluggables Interface Identifier Vendor Name Vendor PN Vendor SN Vendor Rev --------- ------------- -------------- ----------- ------------- ---------- swp3 0x11 (QSFP28) Molex 112-00576 93A2229911111 B0 swp4 0x11 (QSFP28) Molex 112-00576 93A2229922222 B0
-
将以下两行添加到 `/etc/cumulus/switchd.conf`使用 40GbE/100GbE 铜缆的每个端口 (swp<n>) 的文件:
-
interface.swp<n>.enable_media_depended_linkup_flow=TRUE -
interface.swp<n>.enable_short_tuning=TRUE例如:
cumulus@cumulus:mgmt:~$ sudo nano /etc/cumulus/switchd.conf . . interface.swp3.enable_media_depended_linkup_flow=TRUE interface.swp3.enable_short_tuning=TRUE interface.swp4.enable_media_depended_linkup_flow=TRUE interface.swp4.enable_short_tuning=TRUE
-
-
重新启动 `switchd`服务:
cumulus@cumulus:mgmt:~$ sudo systemctl restart switchd.service
-
确认端口已开启:
cumulus@cumulus:mgmt:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------------- -------- UP swp3 100G 9216 Trunk/L2 Master: bridge(UP) UP swp4 100G 9216 Trunk/L2 Master: bridge(UP)
-
确定使用 40GbE/100GbE 铜缆的每个接口的名称:
cumulus@cumulus:mgmt:~$ nv show interface --view=pluggables Interface Identifier Vendor Name Vendor PN Vendor SN Vendor Rev --------- ------------- -------------- ----------- ------------- ---------- swp3 0x11 (QSFP28) Molex 112-00576 93A2229911111 B0 swp4 0x11 (QSFP28) Molex 112-00576 93A2229922222 B0
-
使用以下方式配置链接 `nv set`命令如下:
-
nv set interface <interface-id> link fast-linkup on -
nv config apply -
重新加载 `switchd`服务
例如:
cumulus@cumulus:mgmt:~$ nv set interface swp5 link fast-linkup on cumulus@cumulus:mgmt:~$ nv config apply switchd need to reload on this config change Are you sure? [y/N] y applied [rev_id: 22] Only switchd reload required
-
-
确认端口已开启:
cumulus@cumulus:mgmt:~$ net show interface all State Name Spd MTU Mode LLDP Summary ----- --------- ---- ----- ---------- ----------------- -------- UP swp3 100G 9216 Trunk/L2 Master: bridge(UP) UP swp4 100G 9216 Trunk/L2 Master: bridge(UP)
请参阅知识库文章"SN2100交换机无法使用40/100GbE铜缆连接"更多详情请见下文。
在 Cumulus Linux 4.4.2 中,配备 X1151A NIC、X1146A NIC 或板载 100GbE 端口的 SN2100 交换机不支持铜缆连接。例如:
-
AFF A800位于端口 e0a 和 e0b
-
AFF A320在 e0g 和 e0h 端口上
QSA 模块
使用 QSFP+ (40GbE) 转 SFP+ (10GbE) 适配器或 QSFP28 (100GbE) 转 SFP28 (25GbE) 适配器 (QSA) 时,请将其插入非分线 40GbE/100GbE 交换机端口 (swp3-swp14)。请勿将 QSA 模块插入配置为分线端口的端口。
当使用 QSA 模块连接到平台上的 10GbE/25GbE 集群端口时,链路可能无法建立。
要解决此问题,请执行以下操作:
-
对于 10GbE,手动将链路速度设置为 10000,并将自动协商设置为关闭。
-
对于 25GbE,手动将链路速度设置为 25000,并将自动协商设置为关闭。
设置分支端口的接口速度
根据交换机端口中的收发器,您可能需要将交换机接口的速度设置为固定速度。如果使用 10GbE 和 25GbE 分支端口或 QSA 模块,请确认自动协商已关闭,并在交换机上设置接口速度。
例如:
cumulus@cumulus:mgmt:~$ net add int swp1s3 link autoneg off && net com
--- /etc/network/interfaces 2019-11-17 00:17:13.470687027 +0000
+++ /run/nclu/ifupdown2/interfaces.tmp 2019-11-24 00:09:19.435226258 +0000
@@ -37,21 +37,21 @@
alias 10G Intra-Cluster Node
link-autoneg off
link-speed 10000 <---- port speed set
mstpctl-bpduguard yes
mstpctl-portadminedge yes
mtu 9216
auto swp1s3
iface swp1s3
alias 10G Intra-Cluster Node
- link-autoneg off
+ link-autoneg on
link-speed 10000 <---- port speed set
mstpctl-bpduguard yes
mstpctl-portadminedge yes
mtu 9216
auto swp2s0
iface swp2s0
alias 25G Intra-Cluster Node
link-autoneg off
link-speed 25000 <---- port speed set
检查接口和端口状态,以确认设置已应用:
cumulus@cumulus:mgmt:~$ net show interface State Name Spd MTU Mode LLDP Summary ----- -------- ----- ----- ---------- --------------- -------------------------------------- . . UP swp1s0 10G 9216 Trunk/L2 cs07 (e4c) Master: br_default(UP) UP swp1s1 10G 9216 Trunk/L2 cs07 (e4d) Master: br_default(UP) UP swp1s2 10G 9216 Trunk/L2 cs08 (e4c) Master: br_default(UP) UP swp1s3 10G 9216 Trunk/L2 cs08 (e4d) Master: br_default(UP) . . UP swp3 40G 9216 Trunk/L2 cs03 (e4e) Master: br_default(UP) UP swp4 40G 9216 Trunk/L2 cs04 (e4e) Master: br_default(UP) DN swp5 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp6 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp7 N/A 9216 Trunk/L2 Master: br_default(UP) . . UP swp15 100G 9216 BondMember cs01 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember cs01 (swp16) Master: cluster_isl(UP) . .
例如:
cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link auto-negotiate off cumulus@cumulus:mgmt:~$ nv set interface swp1s3 link speed 10G cumulus@cumulus:mgmt:~$ nv show interface swp1s3 link auto-negotiate off off off duplex full full full speed 10G 10G 10G fec auto auto auto mtu 9216 9216 9216 [breakout] state up up up
检查接口和端口状态,以确认设置已应用:
cumulus@cumulus:mgmt:~$ nv show interface State Name Spd MTU Mode LLDP Summary ----- -------- ----- ----- ---------- --------------- -------------------------------------- . . UP swp1s0 10G 9216 Trunk/L2 cs07 (e4c) Master: br_default(UP) UP swp1s1 10G 9216 Trunk/L2 cs07 (e4d) Master: br_default(UP) UP swp1s2 10G 9216 Trunk/L2 cs08 (e4c) Master: br_default(UP) UP swp1s3 10G 9216 Trunk/L2 cs08 (e4d) Master: br_default(UP) . . UP swp3 40G 9216 Trunk/L2 cs03 (e4e) Master: br_default(UP) UP swp4 40G 9216 Trunk/L2 cs04 (e4e) Master: br_default(UP) DN swp5 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp6 N/A 9216 Trunk/L2 Master: br_default(UP) DN swp7 N/A 9216 Trunk/L2 Master: br_default(UP) . . UP swp15 100G 9216 BondMember cs01 (swp15) Master: cluster_isl(UP) UP swp16 100G 9216 BondMember cs01 (swp16) Master: cluster_isl(UP) . .
参见 "Hardware Universe"以及知识库文章 "安装我的设备(HWU中没有包含这些信息)还需要哪些其他信息?" 了解更多信息。
在您审核完布线和配置要求后,您可以"将 NS224 货架连接成交换机连接的存储设备"。