简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

2. 配置数据交换机

提供者 kevin-hoke

Mellanox SN2010 交换机可为计算和存储节点的数据平面提供 25 Gbps 的连接。要配置交换机以提供与基础架构的数据连接,请完成以下步骤:

创建 MLAG 集群以提供容错功能

  1. 在每个 Mellanox SN210 交换机上运行以下命令以进行常规配置:

    1. 进入配置模式:

      Switch-01 enable
      Switch-01 configure terminal
    2. 启用对等链路( IPL )所需的 LACP 。

      Switch-01 (config) # lacp
    3. 启用链路层发现协议( LLDP )。

      Switch-01 (config) # lldp
    4. 启用 IP 路由。

      Switch-01 (config) # ip routing
    5. 启用 MLAG 协议。

      Switch-01 (config) # protocol mlag
    6. 启用全局 QoS 。

      Switch-01 (config) # dcb priority-flow-control enable force
  2. 要使 MLAG 正常运行,必须通过 IPL 使交换机彼此建立对等关系。此链路应包含两个或更多物理链路,以实现冗余。IPL 的 MTU 设置为巨型帧( 9216 ),默认情况下,所有 VLAN 均处于启用状态。对域中的每个交换机运行以下命令:

    1. 为 IPL 创建端口通道 10 。

      Switch-01 (config) # interface port-channel 10
      Switch-01 (config interface port-channel 10) # description IPL
      Switch-01 (config interface port-channel 10) # exit
    2. 将接口 ETH 1/20 和 1/22 添加到端口通道。

      Switch-01 (config) # interface ethernet 1/20 channel-group 10 mode active
      Switch-01 (config) # interface ethernet 1/20 description ISL-SWB_01
      Switch-01 (config) # interface ethernet 1/22 channel-group 10 mode active
      Switch-01 (config) # interface ethernet 1/22 description ISL-SWB_02
    3. 创建一个超出专用于 IPL 流量的标准范围的 VLAN 。

      Switch-01 (config) # vlan 4000
      Switch-01 (config vlan 4000) # name IPL VLAN
      Switch-01 (config vlan 4000) # exit
    4. 将端口通道定义为 IPL 。

      Switch-01 (config) # interface port-channel 10 ipl 1
      Switch-01 (config) # interface port-channel 10 dcb priority-flow-control mode on force
    5. 为每个 IPL 成员设置一个 IP (不可路由;它不会在交换机外部公布)。

      Switch-01 (config) # interface vlan 4000
      Switch-01 (config vlan 4000) # ip address 10.0.0.1 255.255.255.0
      Switch-01 (config vlan 4000) # ipl 1 peer-address 10.0.0.2
      Switch-01 (config vlan 4000) # exit
  3. 为这两台交换机创建唯一的 MLAG 域名并分配一个 MLAG 虚拟 IP ( VIP )。此 IP 用于在两个交换机之间发送保持活动状态的检测信号消息。在域中的每个交换机上运行以下命令:

    1. 创建 MLAG 域并设置 IP 地址和子网。

      Switch-01 (config) # mlag-vip MLAG-VIP-DOM ip a.b.c.d /24 force
    2. 为系统 MLAG 创建虚拟 MAC 地址。

      Switch-01 (config) # mlag system-mac AA:BB:CC:DD:EE:FF
    3. 配置 MLAG 域,使其全局处于活动状态。

      Switch-01 (config) # no mlag shutdown
注 用于 MLAG VIP 的 IP 必须与交换机管理网络( mgmt0 )位于同一子网中。
注 使用的 MAC 地址可以是任何单播 MAC 地址,并且必须在 MLAG 域中的两个交换机上设置为相同的值。

配置端口以连接到存储和计算主机

  1. 创建支持 NetApp HCI 服务所需的每个 VLAN 。在域中的每个交换机上运行以下命令:

    1. 创建 VLAN 。

      Switch-01 (config) # vlan 1172
      Switch-01 (config vlan 1172) exit
      Switch-01 (config) # vlan 3480-3482
      Switch-01 (config vlan 3480-3482) exit
    2. 为每个 VLAN 创建名称,以便于进行核算。

      Switch-01 (config) # vlan 1172 name “VM_Network”
      Switch-01 (config) # vlan 3480 name “MGMT_Network”
      Switch-01 (config) # vlan 3481 name “Storage_Network”
      Switch-01 (config) # vlan 3482 name “vMotion_Network”
      +
  2. 在端口 eth1/9-10 上创建混合 VLAN 端口,以便为 NetApp HCI 计算节点标记适当的 VLAN 。

    1. 选择要使用的端口。

      Switch-01 (config) # interface ethernet 1/9-1/10
    2. 设置每个端口的 MTU 。

      Switch-01 (config interface ethernet 1/9-1/10) # mtu 9216 force
    3. 修改每个端口的生成树设置。

      Switch-01 (config interface ethernet 1/9-1/10) # spanning-tree bpdufilter enable
      Switch-01 (config interface ethernet 1/9-1/10) # spanning-tree port type edge
      Switch-01 (config interface ethernet 1/9-1/10) # spanning-tree bpduguard enable
    4. 将交换机端口模式设置为混合模式。

      Switch-01 (config interface ethernet 1/9-1/10 ) # switchport mode hybrid
      Switch-01 (config interface ethernet 1/9-1/10 ) # exit
    5. 为要修改的每个端口创建说明。

      Switch-01 (config) # interface ethernet 1/9 description HCI-CMP-01 PortD
      Switch-01 (config) # interface ethernet 1/10 description HCI-CMP-02 PortD
    6. 为 NetApp HCI 环境标记适当的 VLAN 。

      Switch-01 (config) # interface ethernet 1/9 switchport hybrid allowed-vlan add 1172
      Switch-01 (config) # interface ethernet 1/9 switchport hybrid allowed-vlan add 3480-3482
      Switch-01 (config) # interface ethernet 1/10 switchport hybrid allowed-vlan add 1172
      Switch-01 (config) # interface ethernet 1/10 switchport hybrid allowed-vlan add 3480-3482
  3. 在端口 eth1/5-8 上创建 MLAG 接口和混合 VLAN 端口,以便在交换机之间分布连接并为 NetApp HCI 存储节点标记适当的 VLAN 。

    1. 选择要使用的端口。

      Switch-01 (config) # interface ethernet 1/5-1/8
    2. 设置每个端口的 MTU 。

      Switch-01 (config interface ethernet 1/5-1/8) # mtu 9216 force
    3. 修改每个端口的生成树设置。

      Switch-01 (config interface ethernet 1/5-1/8) # spanning-tree bpdufilter enable
      Switch-01 (config interface ethernet 1/5-1/8) # spanning-tree port type edge
      Switch-01 (config interface ethernet 1/5-1/8) # spanning-tree bpduguard enable
    4. 将交换机端口模式设置为混合模式。

      Switch-01 (config interface ethernet 1/5-1/8 ) # switchport mode hybrid
      Switch-01 (config interface ethernet 1/5-1/8 ) # exit
    5. 为要修改的每个端口创建说明。

      Switch-01 (config) # interface ethernet 1/5 description HCI-STG-01 PortD
      Switch-01 (config) # interface ethernet 1/6 description HCI-STG-02 PortD
      Switch-01 (config) # interface ethernet 1/7 description HCI-STG-03 PortD
      Switch-01 (config) # interface ethernet 1/8 description HCI-STG-04 PortD
    6. 创建和配置 MLAG 端口通道。

      Switch-01 (config) # interface mlag-port-channel 115-118
      Switch-01 (config interface mlag-port-channel 115-118) # exit
      Switch-01 (config) # interface mlag-port-channel 115-118 no shutdown
      Switch-01 (config) # interface mlag-port-channel 115-118 mtu 9216 force
      Switch-01 (config) # interface mlag-port-channel 115-118 lacp-individual enable force
      Switch-01 (config) # interface ethernet 1/5-1/8 lacp port-priority 10
      Switch-01 (config) # interface ethernet 1/5-1/8 lacp rate fast
      Switch-01 (config) # interface ethernet 1/5 mlag-channel-group 115 mode active
      Switch-01 (config) # interface ethernet 1/6 mlag-channel-group 116 mode active
      Switch-01 (config) # interface ethernet 1/7 mlag-channel-group 117 mode active
      Switch-01 (config) # interface ethernet 1/8 mlag-channel-group 118 mode active
    7. 为存储环境标记适当的 VLAN 。

      Switch-01 (config) # interface mlag-port-channel 115-118 switchport mode hybrid
      Switch-01 (config) # interface mlag-port-channel 115 switchport hybrid allowed-vlan add 1172 Switch-01 (config) # interface mlag-port-channel 116 switchport hybrid allowed-vlan add 1172
      Switch-01 (config) # interface mlag-port-channel 117 switchport hybrid allowed-vlan add 1172
      Switch-01 (config) # interface mlag-port-channel 118 switchport hybrid allowed-vlan add 1172
      Switch-01 (config) # interface mlag-port-channel 115 switchport hybrid allowed-vlan add 3481
      Switch-01 (config) # interface mlag-port-channel 116 switchport hybrid allowed-vlan add 3481
      Switch-01 (config) # interface mlag-port-channel 117 switchport hybrid allowed-vlan add 3481
      Switch-01 (config) # interface mlag-port-channel 118 switchport hybrid allowed-vlan add 3481
注 此外,本节中的配置还必须在 MLAG 域中的第二台交换机上运行。NetApp 建议更新每个端口的说明,以反映在另一交换机上布线和配置的设备端口。

为交换机创建上行链路端口

  1. 创建一个 MLAG 接口,以便从核心网络为两个 Mellanox SN2010 交换机提供上行链路。

    Switch-01 (config) # interface mlag port-channel 101
    Switch-01 (config interface mlag port-channel) # description Uplink CORE-SWITCH port PORT
    Switch-01 (config interface mlag port-channel) # exit
  2. 配置 MLAG 成员。

    Switch-01 (config) # interface ethernet 1/18 description Uplink to CORE-SWITCH port PORT
    Switch-01 (config) # interface ethernet 1/18 speed 10000 force
    Switch-01 (config) # interface mlag-port-channel 101 mtu 9216 force
    Switch-01 (config) # interface ethernet 1/18 mlag-channel-group 101 mode active
  3. 将交换机端口模式设置为混合模式,并允许核心上行链路交换机上的所有 VLAN 。

    Switch-01 (config) # interface mlag-port-channel switchport mode hybrid
    Switch-01 (config) # interface mlag-port-channel switchport hybrid allowed-vlan all
  4. 验证 MLAG 接口是否已启动。

    Switch-01 (config) # interface mlag-port-channel 101 no shutdown
    Switch-01 (config) # exit