Skip to main content
Cluster and storage switches
简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

通过添加两个新的共享交换机,从具有数据存储的无交换机集群进行迁移

贡献者

从具有数据存储的无交换机集群迁移

在无中断地将双节点无交换机集群迁移到使用 Cisco Nexus 9336C-x2 集群交换机的集群时,您必须了解某些配置信息,端口连接和布线要求。您使用的操作步骤取决于每个控制器上是有两个专用集群网络端口,还是每个控制器上有一个集群端口。记录的过程适用于使用光纤或双轴端口的所有节点,但如果节点将板载 10 Gb BASE-T RJ45 端口用于集群网络端口,则此交换机不支持此过程。

大多数系统需要在每个控制器上使用两个专用集群网络端口。请参见 "Cisco 以太网交换机" 有关详细信息 …​

如果您现有的双节点无交换机集群环境,则可以使用 Cisco Nexus 9336C-FX2 交换机迁移到双节点有交换机集群环境,以便可以扩展到集群中的两个节点以上。

开始之前
  • 双节点无交换机配置:

    • 双节点无交换机配置必须已正确设置并正常运行。

    • 节点必须运行 ONTAP 9.8 及更高版本。

    • 所有集群端口都必须处于 * 启动 * 状态。

    • 所有集群逻辑接口( LIF )都必须处于 * 启动 * 状态并位于其 * 主端口上。

  • Cisco Nexus 9336C-x2 交换机配置:

    • 两台交换机都必须具有管理网络连接。

    • 必须能够通过控制台访问集群交换机。

    • Nexus 9336C-f2 节点到节点交换机和交换机到交换机连接必须使用双轴电缆或光缆。

    • NetApp "Hardware Universe" 包含有关布线的详细信息。

    • 交换机间链路( ISL )缆线必须连接到两个 9336C-x2 交换机上的端口 1/35 和 1/36 。

  • 必须完成 9336C-x2 交换机的初始自定义。这样:

    • 9336C-x2 交换机正在运行最新版本的软件

    • 参考配置文件( Reference Configuration Files , RCF )已应用于交换机

    • 必须在新交换机上配置任何站点自定义,例如 SMTP , SNMP 和 SSH 。

关于此任务

此操作步骤中的示例使用以下集群交换机和节点命名:

  • 9336C-fx2 交换机的名称是 CS1CS2

  • 集群 SVM 的名称是 node1node2

  • LIF 的名称分别是节点 1 上的 node1_clus1node1_clus2 以及节点 2 上的 node2_clus1node2_clus2

  • cluster1 ::: * > 提示符指示集群的名称。

  • 根据 AFF A400 控制器,此操作步骤中使用的集群端口为 e3Ae3b 。。 "Hardware Universe" 包含有关平台的实际集群端口的最新信息。

步骤
  1. 如果在此集群上启用了 AutoSupport ,请通过调用 AutoSupport 消息来禁止自动创建案例: ssystem node AutoSupport invoke -node * -type all -message MAINT=xh

    其中 x 是维护时段的持续时间,以小时为单位。

备注 AutoSupport 消息会通知技术支持此维护任务,以便在维护窗口期间禁止自动创建案例。
  1. 【第 2 步】将权限级别更改为高级,在系统提示您继续时输入 y : set -privilege advanced

    此时将显示高级提示符( * > )。

  2. 在新集群交换机 CS1 和 CS2 上禁用所有面向节点的端口(而不是 ISL 端口)。不得禁用 ISL 端口。

    以下示例显示了交换机 CS1 上面向节点的端口 1 到 34 已禁用:

cs1# config
Enter configuration commands, one per line. End with CNTL/Z.
cs1(config)# interface e/1-34
cs1(config-if-range)# shutdown
  1. 【第 4 步】验证 ISL 和两个 9336C-x2 交换机 CS1 和 CS2 之间的 ISL 物理端口在端口 1/35 和 1/36 上是否正常运行: s如何处理端口通道摘要

    以下示例显示交换机 CS1 上的 ISL 端口已启动:

cs1# show port-channel summary
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        b - BFD Session Wait
        S - Switched    R - Routed
        U - Up (port-channel)
        p - Up in delay-lacp mode (member)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
1     Po1(SU)     Eth      LACP      Eth1/35(P)   Eth1/36(P)

以下示例显示交换机 CS2 上的 ISL 端口已启动:

       cs2# show port-channel summary
        Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        b - BFD Session Wait
        S - Switched    R - Routed
        U - Up (port-channel)
        p - Up in delay-lacp mode (member)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
1     Po1(SU)     Eth      LACP      Eth1/35(P)   Eth1/36(P)
  1. 【第 5 步】显示相邻设备的列表: s如何显示 cdp 邻居

    此命令可提供有关连接到系统的设备的信息。以下示例列出了交换机 CS1 上的相邻设备:

cs1# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
                  S - Switch, H - Host, I - IGMP, r - Repeater,
                  V - VoIP-Phone, D - Remotely-Managed-Device,
                  s - Supports-STP-Dispute
Device-ID          Local Intrfce  Hldtme Capability  Platform      Port ID
cs2                Eth1/35        175    R S I s     N9K-C9336C    Eth1/35
cs2                Eth1/36        175    R S I s     N9K-C9336C    Eth1/36
Total entries displayed: 2

以下示例列出了交换机 CS2 上的相邻设备:

cs2# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
                  S - Switch, H - Host, I - IGMP, r - Repeater,
                  V - VoIP-Phone, D - Remotely-Managed-Device,
                  s - Supports-STP-Dispute
Device-ID          Local Intrfce  Hldtme Capability  Platform      Port ID
cs1                Eth1/35        177    R S I s     N9K-C9336C    Eth1/35
cs1           )    Eth1/36        177    R S I s     N9K-C9336C    Eth1/36

Total entries displayed: 2
  1. 【第 6 步】验证所有集群端口是否均已启动: network port show - IP 空间集群

    每个端口都应显示 "Link" 和 "Health" :

cluster1::*> network port show -ipspace Cluster

Node: node1
                                                  Speed(Mbps)  Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status
--------- ------------ ---------------- ---- ---- ------------ ---------
e3a       Cluster      Cluster          up   9000  auto/100000 healthy
e3b       Cluster      Cluster          up   9000  auto/100000 healthy

Node: node2
                                                  Speed(Mbps)  Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status
--------- ------------ ---------------- ---- ---- ------------ ---------
e3a       Cluster      Cluster          up   9000  auto/100000 healthy
e3b       Cluster      Cluster          up   9000  auto/100000 healthy
4 entries were displayed.
  1. 【第 7 步】验证所有集群 LIF 是否均已启动且正常运行: network interface show - vserver Cluster

    对于 为 Home ,每个集群 LIF 均应显示 true ,并且状态为 Admin/Oper 为 up/up 。

cluster1::*> network interface show -vserver Cluster
            Logical     Status     Network            Current       Current Is
Vserver     Interface   Admin/Oper Address/Mask       Node          Port    Home
----------- ---------- ---------- ------------------ ------------- ------- -----
Cluster
            node1_clus1  up/up    169.254.209.69/16  node1         e3a     true
            node1_clus2  up/up    169.254.49.125/16  node1         e3b     true
            node2_clus1  up/up    169.254.47.194/16  node2         e3a     true
            node2_clus2  up/up    169.254.19.183/16  node2         e3b     true
4 entries were displayed.
  1. 【第 8 步】验证是否已在所有集群 LIF 上启用自动还原: network interface show - vserver cluster -fields auto-revert

cluster1::*> network interface show -vserver Cluster -fields auto-revert
       Logical
Vserver   Interface     Auto-revert
--------- ------------- ------------
Cluster
          node1_clus1   true
          node1_clus2   true
          node2_clus1   true
          node2_clus2   true
4 entries were displayed.
  1. 【第 9 步】从 node1 上的集群端口 E3A 断开缆线连接,然后使用 9336C-x2 交换机支持的适当布线方式将 E3A 连接到集群交换机 CS1 上的端口 1 。

    NetApp "Hardware Universe" 包含有关布线的详细信息。

  2. 从节点 2 上的集群端口 E3A 断开缆线连接,然后使用 9336C-x2 交换机支持的相应布线方式将 E3A 连接到集群交换机 CS1 上的端口 2 。

  3. 启用集群交换机 CS1 上面向节点的所有端口。

    以下示例显示交换机 CS1 上的端口 1/1 到 1/34 已启用:

cs1# config
Enter configuration commands, one per line. End with CNTL/Z.
cs1(config)# interface e1/1-34
cs1(config-if-range)# no shutdown
  1. 【第 12 步 ]] 确认 Is Homenetwork interface show - Vserver Cluster 的所有集群 LIF 均为 * 已启动 * 且正常运行且显示为 true

    以下示例显示 node1 和 node2 上的所有 LIF 均为 * 上 * ,并且 为主目录 结果为 * 上 * :

cluster1::*> network interface show -vserver Cluster
          Logical      Status     Network            Current     Current Is
Vserver   Interface    Admin/Oper Address/Mask       Node        Port    Home
--------- ------------ ---------- ------------------ ----------- ------- ----
Cluster
          node1_clus1  up/up      169.254.209.69/16  node1       e3a     true
          node1_clus2  up/up      169.254.49.125/16  node1       e3b     true
          node2_clus1  up/up      169.254.47.194/16  node2       e3a     true
          node2_clus2  up/up      169.254.19.183/16  node2       e3b     true
4 entries were displayed.
  1. 【第 13 步】显示有关集群中节点状态的信息: cluster show

    以下示例显示了有关集群中节点的运行状况和资格的信息:

cluster1::*> cluster show
Node                 Health  Eligibility   Epsilon
-------------------- ------- ------------  ------------
node1                true    true          false
node2                true    true          false
2 entries were displayed.
  1. 【第 14 步】从 node1 上的集群端口 e3b 拔下缆线,然后使用 9336C-x2 交换机支持的适当布线方式将 e3b 连接到集群交换机 CS2 上的端口 1 。

  2. 断开节点 2 上集群端口 e3b 的缆线连接,然后使用 9336C-x2 交换机支持的相应布线方式将 e3b 连接到集群交换机 CS2 上的端口 2 。

  3. 启用集群交换机 CS2 上面向节点的所有端口。

    以下示例显示交换机 CS2 上的端口 1/1 到 1/34 已启用:

cs2# config
Enter configuration commands, one per line. End with CNTL/Z.
cs2(config)# interface e1/1-34
cs2(config-if-range)# no shutdown
  1. 【第 17 步】验证所有集群端口是否均已启动: network port show - IP 空间集群

    以下示例显示 node1 和 node2 上的所有集群端口均已启动:

cluster1::*> network port show -ipspace Cluster

Node: node1
                                                                        Ignore
                                                  Speed(Mbps)  Health   Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status   Status
--------- ------------ ---------------- ---- ---- ------------ -------- ------
e3a       Cluster      Cluster          up   9000  auto/100000 healthy  false
e3b       Cluster      Cluster          up   9000  auto/100000 healthy  false

Node: node2
                                                                        Ignore
                                                  Speed(Mbps)  Health   Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status   Status
--------- ------------ ---------------- ---- ---- ------------ -------- ------
e3a       Cluster      Cluster          up   9000  auto/100000 healthy  false
e3b       Cluster      Cluster          up   9000  auto/100000 healthy  false
4 entries were displayed.
  1. 【第 18 步】验证 为主页 的所有接口是否均显示 true : network interface show - Vserver Cluster

备注 完成此操作可能需要几分钟时间。

以下示例显示 node1 和 node2 上的所有 LIF 均为 * 上 * ,并且 为主目录 结果为 true :

cluster1::*> network interface show -vserver Cluster
          Logical      Status     Network            Current    Current Is
Vserver   Interface    Admin/Oper Address/Mask       Node       Port    Home
--------- ------------ ---------- ------------------ ---------- ------- ----
Cluster
          node1_clus1  up/up      169.254.209.69/16  node1      e3a     true
          node1_clus2  up/up      169.254.49.125/16  node1      e3b     true
          node2_clus1  up/up      169.254.47.194/16  node2      e3a     true
          node2_clus2  up/up      169.254.19.183/16  node2      e3b     true
4 entries were displayed.
  1. 【第 19 步】验证两个节点与每个交换机之间是否有一个连接: scdp 邻居的方式

    以下示例显示了这两个交换机的相应结果:

cs1# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
                  S - Switch, H - Host, I - IGMP, r - Repeater,
                  V - VoIP-Phone, D - Remotely-Managed-Device,
                  s - Supports-STP-Dispute
Device-ID          Local Intrfce  Hldtme Capability  Platform      Port ID
node1              Eth1/1         133    H           AFFA400       e3a
node2              Eth1/2         133    H           AFFA400       e3a
cs2                Eth1/35        175    R S I s     N9K-C9336C    Eth1/35
cs2                Eth1/36        175    R S I s     N9K-C9336C    Eth1/36
Total entries displayed: 4
cs2# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
                  S - Switch, H - Host, I - IGMP, r - Repeater,
                  V - VoIP-Phone, D - Remotely-Managed-Device,
                  s - Supports-STP-Dispute
Device-ID          Local Intrfce  Hldtme Capability  Platform      Port ID
node1              Eth1/1         133    H           AFFA400       e3b
node2              Eth1/2         133    H           AFFA400       e3b
cs1                Eth1/35        175    R S I s     N9K-C9336C    Eth1/35
cs1                Eth1/36        175    R S I s     N9K-C9336C    Eth1/36
Total entries displayed: 4
  1. 【第 20 步】显示有关集群中发现的网络设备的信息: network device-discovery show -protocol cdp

cluster1::*> network device-discovery show -protocol cdp
Node/       Local  Discovered
Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
----------- ------ ------------------------- ----------------  ----------------
node2       /cdp
            e3a    cs1                       0/2               N9K-C9336C
            e3b    cs2                       0/2               N9K-C9336C

node1       /cdp
            e3a    cs1                       0/1               N9K-C9336C
            e3b    cs2                       0/1               N9K-C9336C
4 entries were displayed.
  1. sHA 对 1 (和 HA 对 2 )的存储配置是否正确且无错误: system switch Ethernet show

storage::*> system switch ethernet show
Switch                    Type                   Address         Model
------------------------- ---------------------- --------------- ----------
sh1
                          storage-network        172.17.227.5    C9336C

       Serial Number: FOC221206C2
        Is Monitored: true
              Reason: None
    Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                      9.3(5)
      Version Source: CDP
sh2
                          storage-network        172.17.227.6    C9336C
       Serial Number: FOC220443LZ
        Is Monitored: true
              Reason: None
    Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                      9.3(5)
      Version Source: CDP
2 entries were displayed.
storage::*>
  1. 【第 22 步】验证设置是否已禁用: network options switchless-cluster show

备注 完成此命令可能需要几分钟的时间。等待 " 三分钟生命周期到期 " 公告。

以下示例中的 false 输出显示配置设置已禁用:

cluster1::*> network options switchless-cluster show
Enable Switchless Cluster: false
  1. 【第 23 步】验证集群中节点成员的状态: cluster show

    以下示例显示了有关集群中节点的运行状况和资格的信息:

cluster1::*> cluster show
Node                 Health  Eligibility   Epsilon
-------------------- ------- ------------  --------
node1                true    true          false
node2                true    true          false
  1. 【第 24 步】确保集群网络具有完全连接: cluster ping-cluster -node node-name

cluster1::*> cluster ping-cluster -node node2
Host is node2
Getting addresses from network interface table...
Cluster node1_clus1 169.254.209.69 node1 e3a
Cluster node1_clus2 169.254.49.125 node1 e3b
Cluster node2_clus1 169.254.47.194 node2 e3a
Cluster node2_clus2 169.254.19.183 node2 e3b
Local = 169.254.47.194 169.254.19.183
Remote = 169.254.209.69 169.254.49.125
Cluster Vserver Id = 4294967293
Ping status:
...
Basic connectivity succeeds on 4 path(s)
Basic connectivity fails on 0 path(s)
...
Detected 9000 byte MTU on 4 path(s):
Local 169.254.47.194 to Remote 169.254.209.69
Local 169.254.47.194 to Remote 169.254.49.125
Local 169.254.19.183 to Remote 169.254.209.69
Local 169.254.19.183 to Remote 169.254.49.125
Larger than PMTU communication succeeds on 4 path(s)
RPC status:
2 paths up, 0 paths down (tcp check)
2 paths up, 0 paths down (udp check)
  1. 【第 25 步】将权限级别改回 admin : set -privilege admin

  2. 使用以下命令启用以太网交换机运行状况监控器日志收集功能,以收集交换机相关的日志文件:

    • s系统交换机以太网日志设置密码

    • s系统交换机以太网日志 enable-Collection

cluster1::*> system switch ethernet log setup-password
Enter the switch name: <return>
The switch name entered is not recognized.

Choose from the following list:
cs1
cs2
cluster1::*> system switch ethernet log setup-password
Enter the switch name: cs1
RSA key fingerprint is e5:8b:c6:dc:e2:18:18:09:36:63:d9:63:dd:03:d9:cc
Do you want to continue? {y|n}::[n] y
Enter the password: <enter switch password>
Enter the password again: <enter switch password>
cluster1::*> system switch ethernet log setup-password
Enter the switch name: cs2
RSA key fingerprint is 57:49:86:a1:b9:80:6a:61:9a:86:8e:3c:e3:b7:1f:b1
Do you want to continue? {y|n}:: [n] y
Enter the password: <enter switch password>
Enter the password again: <enter switch password>
cluster1::*> system  switch ethernet log enable-collection
Do you want to enable cluster log collection for all nodes in the cluster? {y|n}: [n] y
Enabling cluster switch log collection.
cluster1::*>

设置共享交换机

此操作步骤中的示例使用以下交换机和节点命名:

  • 两个共享交换机的名称分别为 SH1SH2

  • 节点为 node1node2

备注 操作步骤要求同时使用 ONTAP 命令和 Cisco Nexus 9000 系列交换机命令,除非另有说明,否则会使用 ONTAP 命令。
步骤
  1. 验证 HA 对 1 (和 HA 对 2 )的存储配置是否正确且无错误: ssystem switch Ethernet show

storage::*> system switch ethernet show
Switch                    Type                   Address         Model
------------------------- ---------------------  --------------- -------
sh1
                          storage-network        172.17.227.5    C9336C

      Serial Number: FOC221206C2
       Is Monitored: true
             Reason: None
   Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                     9.3(5)
     Version Source: CDP
sh2
                          storage-network        172.17.227.6    C9336C
       Serial Number: FOC220443LZ
        Is Monitored: true
              Reason: None
    Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                      9.3(5)
      Version Source: CDP
2 entries were displayed.
storage::*>
  1. s存储节点端口运行状况良好且正常运行: torage port show -port-type ENET

storage::*> storage port show -port-type ENET
                                   Speed                             VLAN
Node    Port    Type    Mode       (Gb/s)      State      Status       ID
------- ------- ------- ---------- ----------- ---------- ---------- -----
node1
        e0c     ENET   storage          100      enabled  online        30
        e0d     ENET   storage          100      enabled  online        30
        e5a     ENET   storage          100      enabled  online        30
        e5b     ENET   storage          100      enabled  online        30

node2
        e0c     ENET  storage           100      enabled  online        30
        e0d     ENET  storage           100      enabled  online        30
        e5a     ENET  storage           100      enabled  online        30
        e5b     ENET  storage           100      enabled  online        30
  1. 【第 3 步】将 HA 对 1 的 NSM224 路径 A 端口移至 SH1 端口范围 11-22 。

  2. 安装从 HA 对 1 节点 1 路径 A 到 SH1 端口范围 11-22 的缆线。例如, AFF A400 上的存储端口路径为 e0c 。

  3. 安装从 HA 对 1 节点 2 路径 A 到 SH1 端口范围 11-22 的缆线。

  4. 验证节点端口是否运行正常: storage port show -port-type ENET

storage::*> storage port show -port-type ENET
                                   Speed                             VLAN
Node    Port    Type    Mode       (Gb/s)      State      Status       ID
------- ------- ------- ---------- ----------- ---------- ---------- -----
node1
        e0c     ENET   storage          100      enabled  online        30
        e0d     ENET   storage            0      enabled  offline       30
        e5a     ENET   storage            0      enabled  offline       30
        e5b     ENET   storage          100      enabled  online        30

node2
        e0c     ENET  storage           100      enabled  online        30
        e0d     ENET  storage             0      enabled  offline       30
        e5a     ENET  storage             0      enabled  offline       30
        e5b     ENET  storage           100      enabled  online        30
  1. 【第 7 步】检查集群是否没有存储交换机或布线问题: ssystem health alert show -instance

storage::*> system health alert show -instance
There are no entries matching your query.
  1. 【第 8 步】将 HA 对 1 的 NSM224 路径 B 端口移至 SH2 端口范围 11-22 。

  2. 安装从 HA 对 1 节点 1 路径 B 到 SH2 端口范围 11-22 的缆线。例如, AFF A400 上的路径 B 存储端口为 e5b 。

  3. 安装从 HA 对 1 节点 2 路径 B 到 SH2 端口范围 11-22 的缆线。

  4. 验证节点端口是否运行正常: storage port show -port-type ENET

storage::*> storage port show -port-type ENET
                                   Speed                             VLAN
Node    Port    Type    Mode       (Gb/s)      State      Status       ID
------- ------- ------- ---------- ----------- ---------- ---------- -----
node1
        e0c     ENET   storage          100      enabled  online        30
        e0d     ENET   storage            0      enabled  offline       30
        e5a     ENET   storage            0      enabled  offline       30
        e5b     ENET   storage          100      enabled  online        30

node2
        e0c     ENET  storage           100      enabled  online        30
        e0d     ENET  storage             0      enabled  offline       30
        e5a     ENET  storage             0      enabled  offline       30
        e5b     ENET  storage           100      enabled  online        30
  1. sHA 对 1 的存储配置是否正确且无错误: system switch Ethernet show

storage::*> system switch ethernet show
Switch                    Type                   Address          Model
------------------------- ---------------------- ---------------- ----------
sh1
                          storage-network        172.17.227.5     C9336C

      Serial Number: FOC221206C2
       Is Monitored: true
             Reason: None
   Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                     9.3(5)
     Version Source: CDP
sh2
                          storage-network        172.17.227.6     C9336C
      Serial Number: FOC220443LZ
       Is Monitored: true
             Reason: None
   Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                     9.3(5)
     Version Source: CDP
2 entries were displayed.
storage::*>
  1. 【第 13 步】将 HA 对 1 上未使用的(控制器)二级存储端口从存储重新配置到网络。如果直接连接了多个 NS224 ,则应重新配置一些端口。

storage port modify –node [node name] –port [port name] –mode network

将存储端口置于广播域中:

  • network port broadcast-domain create (根据需要创建新域)

  • network port broadcast-domain add-ports (用于向现有域添加端口)

    1. 【第 14 步】如果您禁止自动创建案例,请通过调用 AutoSupport 消息重新启用此功能: ssystem node AutoSupport invoke -node * -type all -message MAINT=end