从无交换机集群迁移到直连存储
建议更改
PDF
您可以通过添加两个新的共享交换机，从无交换机集群（采用直连存储）迁移到共享集群。
具体操作步骤取决于每个控制器上是有两个专用集群网络端口还是只有一个集群端口。记录的过程适用于所有使用光纤或 Twinax 端口的节点，但如果节点使用板载 10Gb BASE-T RJ45 端口作为集群网络端口，则此交换机不支持此过程。
大多数系统需要在每个控制器上设置两个专用的集群网络端口。看 "Cisco以太网交换机"了解更多信息。
如果您已有双节点无交换机集群环境，则可以使用Cisco Nexus 9336C-FX2 交换机迁移到双节点有交换机集群环境，以便能够将集群扩展到两个以上节点。
审查要求
确保：
-
对于双节点无交换机配置：
-
双节点无交换机配置已正确设置并运行正常。
-
这些节点运行的是ONTAP 9.8 及更高版本。
-
集群所有端口均处于*开启*状态。
-
所有集群逻辑接口（LIF）均处于 up 状态，并位于其 home 端口上。
-
-
对于Cisco Nexus 9336C-FX2 交换机配置：
-
两台交换机都具备管理网络连接功能。
-
可以通过控制台访问集群交换机。
-
Nexus 9336C-FX2 节点到节点交换机和交换机到交换机连接使用 Twinax 或光纤电缆。
-
NetApp "Hardware Universe"包含更多关于布线的信息。
-
交换机间链路 (ISL) 电缆连接到两个 9336C-FX2 交换机上的端口 1/35 和 1/36。
-
-
9336C-FX2交换机的初步定制工作已完成。因此：
-
9336C-FX2交换机运行的是最新版本的软件
-
参考配置文件 (RCF) 已应用于交换机
-
任何站点定制，如 SMTP、SNMP 和 SSH，都在新交换机上进行配置。
-
迁移交换机
本流程中的示例使用以下集群交换机和节点命名规则：
-
9336C-FX2 交换机的名称是 cs1 和 cs2。
-
聚类SVM的名称为_node1_和_node2_。
-
节点 1 上的 LIF 名称分别为 node1_clus1 和 node1_clus2，节点 2 上的 LIF 名称分别为 node2_clus1 和 node2_clus2。
-
cluster1::*> 提示符指示集群的名称。
-
根据AFF A400控制器，此过程中使用的集群端口为 e3a 和 e3b。这 "Hardware Universe"包含有关您平台实际集群端口的最新信息。
步骤 1：从无交换机的集群迁移到直连式集群
-
如果此集群上启用了AutoSupport ，则通过调用AutoSupport消息来抑制自动创建案例：
system node autosupport invoke -node * -type all -message MAINT=xh。其中 x 为维护窗口的持续时间（小时）。
|
AutoSupport消息会通知技术支持此维护任务，以便在维护窗口期间抑制自动创建案例。 |
-
步骤2：将权限级别更改为高级，并在提示继续时输入y：
set -privilege advanced出现高级提示符（*>）。
-
禁用新集群交换机 cs1 和 cs2 上所有面向节点的端口（非 ISL 端口）。您不得禁用 ISL 端口。
显示示例
以下示例显示交换机 cs1 上面向节点的端口 1 到 34 已禁用：
cs1# config Enter configuration commands, one per line. End with CNTL/Z. cs1(config)# interface e1/1-34 cs1(config-if-range)# shutdown
-
验证两个 9336C-FX2 交换机 cs1 和 cs2 之间的 ISL 以及 ISL 上的物理端口 1/35 和 1/36 是否已启动：
show port-channel summary显示示例
以下示例表明交换机 cs1 上的 ISL 端口已启动：
cs1# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/35(P) Eth1/36(P)以下示例表明交换机 cs2 上的 ISL 端口已启动：
cs2# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/35(P) Eth1/36(P) -
【步骤5】显示相邻设备列表：
show cdp neighbors此命令提供有关连接到系统的设备的信息。
显示示例
以下示例列出了交换机 cs1 上的相邻设备：
cs1# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID cs2 Eth1/35 175 R S I s N9K-C9336C Eth1/35 cs2 Eth1/36 175 R S I s N9K-C9336C Eth1/36 Total entries displayed: 2以下示例列出了交换机 cs2 上的相邻设备：
cs2# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID cs1 Eth1/35 177 R S I s N9K-C9336C Eth1/35 cs1 ) Eth1/36 177 R S I s N9K-C9336C Eth1/36 Total entries displayed: 2 -
步骤6：验证集群所有端口是否都已启动：
network port show - ipspace Cluster每个端口的“连接”状态应显示为“已连接”，“健康状况”状态应显示为“正常”。
显示示例
cluster1::*> network port show -ipspace Cluster Node: node1 Speed(Mbps) Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status --------- ------------ ---------------- ---- ---- ------------ --------- e3a Cluster Cluster up 9000 auto/100000 healthy e3b Cluster Cluster up 9000 auto/100000 healthy Node: node2 Speed(Mbps) Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status --------- ------------ ---------------- ---- ---- ------------ --------- e3a Cluster Cluster up 9000 auto/100000 healthy e3b Cluster Cluster up 9000 auto/100000 healthy 4 entries were displayed. -
步骤7：验证所有集群LIF是否已启动并正常运行：
network interface show - vserver Cluster每个聚类 LIF 都应该显示为 true `Is Home`并且管理员/操作员状态为 up/up。
显示示例
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ----- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true 4 entries were displayed. -
network interface show - vserver Cluster -fields auto-revert显示示例
cluster1::*> network interface show -vserver Cluster -fields auto-revert Logical Vserver Interface Auto-revert --------- ------------- ------------ Cluster node1_clus1 true node1_clus2 true node2_clus1 true node2_clus2 true 4 entries were displayed. -
断开节点 1 上的集群端口 e3a 的电缆，然后使用 9336C-FX2 交换机支持的适当电缆将 e3a 连接到集群交换机 cs1 上的端口 1。
NetApp "Hardware Universe"包含更多关于布线的信息。看 "安装HWU中没有的设备还需要哪些额外信息？" 有关交换机安装要求的更多信息。
-
断开节点 2 上的集群端口 e3a 的电缆，然后使用 9336C-FX2 交换机支持的适当电缆将 e3a 连接到集群交换机 cs1 上的端口 2。
-
启用集群交换机 cs1 上所有面向节点的端口。
显示示例
以下示例显示交换机 cs1 上的端口 1/1 到 1/34 已启用：
cs1# config Enter configuration commands, one per line. End with CNTL/Z. cs1(config)# interface e1/1-34 cs1(config-if-range)# no shutdown
-
验证所有集群 LIF 是否已启动、运行正常，并且显示为 true。
Is Home：network interface show - vserver Cluster显示示例
以下示例表明，节点 1 和节点 2 上的所有 LIF 都已启动。 `Is Home`结果属实：
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ----------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true 4 entries were displayed. -
cluster show显示示例
以下示例显示了集群中节点的健康状况和资格信息：
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------------ node1 true true false node2 true true false 2 entries were displayed.
-
断开节点 1 上的集群端口 e3b 的电缆，然后使用 9336C-FX2 交换机支持的适当电缆将 e3b 连接到集群交换机 cs2 上的端口 1。
-
断开节点 2 上的集群端口 e3b 的电缆，然后使用 9336C-FX2 交换机支持的适当电缆将 e3b 连接到集群交换机 cs2 上的端口 2。
-
启用集群交换机 cs2 上所有面向节点的端口。
显示示例
以下示例显示交换机 cs2 上的端口 1/1 到 1/34 已启用：
cs2# config Enter configuration commands, one per line. End with CNTL/Z. cs2(config)# interface e1/1-34 cs2(config-if-range)# no shutdown
-
步骤17：验证集群所有端口是否都已启动。
network port show - ipspace Cluster显示示例
以下示例表明节点 1 和节点 2 上的所有集群端口均已启动：
cluster1::*> network port show -ipspace Cluster Node: node1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false Node: node2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ------------ -------- ------ e3a Cluster Cluster up 9000 auto/100000 healthy false e3b Cluster Cluster up 9000 auto/100000 healthy false 4 entries were displayed. -
步骤18：验证所有接口是否都显示为 true。
Is Home：network interface show - vserver Cluster
这可能需要几分钟才能完成。 显示示例
以下示例表明，节点 1 和节点 2 上的所有 LIF 都已启动。 `Is Home`结果属实：
cluster1::*> network interface show -vserver Cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home --------- ------------ ---------- ------------------ ---------- ------- ---- Cluster node1_clus1 up/up 169.254.209.69/16 node1 e3a true node1_clus2 up/up 169.254.49.125/16 node1 e3b true node2_clus1 up/up 169.254.47.194/16 node2 e3a true node2_clus2 up/up 169.254.19.183/16 node2 e3b true 4 entries were displayed. -
步骤19：验证两个节点是否都与每个交换机有一条连接：
show cdp neighbors显示示例
以下示例显示了两种开关的正确结果：
cs1# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID node1 Eth1/1 133 H AFFA400 e3a node2 Eth1/2 133 H AFFA400 e3a cs2 Eth1/35 175 R S I s N9K-C9336C Eth1/35 cs2 Eth1/36 175 R S I s N9K-C9336C Eth1/36 Total entries displayed: 4 cs2# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID node1 Eth1/1 133 H AFFA400 e3b node2 Eth1/2 133 H AFFA400 e3b cs1 Eth1/35 175 R S I s N9K-C9336C Eth1/35 cs1 Eth1/36 175 R S I s N9K-C9336C Eth1/36 Total entries displayed: 4 -
network device-discovery show -protocol cdp显示示例
cluster1::*> network device-discovery show -protocol cdp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ---------------- ---------------- node2 /cdp e3a cs1 0/2 N9K-C9336C e3b cs2 0/2 N9K-C9336C node1 /cdp e3a cs1 0/1 N9K-C9336C e3b cs2 0/1 N9K-C9336C 4 entries were displayed. -
验证 HA 对 1（和 HA 对 2）的存储配置是否正确且无错误：
system switch ethernet show显示示例
storage::*> system switch ethernet show Switch Type Address Model ------------------------- ---------------------- --------------- ---------- sh1 storage-network 172.17.227.5 C9336C Serial Number: FOC221206C2 Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP sh2 storage-network 172.17.227.6 C9336C Serial Number: FOC220443LZ Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP 2 entries were displayed. storage::*> -
步骤22：确认这些设置已禁用：
network options switchless-cluster show
命令可能需要几分钟才能完成。等待“剩余3分钟生命即将耗尽”的公告。 这 `false`以下示例的输出表明配置设置已被禁用：
显示示例
cluster1::*> network options switchless-cluster show Enable Switchless Cluster: false
-
cluster show显示示例
以下示例显示了集群中节点的健康状况和资格信息：
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ -------- node1 true true false node2 true true false
-
验证远程集群接口的连接性：
你可以使用 `network interface check cluster-connectivity`执行命令以启动集群连接性检查，然后显示详细信息：
network interface check cluster-connectivity start`和 `network interface check cluster-connectivity show
cluster1::*> network interface check cluster-connectivity start
*注意：*运行程序前请等待几秒钟 `show`显示详细信息的命令。
cluster1::*> network interface check cluster-connectivity show
Source Destination Packet
Node Date LIF LIF Loss
------ -------------------------- ---------------- ---------------- -----------
node1
3/5/2022 19:21:18 -06:00 node1_clus2 node2-clus1 none
3/5/2022 19:21:20 -06:00 node1_clus2 node2_clus2 none
node2
3/5/2022 19:21:18 -06:00 node2_clus2 node1_clus1 none
3/5/2022 19:21:20 -06:00 node2_clus2 node1_clus2 none
对于所有ONTAP版本，您也可以使用 `cluster ping-cluster -node <name>`检查连接性的命令：
cluster ping-cluster -node <name>
cluster1::*> cluster ping-cluster -node local Host is node2 Getting addresses from network interface table... Cluster node1_clus1 169.254.209.69 node1 e3a Cluster node1_clus2 169.254.49.125 node1 e3b Cluster node2_clus1 169.254.47.194 node2 e3a Cluster node2_clus2 169.254.19.183 node2 e3b Local = 169.254.47.194 169.254.19.183 Remote = 169.254.209.69 169.254.49.125 Cluster Vserver Id = 4294967293 Ping status:.... Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) ................ Detected 9000 byte MTU on 4 path(s): Local 169.254.47.194 to Remote 169.254.209.69 Local 169.254.47.194 to Remote 169.254.49.125 Local 169.254.19.183 to Remote 169.254.209.69 Local 169.254.19.183 to Remote 169.254.49.125 Larger than PMTU communication succeeds on 4 path(s) RPC status: 2 paths up, 0 paths down (tcp check) 2 paths up, 0 paths down (udp check)
-
步骤25：将权限级别改回管理员：
set -privilege admin
步骤 2：设置共享交换机
本流程中的示例使用以下开关和节点命名规则：
-
两个共享交换机的名称分别为 sh1 和 sh2。
-
节点分别为 node1 和 node2。
|
|
该过程需要同时使用ONTAP命令和Cisco Nexus 9000 系列交换机命令，除非另有说明，否则使用ONTAP命令。 |
-
验证 HA 对 1（以及 HA 对 2）的存储配置是否正确且无错误：
system switch ethernet show显示示例
storage::*> system switch ethernet show Switch Type Address Model ------------------------- --------------------- --------------- ------- sh1 storage-network 172.17.227.5 C9336C Serial Number: FOC221206C2 Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP sh2 storage-network 172.17.227.6 C9336C Serial Number: FOC220443LZ Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP 2 entries were displayed. storage::*> -
确认存储节点端口运行正常：
storage port show -port-type ENET显示示例
storage::*> storage port show -port-type ENET Speed VLAN Node Port Type Mode (Gb/s) State Status ID ------- ------- ------- ---------- ----------- ---------- ---------- ----- node1 e0c ENET storage 100 enabled online 30 e0d ENET storage 100 enabled online 30 e5a ENET storage 100 enabled online 30 e5b ENET storage 100 enabled online 30 node2 e0c ENET storage 100 enabled online 30 e0d ENET storage 100 enabled online 30 e5a ENET storage 100 enabled online 30 e5b ENET storage 100 enabled online 30 -
安装一条从 HA 对 1、节点 1、路径 A 到 sh1 端口范围 11-22 的电缆。例如， AFF A400上的路径 A 存储端口为 e0c。
-
安装一条从 HA 对 1、节点 2、路径 A 到 sh1 端口范围 11-22 的电缆。
-
确认节点端口运行正常：
storage port show -port-type ENET显示示例
storage::*> storage port show -port-type ENET Speed VLAN Node Port Type Mode (Gb/s) State Status ID ------- ------- ------- ---------- ----------- ---------- ---------- ----- node1 e0c ENET storage 100 enabled online 30 e0d ENET storage 0 enabled offline 30 e5a ENET storage 0 enabled offline 30 e5b ENET storage 100 enabled online 30 node2 e0c ENET storage 100 enabled online 30 e0d ENET storage 0 enabled offline 30 e5a ENET storage 0 enabled offline 30 e5b ENET storage 100 enabled online 30 -
检查集群是否存在存储交换机或线缆问题：
system health alert show -instance显示示例
storage::*> system health alert show -instance There are no entries matching your query.
-
将 HA 对 1、NSM224 路径 B 端口移至 sh2 端口范围 11-22。
-
安装一条从 HA 对 1、节点 1、路径 B 到 sh2 端口范围 11-22 的电缆。例如， AFF A400上的 B 路径存储端口为 e5b。
-
安装一条从 HA 对 1、节点 2、路径 B 到 sh2 端口范围 11-22 的电缆。
-
确认节点端口运行正常：
storage port show -port-type ENET显示示例
storage::*> storage port show -port-type ENET Speed VLAN Node Port Type Mode (Gb/s) State Status ID ------- ------- ------- ---------- ----------- ---------- ---------- ----- node1 e0c ENET storage 100 enabled online 30 e0d ENET storage 0 enabled offline 30 e5a ENET storage 0 enabled offline 30 e5b ENET storage 100 enabled online 30 node2 e0c ENET storage 100 enabled online 30 e0d ENET storage 0 enabled offline 30 e5a ENET storage 0 enabled offline 30 e5b ENET storage 100 enabled online 30 -
验证HA对1的存储配置是否正确且无错误：
system switch ethernet show显示示例
storage::*> system switch ethernet show Switch Type Address Model ------------------------- ---------------------- ---------------- ---------- sh1 storage-network 172.17.227.5 C9336C Serial Number: FOC221206C2 Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP sh2 storage-network 172.17.227.6 C9336C Serial Number: FOC220443LZ Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP 2 entries were displayed. storage::*> -
将 HA 对 1 上未使用的（控制器）辅助存储端口从存储重新配置为网络。如果直接连接了多个 NS224，则需要重新配置某些端口。
显示示例
storage port modify –node [node name] –port [port name] –mode network
将存储端口放入广播域：
-
network port broadcast-domain create（如有需要，创建新域名） -
network port broadcast-domain add-ports（向现有域添加端口）
-
-
如果您已禁用自动创建案例功能，请通过调用AutoSupport消息重新启用该功能：
system node autosupport invoke -node * -type all -message MAINT=END
交换机迁移完成后，您可以…… "配置交换机健康监控"。