開始使用
安裝或升級參考組態檔案（ RCF ）
建議變更
PDF
首次設定 Nexus 9336C-FX2 交換器後、請安裝參考組態檔案（ RCF ）。當您的交換器上安裝了 RCF 檔案的現有版本時、即可升級 RCF 版本。
下表說明適用於不同組態的 RCFs 。選擇適用於您組態的 RCF 。
如需特定連接埠和 VLAN 使用詳細資料、請參閱 RCF 中的橫幅和重要附註一節。
| RCF 名稱 | 說明 |
|---|---|
2-Cluster-HA-Breakout |
支援兩個 ONTAP 叢集、至少有八個節點、包括使用共用叢集 + HA 連接埠的節點。 |
4-Cluster-HA-Breakout |
支援四個 ONTAP 叢集、至少有四個節點、包括使用共享叢集 + HA 連接埠的節點。 |
1-Cluster-HA |
所有連接埠均設定為 40/100GbE 。支援連接埠上的共用叢集 / HA 流量。AFF A320 、 AFF A250 和 FAS500f 系統所需。此外、所有連接埠都可作為專用叢集連接埠使用。 |
1-Cluster-HA-Breakout |
連接埠可設定為 4x10GbE 離線、 4x25GbE 離線（ 100GbE 交換器上的 RCF 1.6+ ）和 40/100GbE 。在使用共享叢集 / HA 連接埠的節點上、支援共享叢集 / HA 流量： AFF A320 、 AFF A250 和 FAS500f 系統。此外、所有連接埠都可作為專用叢集連接埠使用。 |
叢集式 HA 儲存設備 |
連接埠可設定為用於叢集 + HA 的 40/100GbE 、用於叢集的 4x10GbE 中斷連接、用於叢集 + HA 的 4x25GbE 中斷連接、以及用於每個儲存 HA 配對的 100GbE 連接埠。 |
叢集 |
兩種 RCF 類型、分別配置 4 個 10GbE 連接埠（中斷）和 40/100GbE 連接埠。除了 AFF A320 、 AFF A250 和 FAS500f 系統之外、所有的 FS/AFF 節點都受到支援。 |
儲存設備 |
所有連接埠均設定為 100GbE NVMe 儲存連線。 |
-
請參閱交換器相容性表、瞭解 NetApp 支援網站 上支援的 ONTAP 和 RCF 版本。請注意、 RCF 中的命令語法與特定版本 NX-OS 中的語法之間可能存在命令相依性。
-
如需 Cisco 交換器升級與降級程序的完整文件、請參閱 Cisco 網站上提供的適當軟體與升級指南。
本程序中的範例使用下列交換器和節點命名法：
-
兩個Cisco交換器的名稱為CS1和CS2。
-
節點名稱為cluster1-01、cluster1-02、cluster1-03和cluster1-04。
-
叢集LIF名稱為cluster1-01_clus1、cluster1-01_clus2、cluster1-02_clus1、cluster1-02_clus2、cluster1-03_clus1、 cluster1-03_clus2、cluster1-04_clus1和cluster1-04_clus2。
-
「cluster1：*：>」提示會指出叢集的名稱。
本程序中的範例使用四個節點。這些節點使用兩個10GbE叢集互連連接埠e0a和e0b。請參閱 "Hardware Universe"以驗證平台上正確的叢集連接埠。
|
命令輸出可能會因ONTAP 不同版本的不相同而有所差異。 |
如需可用 RCF 組態的詳細資訊、請參閱 "軟體安裝工作流程"。
此程序需要同時使用ONTAP 支援指令和Cisco Nexus 9000系列交換器的指令；ONTAP 除非另有說明、否則會使用支援指令。
選項 1 ：在新交換器上安裝 RCF 檔案
首次設定 Nexus 9336C-FX2 交換器後、請安裝參考組態檔案（ RCF ）。
請確認下列事項：
-
與交換器的主控台連線。如果您可以遠端存取交換器、則可選用主控台連線。
-
交換器 CS1 和交換器 CS2 已開機、交換器初始設定已完成（管理 IP 位址和 SSH 已設定）
-
已安裝所需的 NX-OS 版本。
-
交換器之間的 ISL 連線已連線。
-
ONTAP 節點叢集連接埠未連線。
步驟 1 ：在交換器上安裝 RCF
-
使用 SSH 或序列主控台登入交換器 CS1 。
-
使用下列傳輸協定之一、將 RCF 複製到交換器 CS1 的 bootflash ： FTP 、 TFTP 、 SFTP 或 SCP 。
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考" 指南：
顯示範例
此範例顯示使用 TFTP 將 RCF 複製到交換器 CS1 上的 bootflash ：
cs1# copy tftp: bootflash: vrf management Enter source filename: Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt Enter hostname for the tftp server: 172.22.201.50 Trying to connect to tftp server......Connection to Server Established. TFTP get operation was successful Copy complete, now saving to disk (please wait)...
-
將先前下載的RCF套用至bootFlash。
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考" 指南：
顯示範例
此範例顯示RCF檔案
Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt安裝在交換器 CS1 上：cs1# copy Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt running-config echo-commands
-
檢查「show banner motd」命令的橫幅輸出。您必須閱讀並遵循這些指示、以確保交換器的組態和操作正確無誤。
顯示範例
cs1# show banner motd ****************************************************************************** * NetApp Reference Configuration File (RCF) * * Switch : Nexus N9K-C9336C-FX2 * Filename : Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt * Date : 10-23-2020 * Version : v1.6 * * Port Usage: * Ports 1- 3: Breakout mode (4x10G) Intra-Cluster Ports, int e1/1/1-4, e1/2/1-4 , e1/3/1-4 * Ports 4- 6: Breakout mode (4x25G) Intra-Cluster/HA Ports, int e1/4/1-4, e1/5/ 1-4, e1/6/1-4 * Ports 7-34: 40/100GbE Intra-Cluster/HA Ports, int e1/7-34 * Ports 35-36: Intra-Cluster ISL Ports, int e1/35-36 * * Dynamic breakout commands: * 10G: interface breakout module 1 port <range> map 10g-4x * 25G: interface breakout module 1 port <range> map 25g-4x * * Undo breakout commands and return interfaces to 40/100G configuration in confi g mode: * no interface breakout module 1 port <range> map 10g-4x * no interface breakout module 1 port <range> map 25g-4x * interface Ethernet <interfaces taken out of breakout mode> * inherit port-profile 40-100G * priority-flow-control mode auto * service-policy input HA * exit * ******************************************************************************
-
確認RCF檔案為正確的更新版本：
「如何執行設定」
當您檢查輸出以確認您擁有正確的RCF時、請確定下列資訊正確無誤：
-
RCF橫幅
-
節點和連接埠設定
-
自訂
輸出會因站台組態而異。請檢查連接埠設定、並參閱版本說明、以瞭解您安裝的RCF的任何特定變更。
-
-
重新套用任何先前的自訂項目至交換器組態。如"檢閱纜線佈線和組態考量"需進一步變更的詳細資料、請參閱。
-
驗證RCF版本和交換器設定是否正確之後、請將執行組態檔複製到啟動組態檔。
copy running-config startup-config顯示範例
cs1# copy running-config startup-config [########################################] 100% Copy complete
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考"。
-
重新開機交換器CS1。
cs1# reloadThis command will reboot the system. (y/n)? [n] y -
在交換器 CS2 上重複步驟 1 到 7 。
-
將 ONTAP 叢集中所有節點的叢集連接埠連接至交換器 CS1 和 CS2 。
步驟 2 ：驗證交換器連線
-
驗證連接至叢集連接埠的交換器連接埠是否為* up*。
show interface brief顯示範例
cs1# show interface brief | grep up . . Eth1/1/1 1 eth access up none 10G(D) -- Eth1/1/2 1 eth access up none 10G(D) -- Eth1/7 1 eth trunk up none 100G(D) -- Eth1/8 1 eth trunk up none 100G(D) -- . .
-
使用下列命令、確認叢集節點位於正確的叢集 VLAN 中：
show vlan briefshow interface trunk顯示範例
cs1# show vlan brief VLAN Name Status Ports ---- -------------------------------- --------- ------------------------------- 1 default active Po1, Eth1/1, Eth1/2, Eth1/3 Eth1/4, Eth1/5, Eth1/6, Eth1/7 Eth1/8, Eth1/35, Eth1/36 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 17 VLAN0017 active Eth1/1, Eth1/2, Eth1/3, Eth1/4 Eth1/5, Eth1/6, Eth1/7, Eth1/8 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 18 VLAN0018 active Eth1/1, Eth1/2, Eth1/3, Eth1/4 Eth1/5, Eth1/6, Eth1/7, Eth1/8 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 31 VLAN0031 active Eth1/11, Eth1/12, Eth1/13 Eth1/14, Eth1/15, Eth1/16 Eth1/17, Eth1/18, Eth1/19 Eth1/20, Eth1/21, Eth1/22 32 VLAN0032 active Eth1/23, Eth1/24, Eth1/25 Eth1/26, Eth1/27, Eth1/28 Eth1/29, Eth1/30, Eth1/31 Eth1/32, Eth1/33, Eth1/34 33 VLAN0033 active Eth1/11, Eth1/12, Eth1/13 Eth1/14, Eth1/15, Eth1/16 Eth1/17, Eth1/18, Eth1/19 Eth1/20, Eth1/21, Eth1/22 34 VLAN0034 active Eth1/23, Eth1/24, Eth1/25 Eth1/26, Eth1/27, Eth1/28 Eth1/29, Eth1/30, Eth1/31 Eth1/32, Eth1/33, Eth1/34 cs1# show interface trunk ----------------------------------------------------- Port Native Status Port Vlan Channel ----------------------------------------------------- Eth1/1 1 trunking -- Eth1/2 1 trunking -- Eth1/3 1 trunking -- Eth1/4 1 trunking -- Eth1/5 1 trunking -- Eth1/6 1 trunking -- Eth1/7 1 trunking -- Eth1/8 1 trunking -- Eth1/9/1 1 trunking -- Eth1/9/2 1 trunking -- Eth1/9/3 1 trunking -- Eth1/9/4 1 trunking -- Eth1/10/1 1 trunking -- Eth1/10/2 1 trunking -- Eth1/10/3 1 trunking -- Eth1/10/4 1 trunking -- Eth1/11 33 trunking -- Eth1/12 33 trunking -- Eth1/13 33 trunking -- Eth1/14 33 trunking -- Eth1/15 33 trunking -- Eth1/16 33 trunking -- Eth1/17 33 trunking -- Eth1/18 33 trunking -- Eth1/19 33 trunking -- Eth1/20 33 trunking -- Eth1/21 33 trunking -- Eth1/22 33 trunking -- Eth1/23 34 trunking -- Eth1/24 34 trunking -- Eth1/25 34 trunking -- Eth1/26 34 trunking -- Eth1/27 34 trunking -- Eth1/28 34 trunking -- Eth1/29 34 trunking -- Eth1/30 34 trunking -- Eth1/31 34 trunking -- Eth1/32 34 trunking -- Eth1/33 34 trunking -- Eth1/34 34 trunking -- Eth1/35 1 trnk-bndl Po1 Eth1/36 1 trnk-bndl Po1 Po1 1 trunking -- ------------------------------------------------------ Port Vlans Allowed on Trunk ------------------------------------------------------ Eth1/1 1,17-18 Eth1/2 1,17-18 Eth1/3 1,17-18 Eth1/4 1,17-18 Eth1/5 1,17-18 Eth1/6 1,17-18 Eth1/7 1,17-18 Eth1/8 1,17-18 Eth1/9/1 1,17-18 Eth1/9/2 1,17-18 Eth1/9/3 1,17-18 Eth1/9/4 1,17-18 Eth1/10/1 1,17-18 Eth1/10/2 1,17-18 Eth1/10/3 1,17-18 Eth1/10/4 1,17-18 Eth1/11 31,33 Eth1/12 31,33 Eth1/13 31,33 Eth1/14 31,33 Eth1/15 31,33 Eth1/16 31,33 Eth1/17 31,33 Eth1/18 31,33 Eth1/19 31,33 Eth1/20 31,33 Eth1/21 31,33 Eth1/22 31,33 Eth1/23 32,34 Eth1/24 32,34 Eth1/25 32,34 Eth1/26 32,34 Eth1/27 32,34 Eth1/28 32,34 Eth1/29 32,34 Eth1/30 32,34 Eth1/31 32,34 Eth1/32 32,34 Eth1/33 32,34 Eth1/34 32,34 Eth1/35 1 Eth1/36 1 Po1 1 .. .. .. .. ..
如需特定連接埠和 VLAN 使用詳細資料、請參閱 RCF 中的橫幅和重要附註一節。 -
確認CS1與CS2之間的ISL正常運作：
「How port-channel Summary」
顯示範例
cs1# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/35(P) Eth1/36(P) cs1#
步驟 3 ：設定 ONTAP 叢集
NetApp 建議您使用系統管理員來設定新叢集。
System Manager 為叢集設定和組態提供簡單易用的工作流程、包括指派節點管理 IP 位址、初始化叢集、建立本機層、設定通訊協定和配置初始儲存設備。
前往 "使用系統管理員在新叢集上設定 ONTAP" 以取得設定指示。
選項 2 ：使用新的 RCF 版本升級現有交換器
當您的作業交換器上已安裝 RCF 檔案的現有版本時、即可升級 RCF 版本。
請確定您擁有下列項目：
-
交換器組態的目前備份。
-
完全正常運作的叢集（記錄檔中沒有錯誤或類似問題）。
-
目前的RCF檔案。
-
如果您要更新 RCF 版本、則需要 RCF 中的開機組態、以反映所需的開機映像。
如果您需要變更開機組態以反映目前的開機映像、則必須在重新套用RCF之前執行此動作、以便在未來重新開機時產生正確的版本。
|
|
在此程序期間、不需要運作中的交換器間連結（ISL）。這是因為RCF版本變更可能會暫時影響ISL連線。為確保叢集作業不中斷、下列程序會在目標交換器上執行步驟時、將所有叢集生命體移轉至作業夥伴交換器。 |
|
在安裝新的交換器軟體版本和RCFs之前、您必須清除交換器設定並執行基本組態。在清除交換器設定之前、您必須使用序列主控台連線至交換器、或保留基本組態資訊。 |
步驟 1 ：準備升級
-
顯示連接至叢集交換器之每個節點上的叢集連接埠：
「網路裝置探索秀」
顯示範例
cluster1::*> network device-discovery show Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ---------------- -------- cluster1-01/cdp e0a cs1 Ethernet1/7 N9K-C9336C e0d cs2 Ethernet1/7 N9K-C9336C cluster1-02/cdp e0a cs1 Ethernet1/8 N9K-C9336C e0d cs2 Ethernet1/8 N9K-C9336C cluster1-03/cdp e0a cs1 Ethernet1/1/1 N9K-C9336C e0b cs2 Ethernet1/1/1 N9K-C9336C cluster1-04/cdp e0a cs1 Ethernet1/1/2 N9K-C9336C e0b cs2 Ethernet1/1/2 N9K-C9336C cluster1::*> -
檢查每個叢集連接埠的管理和作業狀態。
-
驗證所有的叢集連接埠是否為「正常」狀態*「up」*：
network port show –role cluster顯示範例
cluster1::*> network port show -role cluster Node: cluster1-01 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/100000 healthy false e0d Cluster Cluster up 9000 auto/100000 healthy false Node: cluster1-02 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/100000 healthy false e0d Cluster Cluster up 9000 auto/100000 healthy false 8 entries were displayed. Node: cluster1-03 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/10000 healthy false e0b Cluster Cluster up 9000 auto/10000 healthy false Node: cluster1-04 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/10000 healthy false e0b Cluster Cluster up 9000 auto/10000 healthy false cluster1::*> -
確認所有叢集介面（l生命）都位於主連接埠：
「網路介面show -role cluster」
顯示範例
cluster1::*> network interface show -role cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ------------------ ---------- ----------------- ------------ ------- ---- Cluster cluster1-01_clus1 up/up 169.254.3.4/23 cluster1-01 e0a true cluster1-01_clus2 up/up 169.254.3.5/23 cluster1-01 e0d true cluster1-02_clus1 up/up 169.254.3.8/23 cluster1-02 e0a true cluster1-02_clus2 up/up 169.254.3.9/23 cluster1-02 e0d true cluster1-03_clus1 up/up 169.254.1.3/23 cluster1-03 e0a true cluster1-03_clus2 up/up 169.254.1.1/23 cluster1-03 e0b true cluster1-04_clus1 up/up 169.254.1.6/23 cluster1-04 e0a true cluster1-04_clus2 up/up 169.254.1.7/23 cluster1-04 e0b true 8 entries were displayed. cluster1::*> -
驗證叢集是否顯示兩個叢集交換器的資訊：
「系統叢集交換器show -is監控、可運作的true」
顯示範例
cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true Switch Type Address Model --------------------------- ------------------ ---------------- ----- cs1 cluster-network 10.233.205.90 N9K-C9336C Serial Number: FOCXXXXXXGD Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP cs2 cluster-network 10.233.205.91 N9K-C9336C Serial Number: FOCXXXXXXGS Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP cluster1::*> -
-
停用叢集生命體上的自動還原。
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false
步驟2：設定連接埠
-
在叢集交換器CS1上、關閉連接至節點叢集連接埠的連接埠。
cs1(config)# interface eth1/1/1-2,eth1/7-8cs1(config-if-range)# shutdown
請務必關閉 * 所有 * 連線的叢集連接埠、以避免任何網路連線問題。如 "在交換器作業系統升級期間移轉叢集 LIF 時、節點超出仲裁範圍"需詳細資訊、請參閱知識庫文章。 -
驗證叢集生命期是否已容錯移轉至叢集交換器 CS1 上所主控的連接埠。這可能需要幾秒鐘的時間。
「網路介面show -role cluster」
顯示範例
cluster1::*> network interface show -role cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ----------------- ---------- ------------------ ------------- ------- ---- Cluster cluster1-01_clus1 up/up 169.254.3.4/23 cluster1-01 e0a true cluster1-01_clus2 up/up 169.254.3.5/23 cluster1-01 e0a false cluster1-02_clus1 up/up 169.254.3.8/23 cluster1-02 e0a true cluster1-02_clus2 up/up 169.254.3.9/23 cluster1-02 e0a false cluster1-03_clus1 up/up 169.254.1.3/23 cluster1-03 e0a true cluster1-03_clus2 up/up 169.254.1.1/23 cluster1-03 e0a false cluster1-04_clus1 up/up 169.254.1.6/23 cluster1-04 e0a true cluster1-04_clus2 up/up 169.254.1.7/23 cluster1-04 e0a false 8 entries were displayed. cluster1::*> -
驗證叢集是否正常：
「叢集展示」
顯示範例
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------ ------- cluster1-01 true true false cluster1-02 true true false cluster1-03 true true true cluster1-04 true true false 4 entries were displayed. cluster1::*>
-
如果您尚未這麼做、請將下列命令的輸出複製到文字檔、以儲存目前交換器組態的複本：
「如何執行設定」
-
記錄目前執行組態和使用中 RCF 檔案（例如組織的 SNMP 組態）之間的任何自訂新增項目。
-
若為 NX-OS 10.2 及更新版本、請使用
show diff running-config用於比較 bootflash 中儲存的 RCF 檔案的命令。 否則、請使用第三個零件差異 / 比較工具。
-
-
將基本組態詳細資料儲存至 bootflash 上的 write_erase.cfg 檔案。
switch# show run | i "username admin password" > bootflash:write_erase.cfgswitch# show run | section "vrf context management" >> bootflash:write_erase.cfgswitch# show run | section "interface mgmt0" >> bootflash:write_erase.cfgswitch# show run | section "switchname" >> bootflash:write_erase.cfg -
發出寫入清除命令以清除目前儲存的組態：
switch# write eraseWarning: This command will erase the startup-configuration.Do you wish to proceed anyway? (y/n) [n] y -
將先前儲存的基本組態複製到啟動組態。
switch# copy write_erase.cfg startup-config -
重新啟動交換器：
switch# reloadThis command will reboot the system. (y/n)? [n] y -
再次到達管理 IP 位址之後、請透過 SSH 登入交換器。
您可能需要更新與 SSH 金鑰相關的主機檔案項目。
-
使用下列傳輸協定之一、將 RCF 複製到交換器 CS1 的 bootflash ： FTP 、 TFTP 、 SFTP 或 SCP 。
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考" 指南：
顯示範例
此範例顯示使用 TFTP 將 RCF 複製到交換器 CS1 上的 bootflash ：
cs1# copy tftp: bootflash: vrf management Enter source filename: Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt Enter hostname for the tftp server: 172.22.201.50 Trying to connect to tftp server......Connection to Server Established. TFTP get operation was successful Copy complete, now saving to disk (please wait)...
-
將先前下載的RCF套用至bootFlash。
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考" 指南：
顯示範例
此範例顯示RCF檔案
Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt安裝在交換器 CS1 上：cs1# copy Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt running-config echo-commands
-
檢查「show banner motd」命令的橫幅輸出。您必須閱讀並遵循這些指示、以確保交換器的組態和操作正確無誤。
顯示範例
cs1# show banner motd ****************************************************************************** * NetApp Reference Configuration File (RCF) * * Switch : Nexus N9K-C9336C-FX2 * Filename : Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt * Date : 10-23-2020 * Version : v1.6 * * Port Usage: * Ports 1- 3: Breakout mode (4x10G) Intra-Cluster Ports, int e1/1/1-4, e1/2/1-4 , e1/3/1-4 * Ports 4- 6: Breakout mode (4x25G) Intra-Cluster/HA Ports, int e1/4/1-4, e1/5/ 1-4, e1/6/1-4 * Ports 7-34: 40/100GbE Intra-Cluster/HA Ports, int e1/7-34 * Ports 35-36: Intra-Cluster ISL Ports, int e1/35-36 * * Dynamic breakout commands: * 10G: interface breakout module 1 port <range> map 10g-4x * 25G: interface breakout module 1 port <range> map 25g-4x * * Undo breakout commands and return interfaces to 40/100G configuration in confi g mode: * no interface breakout module 1 port <range> map 10g-4x * no interface breakout module 1 port <range> map 25g-4x * interface Ethernet <interfaces taken out of breakout mode> * inherit port-profile 40-100G * priority-flow-control mode auto * service-policy input HA * exit * ******************************************************************************
-
確認RCF檔案為正確的更新版本：
「如何執行設定」
當您檢查輸出以確認您擁有正確的RCF時、請確定下列資訊正確無誤：
-
RCF橫幅
-
節點和連接埠設定
-
自訂
輸出會因站台組態而異。請檢查連接埠設定、並參閱版本說明、以瞭解您安裝的RCF的任何特定變更。
-
-
重新套用任何先前的自訂項目至交換器組態。如"檢閱纜線佈線和組態考量"需進一步變更的詳細資料、請參閱。
-
驗證 RCF 版本、自訂新增項目和交換器設定是否正確之後、請將執行組態檔案複製到啟動組態檔案。
如需Cisco命令的詳細資訊、請參閱中的適當指南 "Cisco Nexus 9000系列NX-OS命令參考" 指南：
cs1# copy running-config startup-config[] 100% Copy complete -
重新開機交換器CS1。您可以在交換器重新開機時忽略節點上報告的「叢集交換器健全狀況監視器」警示和「叢集連接埠關閉」事件。
cs1# reloadThis command will reboot the system. (y/n)? [n] y -
驗證叢集上叢集連接埠的健全狀況。
-
驗證叢集內所有節點的叢集連接埠是否正常運作：
「網路連接埠show -role cluster」
顯示範例
cluster1::*> network port show -role cluster Node: cluster1-01 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/10000 healthy false e0b Cluster Cluster up 9000 auto/10000 healthy false Node: cluster1-02 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/10000 healthy false e0b Cluster Cluster up 9000 auto/10000 healthy false Node: cluster1-03 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/100000 healthy false e0d Cluster Cluster up 9000 auto/100000 healthy false Node: cluster1-04 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e0a Cluster Cluster up 9000 auto/100000 healthy false e0d Cluster Cluster up 9000 auto/100000 healthy false 8 entries were displayed. -
驗證叢集的交換器健全狀況。
「network device-dDiscovery show -protocol cup」
顯示範例
cluster1::*> network device-discovery show -protocol cdp Node/ Local Discovered Protocol Port Device (LLDP: ChassisID) Interface Platform ----------- ------ ------------------------- ----------------- -------- cluster1-01/cdp e0a cs1 Ethernet1/7 N9K-C9336C e0d cs2 Ethernet1/7 N9K-C9336C cluster01-2/cdp e0a cs1 Ethernet1/8 N9K-C9336C e0d cs2 Ethernet1/8 N9K-C9336C cluster01-3/cdp e0a cs1 Ethernet1/1/1 N9K-C9336C e0b cs2 Ethernet1/1/1 N9K-C9336C cluster1-04/cdp e0a cs1 Ethernet1/1/2 N9K-C9336C e0b cs2 Ethernet1/1/2 N9K-C9336C cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true Switch Type Address Model --------------------------- ------------------ ---------------- ----- cs1 cluster-network 10.233.205.90 NX9-C9336C Serial Number: FOCXXXXXXGD Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP cs2 cluster-network 10.233.205.91 NX9-C9336C Serial Number: FOCXXXXXXGS Is Monitored: true Reason: None Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 9.3(5) Version Source: CDP 2 entries were displayed.您可能會在CS1交換器主控台觀察到下列輸出、視先前載入交換器的RCF版本而定：
2020 Nov 17 16:07:18 cs1 %$ VDC-1 %$ %STP-2-UNBLOCK_CONSIST_PORT: Unblocking port port-channel1 on VLAN0092. Port consistency restored. 2020 Nov 17 16:07:23 cs1 %$ VDC-1 %$ %STP-2-BLOCK_PVID_PEER: Blocking port-channel1 on VLAN0001. Inconsistent peer vlan. 2020 Nov 17 16:07:23 cs1 %$ VDC-1 %$ %STP-2-BLOCK_PVID_LOCAL: Blocking port-channel1 on VLAN0092. Inconsistent local vlan.
-
-
驗證叢集是否正常：
「叢集展示」
顯示範例
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- -------- ------------- ------- cluster1-01 true true false cluster1-02 true true false cluster1-03 true true true cluster1-04 true true false 4 entries were displayed. cluster1::*>
-
在交換器 CS2 上重複步驟 1 至 18 。
-
在叢集生命體上啟用自動還原。
cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert True
步驟 3 ：驗證叢集網路組態和叢集健全狀況
-
驗證連接至叢集連接埠的交換器連接埠是否為* up*。
show interface brief顯示範例
cs1# show interface brief | grep up . . Eth1/1/1 1 eth access up none 10G(D) -- Eth1/1/2 1 eth access up none 10G(D) -- Eth1/7 1 eth trunk up none 100G(D) -- Eth1/8 1 eth trunk up none 100G(D) -- . .
-
確認預期的節點仍已連線：
「How cup neighbor」
顯示範例
cs1# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID node1 Eth1/1 133 H FAS2980 e0a node2 Eth1/2 133 H FAS2980 e0a cs1 Eth1/35 175 R S I s N9K-C9336C Eth1/35 cs1 Eth1/36 175 R S I s N9K-C9336C Eth1/36 Total entries displayed: 4 -
使用下列命令、確認叢集節點位於正確的叢集 VLAN 中：
show vlan briefshow interface trunk顯示範例
cs1# show vlan brief VLAN Name Status Ports ---- -------------------------------- --------- ------------------------------- 1 default active Po1, Eth1/1, Eth1/2, Eth1/3 Eth1/4, Eth1/5, Eth1/6, Eth1/7 Eth1/8, Eth1/35, Eth1/36 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 17 VLAN0017 active Eth1/1, Eth1/2, Eth1/3, Eth1/4 Eth1/5, Eth1/6, Eth1/7, Eth1/8 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 18 VLAN0018 active Eth1/1, Eth1/2, Eth1/3, Eth1/4 Eth1/5, Eth1/6, Eth1/7, Eth1/8 Eth1/9/1, Eth1/9/2, Eth1/9/3 Eth1/9/4, Eth1/10/1, Eth1/10/2 Eth1/10/3, Eth1/10/4 31 VLAN0031 active Eth1/11, Eth1/12, Eth1/13 Eth1/14, Eth1/15, Eth1/16 Eth1/17, Eth1/18, Eth1/19 Eth1/20, Eth1/21, Eth1/22 32 VLAN0032 active Eth1/23, Eth1/24, Eth1/25 Eth1/26, Eth1/27, Eth1/28 Eth1/29, Eth1/30, Eth1/31 Eth1/32, Eth1/33, Eth1/34 33 VLAN0033 active Eth1/11, Eth1/12, Eth1/13 Eth1/14, Eth1/15, Eth1/16 Eth1/17, Eth1/18, Eth1/19 Eth1/20, Eth1/21, Eth1/22 34 VLAN0034 active Eth1/23, Eth1/24, Eth1/25 Eth1/26, Eth1/27, Eth1/28 Eth1/29, Eth1/30, Eth1/31 Eth1/32, Eth1/33, Eth1/34 cs1# show interface trunk ----------------------------------------------------- Port Native Status Port Vlan Channel ----------------------------------------------------- Eth1/1 1 trunking -- Eth1/2 1 trunking -- Eth1/3 1 trunking -- Eth1/4 1 trunking -- Eth1/5 1 trunking -- Eth1/6 1 trunking -- Eth1/7 1 trunking -- Eth1/8 1 trunking -- Eth1/9/1 1 trunking -- Eth1/9/2 1 trunking -- Eth1/9/3 1 trunking -- Eth1/9/4 1 trunking -- Eth1/10/1 1 trunking -- Eth1/10/2 1 trunking -- Eth1/10/3 1 trunking -- Eth1/10/4 1 trunking -- Eth1/11 33 trunking -- Eth1/12 33 trunking -- Eth1/13 33 trunking -- Eth1/14 33 trunking -- Eth1/15 33 trunking -- Eth1/16 33 trunking -- Eth1/17 33 trunking -- Eth1/18 33 trunking -- Eth1/19 33 trunking -- Eth1/20 33 trunking -- Eth1/21 33 trunking -- Eth1/22 33 trunking -- Eth1/23 34 trunking -- Eth1/24 34 trunking -- Eth1/25 34 trunking -- Eth1/26 34 trunking -- Eth1/27 34 trunking -- Eth1/28 34 trunking -- Eth1/29 34 trunking -- Eth1/30 34 trunking -- Eth1/31 34 trunking -- Eth1/32 34 trunking -- Eth1/33 34 trunking -- Eth1/34 34 trunking -- Eth1/35 1 trnk-bndl Po1 Eth1/36 1 trnk-bndl Po1 Po1 1 trunking -- ------------------------------------------------------ Port Vlans Allowed on Trunk ------------------------------------------------------ Eth1/1 1,17-18 Eth1/2 1,17-18 Eth1/3 1,17-18 Eth1/4 1,17-18 Eth1/5 1,17-18 Eth1/6 1,17-18 Eth1/7 1,17-18 Eth1/8 1,17-18 Eth1/9/1 1,17-18 Eth1/9/2 1,17-18 Eth1/9/3 1,17-18 Eth1/9/4 1,17-18 Eth1/10/1 1,17-18 Eth1/10/2 1,17-18 Eth1/10/3 1,17-18 Eth1/10/4 1,17-18 Eth1/11 31,33 Eth1/12 31,33 Eth1/13 31,33 Eth1/14 31,33 Eth1/15 31,33 Eth1/16 31,33 Eth1/17 31,33 Eth1/18 31,33 Eth1/19 31,33 Eth1/20 31,33 Eth1/21 31,33 Eth1/22 31,33 Eth1/23 32,34 Eth1/24 32,34 Eth1/25 32,34 Eth1/26 32,34 Eth1/27 32,34 Eth1/28 32,34 Eth1/29 32,34 Eth1/30 32,34 Eth1/31 32,34 Eth1/32 32,34 Eth1/33 32,34 Eth1/34 32,34 Eth1/35 1 Eth1/36 1 Po1 1 .. .. .. .. ..
如需特定連接埠和 VLAN 使用詳細資料、請參閱 RCF 中的橫幅和重要附註一節。 -
確認CS1與CS2之間的ISL正常運作：
「How port-channel Summary」
顯示範例
cs1# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/35(P) Eth1/36(P) cs1# -
驗證叢集生命區是否已還原至其主連接埠：
「網路介面show -role cluster」
顯示範例
cluster1::*> network interface show -role cluster Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ------------------ ---------- ------------------ ------------------- ------- ---- Cluster cluster1-01_clus1 up/up 169.254.3.4/23 cluster1-01 e0d true cluster1-01_clus2 up/up 169.254.3.5/23 cluster1-01 e0d true cluster1-02_clus1 up/up 169.254.3.8/23 cluster1-02 e0d true cluster1-02_clus2 up/up 169.254.3.9/23 cluster1-02 e0d true cluster1-03_clus1 up/up 169.254.1.3/23 cluster1-03 e0b true cluster1-03_clus2 up/up 169.254.1.1/23 cluster1-03 e0b true cluster1-04_clus1 up/up 169.254.1.6/23 cluster1-04 e0b true cluster1-04_clus2 up/up 169.254.1.7/23 cluster1-04 e0b true 8 entries were displayed. cluster1::*>如果有任何叢集生命期尚未返回其主連接埠、請從本機節點手動還原：
network interface revert -vserver vserver_name -lif lif_name -
驗證叢集是否正常：
「叢集展示」
顯示範例
cluster1::*> cluster show Node Health Eligibility Epsilon -------------------- ------- ------------- ------- cluster1-01 true true false cluster1-02 true true false cluster1-03 true true true cluster1-04 true true false 4 entries were displayed. cluster1::*>
-
Ping遠端叢集介面以驗證連線能力：
「叢集ping叢集節點本機」
顯示範例
cluster1::*> cluster ping-cluster -node local Host is cluster1-03 Getting addresses from network interface table... Cluster cluster1-03_clus1 169.254.1.3 cluster1-03 e0a Cluster cluster1-03_clus2 169.254.1.1 cluster1-03 e0b Cluster cluster1-04_clus1 169.254.1.6 cluster1-04 e0a Cluster cluster1-04_clus2 169.254.1.7 cluster1-04 e0b Cluster cluster1-01_clus1 169.254.3.4 cluster1-01 e0a Cluster cluster1-01_clus2 169.254.3.5 cluster1-01 e0d Cluster cluster1-02_clus1 169.254.3.8 cluster1-02 e0a Cluster cluster1-02_clus2 169.254.3.9 cluster1-02 e0d Local = 169.254.1.3 169.254.1.1 Remote = 169.254.1.6 169.254.1.7 169.254.3.4 169.254.3.5 169.254.3.8 169.254.3.9 Cluster Vserver Id = 4294967293 Ping status: ............ Basic connectivity succeeds on 12 path(s) Basic connectivity fails on 0 path(s) ................................................ Detected 9000 byte MTU on 12 path(s): Local 169.254.1.3 to Remote 169.254.1.6 Local 169.254.1.3 to Remote 169.254.1.7 Local 169.254.1.3 to Remote 169.254.3.4 Local 169.254.1.3 to Remote 169.254.3.5 Local 169.254.1.3 to Remote 169.254.3.8 Local 169.254.1.3 to Remote 169.254.3.9 Local 169.254.1.1 to Remote 169.254.1.6 Local 169.254.1.1 to Remote 169.254.1.7 Local 169.254.1.1 to Remote 169.254.3.4 Local 169.254.1.1 to Remote 169.254.3.5 Local 169.254.1.1 to Remote 169.254.3.8 Local 169.254.1.1 to Remote 169.254.3.9 Larger than PMTU communication succeeds on 12 path(s) RPC status: 6 paths up, 0 paths down (tcp check) 6 paths up, 0 paths down (udp check)