본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

NX-OS 소프트웨어 및 RCFs를 설치합니다

기여자

Cisco Nexus 9336C-FX2 스위치에 NX-OS 소프트웨어 및 RCF를 설치합니다

Cisco NX-OS 소프트웨어 및 RCF(Reference Configuration File)는 Cisco Nexus 9336C-FX2 클러스터 스위치에 설치해야 합니다.

클러스터 스위치에 NX-OS 소프트웨어 및 RCF를 설치하기 전에 다음 조건이 충족되어야 합니다.

  • 클러스터가 완전하게 작동해야 합니다(로그에 오류가 없거나 이와 유사한 문제가 없어야 함).

  • NX-OS만 설치하고 현재 RCF 버전을 유지하는 경우 원하는 부팅 이미지를 반영하도록 RCF에서 원하는 부팅 구성을 확인하거나 설정해야 합니다.

  • 현재 부팅 이미지를 반영하도록 부팅 구성을 변경해야 하는 경우, 나중에 재부팅할 때 올바른 버전이 인스턴스화되도록 RCF를 다시 적용하기 전에 이 구성을 변경해야 합니다.

  • RCF를 설치할 때 필요한 스위치에 콘솔 연결이 있어야 합니다.

  • 지원되는 ONTAP, NX-OS 및 RCF 버전은 Cisco 이더넷 스위치 페이지의 스위치 호환성 표를 참조하십시오. 을 참조하십시오 "Cisco 이더넷 스위치" 를 참조하십시오.

  • RCF의 명령 구문과 NX-OS 버전에 있는 명령 구문 간에 명령 의존성이 있을 수 있습니다.

  • Cisco Nexus 9000 시리즈 스위치의 Cisco 스위치 업그레이드 및 다운그레이드 절차에 대한 전체 문서를 보려면 Cisco 웹 사이트에서 제공되는 적절한 소프트웨어 및 업그레이드 가이드를 참조해야 합니다. 을 참조하십시오 "Cisco Nexus 9000 시리즈 스위치" 를 참조하십시오.

  • 현재 RCF가 있어야 합니다.

이 절차의 예에서는 두 개의 노드를 사용합니다. 이들 노드는 A400 컨트롤러에 따라 2개의 100GbE 클러스터 인터커넥트 포트 e3a 및 e3b를 사용합니다. 를 참조하십시오 "Hardware Universe" 사용 중인 플랫폼에서 올바른 클러스터 포트를 확인하려면 다음을 수행합니다.

참고 명령 출력은 ONTAP의 릴리즈별로 다를 수 있습니다.

이 절차의 예에서는 다음 스위치 및 노드 명명법을 사용합니다.

  • 두 Cisco 스위치의 이름은 _CS1_과 _CS2_입니다.

  • 노드 이름은 _cluster1-01_and_cluster1-02_입니다.

  • 클러스터 LIF 이름은 cluster1-01_clus1_and_cluster1-01_cluser2_for cluster1-01 및 _cluster1-02_clus1_and_cluster1-02_clus2_for cluster1-02입니다.

  • cluster1:: * > 프롬프트는 클러스터의 이름을 나타냅니다.

참고
  • 이 절차를 수행하려면 ONTAP 명령과 Cisco Nexus 9000 시리즈 스위치 명령을 모두 사용해야 합니다. 달리 표시되지 않는 한 ONTAP 명령이 사용됩니다.

  • 이 절차를 수행하기 전에 스위치 구성의 현재 백업이 있는지 확인하십시오.

단계
  1. 이 클러스터에서 AutoSupport가 활성화된 경우 'system node AutoSupport invoke -node * -type all-message MAINT=x h' AutoSupport 메시지를 호출하여 자동 케이스 생성을 억제합니다

    여기서 x는 유지 보수 기간(시간)입니다.

  2. 권한 수준을 고급으로 변경하고, ' Set-Privilege advanced ' 메시지가 표시되면 y를 입력합니다

    고급 프롬프트(*>)가 나타납니다.

  3. [[step3] 각 클러스터 상호 연결 스위치에 대해 각 노드에 구성된 클러스터 상호 연결 인터페이스의 수를 표시합니다. 'network device-discovery show-protocol CDP'

    cluster1:: network device-discovery show -protocol cdp
    Node/       Local  Discovered
    Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
    ----------- ------ ------------------------- ----------------- --------
    cluster1-02/cdp
                e3a    cs1                       Eth1/2            N9K-C9336C
                e3b    cs2                       Eth1/2            N9K-C9336C
    cluster1-01/cdp
                e3a    cs1                       Eth1/1            N9K-C9336C
                e3b    cs2                       Eth1/1            N9K-C9336C
    4 entries were displayed.
  4. [[4단계]] 각 클러스터 인터페이스의 관리 또는 운영 상태를 확인합니다.

    1. 네트워크 포트 속성 'network port show – IPSpace Cluster’를 표시합니다

      cluster1::*> network port show -ipspace Cluster
      Node: cluster1-02
                                                        Speed(Mbps)  Health
      Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status
      --------- ------------ ---------------- ---- ---- ------------ ------
      e3a       Cluster      Cluster          up   9000  auto/100000 healthy
      e3b       Cluster      Cluster          up   9000  auto/100000 healthy
      
      Node: cluster1-01
                                                        Speed(Mbps)  Health
      Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status
      --------- ------------ ---------------- ---- ---- ------------ ------
      e3a       Cluster      Cluster          up   9000  auto/100000 healthy
      e3b       Cluster      Cluster          up   9000  auto/100000 healthy
      4 entries were displayed.
    2. LIF에 대한 정보를 표시합니다. 'network interface show-vserver Cluster'

      cluster1::*> network interface show -vserver Cluster
              Logical            Status     Network            Current    Current Is
      Vserver Interface          Admin/Oper Address/Mask       Node        Port   Home
      ------- ------------------ ---------- ------------------ ----------- ------ ----
      Cluster
              cluster1-01_clus1  up/up      169.254.209.69/16  cluster1-01  e3a   true
              cluster1-01_clus2  up/up      169.254.49.125/16  cluster1-01  e3b   true
              cluster1-02_clus1  up/up      169.254.47.194/16  cluster1-02  e3a   true
              cluster1-02_clus2  up/up      169.254.19.183/16  cluster1-02  e3b   true
      4 entries were displayed.
  5. 원격 클러스터 LIF에 대해 Ping을 수행합니다. 'cluster ping-cluster-node-name'

    cluster1::*> cluster ping-cluster -node cluster1-02
    Host is cluster1-02
    Getting addresses from network interface table...
    Cluster cluster1-01_clus1 169.254.209.69 cluster1-01     e3a
    Cluster cluster1-01_clus2 169.254.49.125 cluster1-01     e3b
    Cluster cluster1-02_clus1 169.254.47.194 cluster1-02     e3a
    Cluster cluster1-02_clus2 169.254.19.183 cluster1-02     e3b
    Local = 169.254.47.194 169.254.19.183
    Remote = 169.254.209.69 169.254.49.125
    Cluster Vserver Id = 4294967293
    Ping status:
    ....
    Basic connectivity succeeds on 4 path(s)
    Basic connectivity fails on 0 path(s)
    ................
    Detected 9000 byte MTU on 4 path(s):
        Local 169.254.19.183 to Remote 169.254.209.69
        Local 169.254.19.183 to Remote 169.254.49.125
        Local 169.254.47.194 to Remote 169.254.209.69
        Local 169.254.47.194 to Remote 169.254.49.125
    Larger than PMTU communication succeeds on 4 path(s)
    RPC status:
    2 paths up, 0 paths down (tcp check)
    2 paths up, 0 paths down (udp check)
  6. 모든 클러스터 LIF에서 자동 되돌리기 명령이 활성화되어 있는지 확인합니다. 'network interface show -vserver Cluster-fields auto-revert'

    cluster1::*> network interface show -vserver Cluster -fields auto-revert
              Logical
    Vserver   Interface            Auto-revert
    --------- ––––––-------------- ------------
    Cluster
              cluster1-01_clus1    true
              cluster1-01_clus2    true
              cluster1-02_clus1    true
              cluster1-02_clus2    true
    4 entries were displayed.
  7. 다음 명령을 사용하여 스위치 관련 로그 파일을 수집하기 위한 이더넷 스위치 상태 모니터 로그 수집 기능을 활성화합니다.

    • 'System switch Ethernet log setup - password'(시스템 스위치 이더넷 로그 설정 - 암호)

    • System switch Ethernet log enable-collection

      cluster1::*> system switch ethernet log setup password
      Enter the switch name: <return>
      The switch name entered is not recognized.
      Choose from the following list:
      cs1
      cs2
      cluster1::*> system switch ethernet log setup-password
      Enter the switch name: cs1
      RSA key fingerprint is e5:8b:c6:dc:e2:18:18:09:36:63:d9:63:dd:03:d9:cc
      Do you want to continue? {y|n}::[n] y
      Enter the password: <enter switch password>
      Enter the password again: <enter switch password>
      cluster1::*> system switch ethernet log setup-password
      Enter the switch name: cs2
      RSA key fingerprint is 57:49:86:a1:b9:80:6a:61:9a:86:8e:3c:e3:b7:1f:b1
      Do you want to continue? {y|n}:: [n] y
      Enter the password: <enter switch password>
      Enter the password again: <enter switch password>
      cluster1::*> system  switch ethernet log enable-collection
      Do you want to enable cluster log collection for all nodes in the cluster? {y|n}: [n] y
      Enabling cluster switch log collection.
      cluster1::*>
참고 이러한 명령에서 오류가 반환되면 NetApp 지원에 문의하십시오.

Cisco Nexus 9336C-FX2 클러스터 스위치에 NX-OS 소프트웨어를 설치합니다

이 절차를 사용하여 Cisco Nexus 9336C-FX2 클러스터 스위치에 NX-OS 소프트웨어를 설치할 수 있습니다.

단계
  1. [[1단계] 클러스터 스위치를 관리 네트워크에 연결합니다.

  2. NX-OS 소프트웨어 및 RCF를 호스팅하는 서버에 대한 연결을 확인하려면 "ping" 명령을 사용하십시오.

    이 예에서는 스위치가 IP 주소 172.19.2.1"에서 서버에 연결할 수 있는지 확인합니다.

    cs2# ping 172.19.2.1
    Pinging 172.19.2.1 with 0 bytes of data:
    Reply From 172.19.2.1: icmp_seq = 0. time= 5910 usec.
  3. NX-OS 소프트웨어 및 EPLD 이미지를 Nexus 9336C-FX2 스위치에 복사합니다.

    cs2# copy sftp: bootflash: vrf management
    Enter source filename: /code/nxos.9.3.5.bin
    Enter hostname for the sftp server: 172.19.2.1
    Enter username: user1
    Outbound-ReKey for 172.19.2.1:22
    Inbound-ReKey for 172.19.2.1:22
    user1@172.19.2.1's password:
    sftp> progress
    Progress meter enabled
    sftp> get /code/nxos.9.3.5.bin  /bootflash/nxos.9.3.5.bin
    /code/nxos.9.3.5.bin  100% 1261MB   9.3MB/s   02:15
    sftp> exit
    Copy complete, now saving to disk (please wait)...
    Copy complete.
    cs2# copy sftp: bootflash: vrf management
    Enter source filename: /code/n9000-epld.9.3.5.img
    Enter hostname for the sftp server: 172.19.2.1
    Enter username: user1
    Outbound-ReKey for 172.19.2.1:22
    Inbound-ReKey for 172.19.2.1:22
    user1@172.19.2.1's password:
    sftp> progress
    Progress meter enabled
    sftp> get /code/n9000-epld.9.3.5.img  /bootflash/n9000-epld.9.3.5.img
    /code/n9000-epld.9.3.5.img  100%  161MB   9.5MB/s   00:16
    sftp> exit
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  4. [[4단계] NX-OS 소프트웨어의 실행 버전을 확인합니다

    cs2# show version
    Cisco Nexus Operating System (NX-OS) Software
    TAC support: http://www.cisco.com/tac
    Copyright (C) 2002-2020, Cisco and/or its affiliates.
    All rights reserved.
    The copyrights to certain works contained in this software are
    owned by other third parties and used and distributed under their own
    licenses, such as open source.  This software is provided "as is," and unless
    otherwise stated, there is no warranty, express or implied, including but not
    limited to warranties of merchantability and fitness for a particular purpose.
    Certain components of this software are licensed under
    the GNU General Public License (GPL) version 2.0 or
    GNU General Public License (GPL) version 3.0  or the GNU
    Lesser General Public License (LGPL) Version 2.1 or
    Lesser General Public License (LGPL) Version 2.0.
    A copy of each such license is available at
    http://www.opensource.org/licenses/gpl-2.0.php and
    http://opensource.org/licenses/gpl-3.0.html and
    http://www.opensource.org/licenses/lgpl-2.1.php and
    http://www.gnu.org/licenses/old-licenses/library.txt.
    Software
      BIOS: version 08.38
      NXOS: version 9.3(4)
      BIOS compile time:  05/29/2020
      NXOS image file is: bootflash:///nxos.9.3.4.bin
      NXOS compile time:  4/28/2020 21:00:00 [04/29/2020 02:28:31]
    Hardware
      cisco Nexus9000 C9336C-FX2 Chassis
      Intel(R) Xeon(R) CPU E5-2403 v2 @ 1.80GHz with 8154432 kB of memory.
      Processor Board ID FOC20291J6K
      Device name: cs2
      bootflash:   53298520 kB
    Kernel uptime is 0 day(s), 0 hour(s), 3 minute(s), 42 second(s)
    Last reset at 157524 usecs after Mon Nov  2 18:32:06 2020
      Reason: Reset Requested by CLI command reload
      System version: 9.3(4)
      Service:
    plugin
      Core Plugin, Ethernet Plugin
    Active Package(s):
    
    cs2#
  5. [[5단계]] NX-OS 이미지를 설치합니다.

    참고 이미지 파일을 설치하면 스위치를 재부팅할 때마다 이미지 파일이 로드됩니다.
    cs2# install all nxos bootflash:nxos.9.3.5.bin
    Installer will perform compatibility check first. Please wait.
    Installer is forced disruptive
    Verifying image bootflash:/nxos.9.3.5.bin for boot variable "nxos".
    [] 100% -- SUCCESS
    Verifying image type.
    [] 100% -- SUCCESS
    Preparing "nxos" version info using image bootflash:/nxos.9.3.5.bin.
    [] 100% -- SUCCESS
    Preparing "bios" version info using image bootflash:/nxos.9.3.5.bin.
    [] 100% -- SUCCESS
    Performing module support checks.
    [] 100% -- SUCCESS
    Notifying services about system upgrade.
    [] 100% -- SUCCESS
    Compatibility check is done:
    Module  bootable       Impact     Install-type  Reason
    ------  --------  --------------- ------------  ------
      1       yes      disruptive         reset     default upgrade is not hitless
    Images will be upgraded according to following table:
    Module   Image    Running-Version(pri:alt                New-Version         Upg-
                                                                                 Required
    ------- --------- -------------------------------------- ------------------- ------------
      1      nxos     9.3(4)                                 9.3(5)              yes
      1      bios     v08.37(01/28/2020):v08.23(09/23/2015)  v08.38(05/29/2020)  yes
    Switch will be reloaded for disruptive upgrade.
    Do you want to continue with the installation (y/n)?  [n] y
    Install is in progress, please wait.
    Performing runtime checks.
    [] 100% -- SUCCESS
    Setting boot variables.
    [] 100% -- SUCCESS
    Performing configuration copy.
    [] 100% -- SUCCESS
    Module 1: Refreshing compact flash and upgrading bios/loader/bootrom.
    Warning: please do not remove or power off the module at this time.
    [] 100% -- SUCCESS
    Finishing the upgrade, switch will reboot in 10 seconds.
  6. 스위치를 재부팅한 후 NX-OS 소프트웨어의 새 버전을 확인합니다

    cs2# show version
    Cisco Nexus Operating System (NX-OS) Software
    TAC support: http://www.cisco.com/tac
    Copyright (C) 2002-2020, Cisco and/or its affiliates.
    All rights reserved.
    The copyrights to certain works contained in this software are
    owned by other third parties and used and distributed under their own
    licenses, such as open source.  This software is provided "as is," and unless
    otherwise stated, there is no warranty, express or implied, including but not
    limited to warranties of merchantability and fitness for a particular purpose.
    Certain components of this software are licensed under
    the GNU General Public License (GPL) version 2.0 or
    GNU General Public License (GPL) version 3.0  or the GNU
    Lesser General Public License (LGPL) Version 2.1 or
    Lesser General Public License (LGPL) Version 2.0.
    A copy of each such license is available at
    http://www.opensource.org/licenses/gpl-2.0.php and
    http://opensource.org/licenses/gpl-3.0.html and
    http://www.opensource.org/licenses/lgpl-2.1.php and
    http://www.gnu.org/licenses/old-licenses/library.txt.
    Software
      BIOS: version 05.33
      NXOS: version 9.3(5)
      BIOS compile time:  09/08/2018
      NXOS image file is: bootflash:///nxos.9.3.5.bin
      NXOS compile time:  11/4/2018 21:00:00 [11/05/2018 06:11:06]
    Hardware
      cisco Nexus9000 C9336C-FX2 Chassis
      Intel(R) Xeon(R) CPU E5-2403 v2 @ 1.80GHz with 8154432 kB of memory.
      Processor Board ID FOC20291J6K
      Device name: cs2
      bootflash:   53298520 kB
    Kernel uptime is 0 day(s), 0 hour(s), 3 minute(s), 42 second(s)
    Last reset at 277524 usecs after Mon Nov  2 22:45:12 2020
      Reason: Reset due to upgrade
      System version: 9.3(4)
      Service:
    plugin
      Core Plugin, Ethernet Plugin
    Active Package(s):
  7. EPLD image를 업그레이드한 후 switch를 reboot한다.

    cs2# show version module 1 epld
    EPLD Device                     Version
    ---- -------------------------- -------
    MI   FPGA                        0x7
    IO   FPGA                        0x17
    MI   FPGA2                       0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2
    cs2# install epld bootflash:n9000-epld.9.3.5.img module 1
    Compatibility check:
    Module      Type        Upgradable  Impact      Reason
    ------  -------------- ------------ ----------- -------
         1      SUP        Yes          disruptive  Module Upgradable
    Retrieving EPLD versions.... Please wait.
    Images will be upgraded according to following table:
    Module  Type   EPLD              Running-Version   New-Version  Upg-Required
    ------- ------ ----------------- ----------------- ------------ ------------
         1  SUP    MI FPGA           0x07              0x07         No
         1  SUP    IO FPGA           0x17              0x19         Yes
         1  SUP    MI FPGA2          0x02              0x02         No
    The above modules require upgrade.
    The switch will be reloaded at the end of the upgrade
    Do you want to continue (y/n) ?  [n] y
    Proceeding to upgrade Modules.
    Starting Module 1 EPLD Upgrade
    Module 1 : IO FPGA [Programming] : 100.00% (     64 of      64 sectors)
    Module 1 EPLD upgrade is successful.
    Module   Type  Upgrade-Result
    -------- ----- --------------
         1   SUP   Success
    EPLDs upgraded.
    Module 1 EPLD upgrade is successful.
  8. 스위치 재부팅 후 다시 로그인하여 새 버전의 EPLD가 성공적으로 로드되었는지 확인합니다.

    cs2# show version module 1 epld
    EPLD Device                     Version
    ---- -------------------------- --------
    MI   FPGA                        0x7
    IO   FPGA                        0x19
    MI   FPGA2                       0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2
    GEM  FPGA                        0x2

Cisco Nexus 9336C-FX2 클러스터 스위치에 RCF를 설치합니다

Nexus 9336C-FX2 클러스터 스위치를 처음 설정한 후 RCF를 설치할 수 있습니다. 이 절차를 사용하여 클러스터 스위치에서 RCF 버전을 업그레이드할 수도 있습니다.

이 절차의 예에서는 다음 스위치 및 노드 명명법을 사용합니다.

  • 두 Cisco 스위치의 이름은 CS1, CS2입니다.

  • 노드 이름은 'cluster1-01', 'cluster1-02', 'cluster1-03', 'cluster1-04’입니다.

  • 클러스터 LIF 이름은 'cluster1-01_clus1', 'cluster1-01_clus2', 'cluster1-02_clus1', 'cluster1-02_clus2', 'cluster1-03_clus1’입니다. 'cluster1-03_clus2', 'cluster1-04_clus1', 'cluster1-04_clus2'.

  • cluster1:: * > 프롬프트는 클러스터의 이름을 나타냅니다.

참고
  • 이 절차를 수행하려면 ONTAP 명령과 Cisco Nexus 9000 시리즈 스위치 명령을 모두 사용해야 합니다. 달리 표시되지 않는 한 ONTAP 명령이 사용됩니다.

  • 이 절차를 수행하기 전에 스위치 구성의 현재 백업이 있는지 확인하십시오.

단계
  1. [[1단계] 클러스터 스위치에 연결된 각 노드의 클러스터 포트를 네트워크 디바이스 검색 쇼로 표시합니다

    cluster1::*> network device-discovery show
    Node/       Local  Discovered
    Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
    ----------- ------ ------------------------- ----------------  --------
    cluster1-01/cdp
                e3a    cs1                       Ethernet1/7       N9K-C9336C
                e0d    cs2                       Ethernet1/7       N9K-C9336C
    cluster1-02/cdp
                e3a    cs1                       Ethernet1/8       N9K-C9336C
                e0d    cs2                       Ethernet1/8       N9K-C9336C
    cluster1-03/cdp
                e3a    cs1                       Ethernet1/1/1     N9K-C9336C
                e3b    cs2                       Ethernet1/1/1     N9K-C9336C
    cluster1-04/cdp
                e3a    cs1                       Ethernet1/1/2     N9K-C9336C
                e3b    cs2                       Ethernet1/1/2     N9K-C9336C
    cluster1::*>
  2. [[2단계]] 각 클러스터 포트의 관리 및 운영 상태를 확인합니다.

  3. [[step3] 모든 클러스터 포트가 정상 상태('network port show –role cluster')로 설정되어 있는지 확인합니다

    cluster1::*> network port show -role cluster
    Node: cluster1-01
                                                                           Ignore
                                                      Speed(Mbps) Health   Health
    Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
    --------- ------------ ---------------- ---- ---- ----------- -------- ------
    e3a       Cluster      Cluster          up   9000  auto/100000 healthy false
    e0d       Cluster      Cluster          up   9000  auto/100000 healthy false
    Node: cluster1-02
                                                                           Ignore
                                                      Speed(Mbps) Health   Health
    Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
    --------- ------------ ---------------- ---- ---- ----------- -------- ------
    e3a       Cluster      Cluster          up   9000  auto/100000 healthy false
    e0d       Cluster      Cluster          up   9000  auto/100000 healthy false
    8 entries were displayed.
    Node: cluster1-03
    
                                                                            Ignore
                                                      Speed(Mbps)  Health   Health
    Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status   Status
    --------- ------------ ---------------- ---- ---- ------------ -------- ------
    e3a       Cluster      Cluster          up   9000  auto/100000 healthy  false
    e3b       Cluster      Cluster          up   9000  auto/100000 healthy  false
    Node: cluster1-04
                                                                            Ignore
                                                      Speed(Mbps)  Health   Health
    Port      IPspace      Broadcast Domain Link MTU  Admin/Oper   Status   Status
    --------- ------------ ---------------- ---- ---- ------------ -------- ------
    e0a       Cluster      Cluster          up   9000  auto/100000 healthy  false
    e0b       Cluster      Cluster          up   9000  auto/100000 healthy  false
    cluster1::*>
  4. 모든 클러스터 인터페이스(LIF)가 홈 포트 'network interface show-role cluster’에 있는지 확인합니다

    cluster1::*> network interface show -role cluster
            Logical            Status     Network         Current      Current Is
    Vserver Interface          Admin/Oper Address/Mask    Node         Port    Home
    ------- ------------------ ---------- --------------- ------------ ------- ----
    Cluster
            cluster1-01_clus1  up/up     169.254.3.4/23   cluster1-01  e3a     true
            cluster1-01_clus2  up/up     169.254.3.5/23   cluster1-01  e0d     true
            cluster1-02_clus1  up/up     169.254.3.8/23   cluster1-02  e3a     true
            cluster1-02_clus2  up/up     169.254.3.9/23   cluster1-02  e0d     true
            cluster1-03_clus1  up/up     169.254.1.3/23   cluster1-03  e3a     true
            cluster1-03_clus2  up/up     169.254.1.1/23   cluster1-03  e3b     true
            cluster1-04_clus1  up/up     169.254.1.6/23   cluster1-04  e3a     true
            cluster1-04_clus2  up/up     169.254.1.7/23   cluster1-04  e3b     true
    8 entries were displayed.
    cluster1::*>
  5. [[5단계] 클러스터가 'system cluster-switch show-is-monitoring-enabled-operational true’라는 두 클러스터 스위치에 대한 정보를 표시하는지 확인합니다

    cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true
    Switch                      Type               Address          Model
    --------------------------- ------------------ ---------------- -----
    cs1                         cluster-network    10.233.205.90    N9K-C9336C
         Serial Number: FOCXXXXXXGD
          Is Monitored: true
                Reason: None
      Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                        9.3(5)
        Version Source: CDP
    cs2                         cluster-network    10.233.205.91    N9K-C9336C
         Serial Number: FOCXXXXXXGS
          Is Monitored: true
                Reason: None
      Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                        9.3(5)
        Version Source: CDP
    cluster1::*>
  6. 클러스터 LIF에서 자동 복원을 사용하지 않도록 설정합니다.

    cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert false
  7. [[7단계]] 클러스터 스위치 CS2에서 노드의 클러스터 포트에 연결된 포트를 종료합니다.

    cs2(config)# interface eth1/1/1-2,eth1/7-8
    cs2(config-if-range)# shutdown
  8. 클러스터 LIF가 클러스터 스위치 CS1에 호스팅된 포트로 마이그레이션되었는지 확인합니다. 네트워크 인터페이스 show-role cluster가 몇 초 정도 걸릴 수 있습니다

    cluster1::*> network interface show -role cluster
            Logical           Status     Network          Current      Current  Is
    Vserver Interface         Admin/Oper Address/Mask     Node         Port     Home
    ------- ----------------- --------- ---------------- ------------- ------- ----
    Cluster
            cluster1-01_clus1 up/up     169.254.3.4/23   cluster1-01   e3a     true
            cluster1-01_clus2 up/up     169.254.3.5/23   cluster1-01   e3a     false
            cluster1-02_clus1 up/up     169.254.3.8/23   cluster1-02   e3a     true
            cluster1-02_clus2 up/up     169.254.3.9/23   cluster1-02   e3a     false
            cluster1-03_clus1 up/up     169.254.1.3/23   cluster1-03   e3a     true
            cluster1-03_clus2 up/up     169.254.1.1/23   cluster1-03   e3a     false
            cluster1-04_clus1 up/up     169.254.1.6/23   cluster1-04   e3a     true
            cluster1-04_clus2 up/up     169.254.1.7/23   cluster1-04   e3a     false
    8 entries were displayed.
    cluster1::*>
  9. [[9단계] 클러스터가 정상 상태인지 확인합니다. '클러스터 쇼'

    cluster1::*> cluster show
    Node                 Health  Eligibility   Epsilon
    -------------------- ------- ------------  -------
    cluster1-01          true    true          false
    cluster1-02          true    true          false
    cluster1-03          true    true          true
    cluster1-04          true    true          false
    4 entries were displayed.
    cluster1::*>
  10. 아직 구성하지 않은 경우 다음 명령의 출력을 로그 파일에 복사하여 현재 스위치 구성을 저장합니다.

    show running-config
  11. 스위치 CS2의 구성을 청소하고 기본 설정을 수행합니다.

    1. 구성을 청소합니다. 이 단계에서는 스위치에 콘솔 연결이 필요합니다.

      cs2# write erase
      Warning: This command will erase the startup-configuration.
      Do you wish to proceed anyway? (y/n)  [n] y
      cs2# reload
      This command will reboot the system. (y/n)?  [n] y
      cs2#
    2. 스위치의 기본 설정을 수행합니다.

  12. FTP, TFTP, SFTP 또는 SCP 중 하나의 전송 프로토콜을 사용하여 RCF를 스위치 CS2의 부트플래시 에 복사합니다. Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    이 예에서는 스위치 CS2에서 RCF를 부트 플래시에 복사하는 데 사용되는 TFTP를 보여 줍니다.

    cs2# copy tftp: bootflash: vrf management
    Enter source filename: Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt
    Enter hostname for the tftp server: 172.22.201.50
    Trying to connect to tftp server......Connection to Server Established.
    TFTP get operation was successful
    Copy complete, now saving to disk (please wait)...
  13. 이전에 다운로드한 RCF를 bootflash에 적용합니다. Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    이 예에서는 RCF 파일 "Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt"가 스위치 CS2에 설치되어 있음을 보여 줍니다.

    cs2# copy Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt running-config echo-commands
  14. 'show banner mott' 명령어의 배너 출력을 조사한다. 스위치의 올바른 구성과 작동을 위해 이 지침을 읽고 따라야 합니다.

    cs2# show banner motd
    ***************************************************************************
    * NetApp Reference Configuration File (RCF)
    *
    * Switch   : Nexus N9K-C9336C-FX2
    * Filename : Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt
    * Date     : 10-23-2020
    * Version  : v1.6
    *
    * Port Usage:
    * Ports  1- 3: Breakout mode (4x10G) Intra-Cluster Ports, int e1/1/1-4,
    * e1/2/1-4, e1/3/1-4
    * Ports  4- 6: Breakout mode (4x25G) Intra-Cluster/HA Ports, int e1/4/1-4,
    * e1/5/1-4, e1/6/1-4
    * Ports  7-34: 40/100GbE Intra-Cluster/HA Ports, int e1/7-34
    * Ports 35-36: Intra-Cluster ISL Ports, int e1/35-36
    *
    * Dynamic breakout commands:
    * 10G: interface breakout module 1 port <range> map 10g-4x
    * 25G: interface breakout module 1 port <range> map 25g-4x
    *
    * Undo breakout commands and return interfaces to 40/100G configuration in
    * config mode:
    * no interface breakout module 1 port <range> map 10g-4x
    * no interface breakout module 1 port <range> map 25g-4x
    * interface Ethernet <interfaces taken out of breakout mode>
    * inherit port-profile 40-100G
    * priority-flow-control mode auto
    * service-policy input HA
    * exit
    *
    ***************************************************************************
  15. RCF 파일이 올바른 최신 버전인지 확인하십시오: 'show running-config'

    출력을 점검하여 올바른 RCF가 있는지 확인할 때 다음 정보가 올바른지 확인하십시오.

    • RCF 배너

    • 노드 및 포트 설정입니다

    • 사용자 지정

      출력은 사이트 구성에 따라 달라집니다. 포트 설정을 확인하고 설치된 RCF에 대한 변경 사항은 릴리스 노트를 참조하십시오.

  16. RCF 버전 및 스위치 설정이 올바른지 확인한 후 running-config 파일을 startup-config 파일에 복사합니다.

    Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    cs2# copy running-config startup-config [] 100% Copy complete
  17. 스위치 CS2를 재부팅합니다. 스위치가 재부팅되는 동안 노드에 보고된 "클러스터 포트 다운" 이벤트를 무시할 수 있습니다.

    cs2# reload
    This command will reboot the system. (y/n)?  [n] y
  18. 동일한 RCF를 적용하고 실행 중인 구성을 다시 저장합니다.

    cs2# copy Nexus_9336C_RCF_v1.6-Cluster-HA-Breakout.txt running-config echo-commands
    cs2# copy running-config startup-config [] 100% Copy complete
  19. [[19단계]] 클러스터의 클러스터 포트 상태를 확인합니다.

    1. 'network port show-role cluster' 클러스터의 모든 노드에서 e0d 포트가 작동 및 정상 상태인지 확인합니다

      cluster1::*> network port show -role cluster
      Node: cluster1-01
                                                                         Ignore
                                                   Speed(Mbps)  Health   Health
      Port    IPspace   Broadcast Domain Link MTU  Admin/Oper   Status   Status
      ------- --------- ---------------- ---- ---- ------------ -------- ------
      e3a     Cluster   Cluster          up   9000 auto/100000  healthy  false
      e3b     Cluster   Cluster          up   9000 auto/100000  healthy  false
      
      Node: cluster1-02
                                                                         Ignore
                                                    Speed(Mbps)  Health  Health
      Port    IPspace   Broadcast Domain Link MTU   Admin/Oper   Status  Status
      ------- --------- ---------------- ---- ----- ------------ -------- ------
      e3a    Cluster   Cluster          up   9000  auto/100000  healthy  false
      e3b    Cluster   Cluster          up   9000  auto/100000  healthy  false
      
      Node: cluster1-03
                                                                         Ignore
                                                    Speed(Mbps) Health   Health
      Port   IPspace    Broadcast Domain Link MTU   Admin/Oper  Status   Status
      ------ ---------- ---------------- ---- ----- ----------- -------- ------
      e3a    Cluster    Cluster          up   9000  auto/100000 healthy  false
      e0d    Cluster    Cluster          up   9000  auto/100000 healthy  false
      
      Node: cluster1-04
                                                                         Ignore
                                                    Speed(Mbps) Health   Health
      Port   IPspace    Broadcast Domain Link MTU   Admin/Oper  Status   Status
      ------ ---------- ---------------- ---- ----- ----------- -------- ------
      e3a    Cluster      Cluster        up   9000  auto/100000 healthy  false
      e0d    Cluster      Cluster        up   9000  auto/100000 healthy  false
      8 entries were displayed.
    2. 클러스터에서 스위치 상태를 확인합니다. LIF가 e0d에 홈링되지 않으므로 스위치 CS2가 표시되지 않을 수 있습니다.

      cluster1::*> network device-discovery show -protocol cdp
      Node/       Local  Discovered
      Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
      ----------- ------ ------------------------- ----------------- --------
      cluster1-01/cdp
                  e3a    cs1                       Ethernet1/7       N9K-C9336C
                  e0d    cs2                       Ethernet1/7       N9K-C9336C
      cluster01-2/cdp
                  e3a    cs1                       Ethernet1/8       N9K-C9336C
                  e0d    cs2                       Ethernet1/8       N9K-C9336C
      cluster01-3/cdp
                  e3a    cs1                       Ethernet1/1/1     N9K-C9336C
                  e3b    cs2                       Ethernet1/1/1     N9K-C9336C
      cluster1-04/cdp
                  e3a    cs1                       Ethernet1/1/2     N9K-C9336C
                  e3b    cs2                       Ethernet1/1/2     N9K-C9336C
      cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true
      Switch                      Type               Address          Model
      --------------------------- ------------------ ---------------- -----
      cs1                         cluster-network    10.233.205.90    NX9-C9336C
           Serial Number: FOCXXXXXXGD
            Is Monitored: true
                  Reason: None
        Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                          9.3(5)
          Version Source: CDP
      cs2                         cluster-network    10.233.205.91    NX9-C9336C
           Serial Number: FOCXXXXXXGS
            Is Monitored: true
                  Reason: None
        Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                          9.3(5)
          Version Source: CDP
      2 entries were displayed.
      참고 이전에 스위치에 로드된 RCF 버전에 따라 CS1 스위치 콘솔에서 다음 출력을 관찰할 수 있습니다.
    2020 Nov 17 16:07:18 cs1 %$ VDC-1 %$ %STP-2-UNBLOCK_CONSIST_PORT: Unblocking port port-channel1 on VLAN0092. Port consistency restored.
    2020 Nov 17 16:07:23 cs1 %$ VDC-1 %$ %STP-2-BLOCK_PVID_PEER: Blocking port-channel1 on VLAN0001. Inconsistent peer vlan.
    2020 Nov 17 16:07:23 cs1 %$ VDC-1 %$ %STP-2-BLOCK_PVID_LOCAL: Blocking port-channel1 on VLAN0092. Inconsistent local vlan.
  20. 클러스터 스위치 CS1에서 노드의 클러스터 포트에 연결된 포트를 종료합니다. 다음 예제에서는 1단계의 인터페이스 예제 출력을 사용합니다.

    cs1(config)# interface eth1/1/1-2,eth1/7-8
    cs1(config-if-range)# shutdown
  21. 클러스터 LIF가 스위치 CS2에 호스팅된 포트로 마이그레이션되었는지 확인합니다. 네트워크 인터페이스 show-role cluster가 몇 초 정도 걸릴 수 있습니다

    cluster1::*> network interface show -role cluster
            Logical            Status      Network         Current      Current Is
    Vserver Interface          Admin/Oper  Address/Mask    Node         Port    Home
    ------- ------------------ ----------- --------------- ------------ ------- ----
    Cluster
            cluster1-01_clus1  up/up       169.254.3.4/23   cluster1-01   e0d  false
            cluster1-01_clus2  up/up       169.254.3.5/23   cluster1-01   e0d   true
            cluster1-02_clus1  up/up       169.254.3.8/23   cluster1-02   e0d  false
            cluster1-02_clus2  up/up       169.254.3.9/23   cluster1-02   e0d   true
            cluster1-03_clus1  up/up       169.254.1.3/23   cluster1-03   e3b  false
            cluster1-03_clus2  up/up       169.254.1.1/23   cluster1-03   e3b   true
            cluster1-04_clus1  up/up       169.254.1.6/23   cluster1-04   e3b  false
            cluster1-04_clus2  up/up       169.254.1.7/23   cluster1-04   e3b   true
    8 entries were displayed.
    cluster1::*>
  22. 클러스터의 상태가 양호한지 확인합니다. '클러스터 쇼'

    cluster1::*> cluster show
    Node                 Health   Eligibility   Epsilon
    -------------------- -------- ------------- -------
    cluster1-01          true     true          false
    cluster1-02          true     true          false
    cluster1-03          true     true          true
    cluster1-04          true     true          false
    4 entries were displayed.
    cluster1::*>
  23. 스위치 CS1의 7-14단계를 반복합니다.

  24. 클러스터 LIF에서 자동 되돌리기 기능을 설정합니다.

    cluster1::*> network interface modify -vserver Cluster -lif * -auto-revert True
  25. 스위치 CS1을 재부팅합니다. 이렇게 하면 클러스터 LIF가 홈 포트로 되돌아갈 수 있습니다. 스위치가 재부팅되는 동안 노드에 보고된 "클러스터 포트 다운" 이벤트를 무시할 수 있습니다.

    cs1# reload
    This command will reboot the system. (y/n)?  [n] y
  26. 클러스터 포트에 연결된 스위치 포트가 작동하는지 확인합니다.

    cs1# show interface brief | grep up
    .
    .
    Eth1/1/1      1       eth  access up      none                   100G(D) --
    Eth1/1/2      1       eth  access up      none                   100G(D) --
    Eth1/7        1       eth  trunk  up      none                   100G(D) --
    Eth1/8        1       eth  trunk  up      none                   100G(D) --
    .
    .
  27. [[step27] CS1과 CS2 사이의 ISL이 작동하는지 확인합니다. '포트-채널 요약 정보'

    cs1# show port-channel summary
    Flags:  D - Down        P - Up in port-channel (members)
            I - Individual  H - Hot-standby (LACP only)
            s - Suspended   r - Module-removed
            b - BFD Session Wait
            S - Switched    R - Routed
            U - Up (port-channel)
            p - Up in delay-lacp mode (member)
            M - Not in use. Min-links not met
    --------------------------------------------------------------------------------
    Group Port-       Type     Protocol  Member Ports      Channel
    --------------------------------------------------------------------------------
    1     Po1(SU)     Eth      LACP      Eth1/35(P)        Eth1/36(P)
    cs1#
  28. 클러스터 LIF가 홈 포트인 ' 네트워크 인터페이스 show-role cluster ' 로 되돌려졌는지 확인합니다

    cluster1::*> network interface show -role cluster
            Logical            Status     Network           Current     Current Is
    Vserver Interface          Admin/Oper Address/Mask      Node        Port    Home
    ------- ------------------ ---------- ----------------- ----------- ------- ----
    Cluster
            cluster1-01_clus1  up/up      169.254.3.4/23    cluster1-01  e0d   true
            cluster1-01_clus2  up/up      169.254.3.5/23    cluster1-01  e0d   true
            cluster1-02_clus1  up/up      169.254.3.8/23    cluster1-02  e0d   true
            cluster1-02_clus2  up/up      169.254.3.9/23    cluster1-02  e0d   true
            cluster1-03_clus1  up/up      169.254.1.3/23    cluster1-03  e3b   true
            cluster1-03_clus2  up/up      169.254.1.1/23    cluster1-03  e3b   true
            cluster1-04_clus1  up/up      169.254.1.6/23    cluster1-04  e3b   true
            cluster1-04_clus2  up/up      169.254.1.7/23    cluster1-04  e3b   true
    8 entries were displayed.
    cluster1::*>
  29. 클러스터가 정상 상태인지 확인합니다. '클러스터 쇼'

    cluster1::*> cluster show
    Node                 Health  Eligibility   Epsilon
    -------------------- ------- ------------- -------
    cluster1-01          true    true          false
    cluster1-02          true    true          false
    cluster1-03          true    true          true
    cluster1-04          true    true          false
    4 entries were displayed.
    cluster1::*>
  30. [[30단계] 원격 클러스터 인터페이스에 대해 ping을 수행하여 연결을 확인합니다. 'cluster ping-cluster-node local'

    cluster1::*> cluster ping-cluster -node local
    Host is cluster1-03
    Getting addresses from network interface table...
    Cluster cluster1-03_clus1 169.254.1.3 cluster1-03 e3a
    Cluster cluster1-03_clus2 169.254.1.1 cluster1-03 e3b
    Cluster cluster1-04_clus1 169.254.1.6 cluster1-04 e3a
    Cluster cluster1-04_clus2 169.254.1.7 cluster1-04 e3b
    Cluster cluster1-01_clus1 169.254.3.4 cluster1-01 e3a
    Cluster cluster1-01_clus2 169.254.3.5 cluster1-01 e0d
    Cluster cluster1-02_clus1 169.254.3.8 cluster1-02 e3a
    Cluster cluster1-02_clus2 169.254.3.9 cluster1-02 e0d
    Local = 169.254.1.3 169.254.1.1
    Remote = 169.254.1.6 169.254.1.7 169.254.3.4 169.254.3.5 169.254.3.8 169.254.3.9
    Cluster Vserver Id = 4294967293
    Ping status:
    ............
    Basic connectivity succeeds on 12 path(s)
    Basic connectivity fails on 0 path(s)
    ................................................
    Detected 9000 byte MTU on 12 path(s):
        Local 169.254.1.3 to Remote 169.254.1.6
        Local 169.254.1.3 to Remote 169.254.1.7
        Local 169.254.1.3 to Remote 169.254.3.4
        Local 169.254.1.3 to Remote 169.254.3.5
        Local 169.254.1.3 to Remote 169.254.3.8
        Local 169.254.1.3 to Remote 169.254.3.9
        Local 169.254.1.1 to Remote 169.254.1.6
        Local 169.254.1.1 to Remote 169.254.1.7
        Local 169.254.1.1 to Remote 169.254.3.4
        Local 169.254.1.1 to Remote 169.254.3.5
        Local 169.254.1.1 to Remote 169.254.3.8
        Local 169.254.1.1 to Remote 169.254.3.9
    Larger than PMTU communication succeeds on 12 path(s)
    RPC status:
    6 paths up, 0 paths down (tcp check)
    6 paths up, 0 paths down (udp check)

Cisco Nexus 9336C-FX2 스토리지 스위치에 RCF를 설치합니다

참조 구성 파일(RCF)은 Cisco Nexus 9336C-FX2 스토리지 스위치에서 업그레이드할 수 있습니다.

스토리지 스위치에서 RCF를 업그레이드하기 전에 다음 조건이 존재해야 합니다.

  • 스위치가 완전히 작동해야 합니다(로그에 오류가 없거나 이와 유사한 문제가 없어야 함).

  • NX-OS만 설치하고 현재 RCF 버전을 유지하는 경우 원하는 부팅 이미지를 반영하도록 RCF에서 원하는 부팅 변수를 확인하거나 설정해야 합니다.

  • 현재 부팅 이미지를 반영하도록 부팅 변수를 변경해야 하는 경우, 나중에 재부팅할 때 올바른 버전이 인스턴스화되도록 RCF를 다시 적용하기 전에 이 작업을 수행해야 합니다.

  • Cisco 스토리지 업그레이드 및 다운그레이드 절차에 대한 전체 문서를 보려면 Cisco 웹 사이트에서 제공하는 적절한 소프트웨어 및 업그레이드 가이드를 참조해야 합니다. 을 참조하십시오 "Cisco Nexus 9000 시리즈 스위치" 를 참조하십시오.

  • 100GbE의 포트 수는 에서 사용할 수 있는 RCFs(Reference Configuration File)에 정의되어 있습니다 "Cisco 이더넷 스위치" 페이지.

절차 요약
  1. 스위치 및 포트의 상태 확인(1-4단계)

  2. NX-OS 이미지를 Cisco 스위치 ST2로 다운로드하고 재부팅합니다(5-8단계).

  3. RCF를 Cisco 스위치 ST2에 복사(9-12단계)

  4. 스위치 및 포트의 상태 다시 확인(13-15단계)

  5. Cisco 스위치 st1에 대해 1-15단계를 반복합니다.

참고 명령 출력은 ONTAP의 릴리즈별로 다를 수 있습니다.

이 절차의 예에서는 다음 스위치 및 노드 명명법을 사용합니다.

  • 두 스토리지 스위치의 이름은 _st1_와 _ST2_입니다.

  • 노드는 node1 및 _node2_입니다.

참고
  • 이 절차를 수행하려면 ONTAP 명령과 Cisco Nexus 9000 시리즈 스위치 명령을 모두 사용해야 합니다. 달리 표시되지 않는 한 ONTAP 명령이 사용됩니다.

  • 이 절차를 수행하기 전에 스위치 구성의 현재 백업이 있는지 확인하십시오.

단계
  1. 이 클러스터에서 AutoSupport가 활성화되어 있으면 'system node AutoSupport invoke -node * -type all-message maINT=xh' AutoSupport 메시지를 호출하여 자동 케이스 생성을 억제합니다

    여기서 x는 유지 보수 기간(시간)입니다.

  2. 스토리지 스위치를 사용할 수 있는지 확인합니다. '시스템 스위치 이더넷 표시’입니다

    storage::*> system switch ethernet show
    Switch                    Type               Address          Model
    ------------------------- ------------------ ---------------- ---------------
    st1
                              storage-network    172.17.227.5     NX9-C9336C
          Serial Number: FOC221206C2
           Is Monitored: true
                 Reason: None
       Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                         9.3(5)
         Version Source: CDP
    st2
                              storage-network    172.17.227.6     NX9-C9336C
          Serial Number: FOC220443LZ
           Is Monitored: true
                 Reason: None
       Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                         9.3(5)
         Version Source: CDP
    2 entries were displayed.
    storage::*>
  3. [[step3] 노드 포트가 정상 작동 중인지 확인합니다. 'storage port show-port-type ENET'

    storage::*> storage port show -port-type ENET
                                       Speed                            VLAN
    Node     Port   Type    Mode       (Gb/s)     State     Status        ID
    ------- ------- ------- ---------- ---------- --------- ----------- -----
    node1
            e3a     ENET    storage    100        enabled   online         30
            e3b     ENET    storage      0        enabled   offline        30
            e7a     ENET    storage      0        enabled   offline        30
            e7b     ENET    storage    100        enabled   online         30
    node2
            e3a     ENET    storage    100        enabled   online         30
            e3b     ENET    storage      0        enabled   offline        30
            e7a     ENET    storage      0        enabled   offline        30
            e7b     ENET    storage    100        enabled   online         30
  4. 클러스터에 스토리지 스위치 또는 케이블 연결 문제가 없는지 확인합니다. 'system health alert show-instance'

    storage::*> system health alert show -instance
    There are no entries matching your query.
  5. [[5단계] NX-OS 이미지를 다운로드하여 ST2로 전환하십시오.

  6. 다음 번에 스위치 ST2를 재부팅할 때 새 버전이 로드되도록 시스템 이미지를 설치합니다. 스위치는 다음 출력에 표시된 것처럼 새 이미지와 함께 10초 후에 재부팅됩니다.

    st2# install all nxos bootflash:nxos.9.3. 5.bin
    Installer will perform compatibility check first. Please wait.
    Installer is forced disruptive
    Verifying image bootflash:/nxos.9.3.4.bin for boot variable "nxos".
    [] 100% -- SUCCESS
    Verifying image type.
    [[] 100% -- SUCCESS
    Preparing "nxos" version info using image bootflash:/nxos.9.3.4.bin.
    [] 100% -- SUCCESS
    Preparing "bios" version info using image bootflash:/nxos.9.3.4.bin.
    [] 100% -- SUCCESS
    Performing module support checks.
    [] 100% -- SUCCESS
    Notifying services about system upgrade.
    [] 100% -- SUCCESS
    Compatibility check is done:
    Module  bootable  Impact  Install-type  Reason
    ------    --------   ----- --------   ------------   ---- --
         1        yes      disruptive         reset  default upgrade is not hitless
    Images will be upgraded according to following table:
    Module Image        Running-Version(pri:alt)               New-Version  Upg
                                                                            Required
    ------ --------  ---------------------------------------  ------------  --------
     1     nxos                                     9.3(3)          9.3(4)       yes
     1     bios      v08.37(01/28/2020):v08.23(09/23/2015)   v08.38(05/29/2020)   no
    Switch will be reloaded for disruptive upgrade.
    Do you want to continue with the installation (y/n)? [n] y
    input string too long
    Do you want to continue with the installation (y/n)? [n] y
    Install is in progress, please wait.
    Performing runtime checks.
    [] 100% -- SUCCESS
    Setting boot variables.
    [] 100% -- SUCCESS
    Performing configuration copy.
    [] 100% -- SUCCESS
    Module 1: Refreshing compact flash and upgrading bios/loader/bootrom.
    Warning: please do not remove or power off the module at this time.
    [] 100% -- SUCCESS
    Finishing the upgrade, switch will reboot in 10 seconds.
    st2#
  7. [[7단계]] 구성을 저장합니다.

    다음 예와 같이 시스템을 재부팅하라는 메시지가 표시됩니다.

    st2# copy running-config startup-config
    [] 100% Copy complete.
    st2# reload
    This command will reboot the system. (y/n)? [n] y
  8. 새 NX-OS 버전 번호가 스위치에 있는지 확인합니다.

    st2# show version
    Cisco Nexus Operating System (NX-OS) Software
    TAC support: http://www.cisco.com/tac
    Upgrading a Cisco Nexus 9336C Storage Switch 6
    Upgrading a Cisco Nexus 9336C storage switch
    Copyright (C) 2002-2020, Cisco and/or its affiliates.
    All rights reserved.
    The copyrights to certain works contained in this software are
    owned by other third parties and used and distributed under their own
    licenses, such as open source. This software is provided "as is," and unless otherwise stated, there is no warranty, express or implied, including but not limited to warranties of merchantability and fitness for a particular purpose.
    Certain components of this software are licensed under
    the GNU General Public License (GPL) version 2.0 or
    GNU General Public License (GPL) version 3.0 or the GNU
    Lesser General Public License (LGPL) Version 2.1 or
    Lesser General Public License (LGPL) Version 2.0.
    A copy of each such license is available at
    http://www.opensource.org/licenses/gpl-2.0.php and
    http://opensource.org/licenses/gpl-3.0.html and
    http://www.opensource.org/licenses/lgpl-2.1.php and
    .
    Software
     BIOS: version 08.38
     NXOS: version 9.3(5)
     BIOS compile time: 05/29/2020
     NXOS image file is: bootflash:///nxos.9.3. 5.bin
     NXOS compile time: 4/28/2020 21:00:00 [04/29/2020 02:28:31]
    Hardware
     cisco Nexus9000 C9336C Chassis (Nexus 9000 Series)
     Intel(R) Xeon(R) CPU E5-2403 v2 @ 1.80GHz with 8154432 kB of memory.
     Processor Board ID FOC20291J6K
     Device name: S2
     bootflash: 53298520 kB
    Kernel uptime is 0 day(s), 0 hour(s), 3 minute(s), 42 second(s)
    Last reset at 157524 usecs after Mon Nov 2 18:32:06 2020
               Reason: Reset due to upgrade
       System version: 9.3(5)
       Service:
    plugin
       Core Plugin, Ethernet Plugin
       Active Package(s):
    st2#
  9. FTP, HTTP, TFTP, SFTP 또는 SCP 전송 프로토콜 중 하나를 사용하여 스위치 ST2의 RCF를 스위치 bootflash에 복사합니다.

    Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    다음 예에서는 스위치 ST2에서 RCF를 부트 플래시 로 복사하는 데 사용되는 HTTP를 보여 줍니다.

    st2# copy http://172.16.10.1//cfg/Nexus_9336C_RCF_v1.6-Storage.txt bootflash: vrf management
    % Total % Received % Xferd   Average   Speed  Time   Time   Time
    Current
       Dload     Upload  Total Spent   Left
    Speed
     100    3254          100     3254      0       0     8175    0 --:--:-- --:--:-- --:--:–
    8301
    Copy complete, now saving to disk (please wait)...
    Copy complete.
    st2#
  10. 이전에 bootflash:"copy bootflash" 에 다운로드한 RCF를 적용한다.

    다음 예에서는 RCF 파일 "Nexus_9336C_RCF_v1.6 - Storage.txt"가 스위치 ST2에 설치된 것을 보여 줍니다.

    st2# copy Nexus_9336C_RCF_v1.6-Storage.txt running-config echo-commands
  11. [[step11] RCF 파일이 올바른 최신 버전인지 확인하십시오: 'show running-config'

    출력을 점검하여 올바른 RCF가 있는지 확인할 때 다음 정보가 올바른지 확인하십시오.

    • RCF 배너

    • 노드 및 포트 설정입니다

    • 사용자 지정

      출력은 사이트 구성에 따라 달라집니다. 포트 설정을 확인하고 설치된 RCF에 대한 변경 사항은 릴리스 노트를 참조하십시오.

      • 중요: * 'show banner motd' 명령의 배너 출력에서 * 중요 참고 사항 * 섹션의 지침을 읽고 따라 스위치의 올바른 구성과 작동을 확인해야 합니다.

    st2# show banner motd
    ******************************************************************************
    *NetApp Reference Configuration File (RCF)
    *
    *Switch : Nexus N9K-C9336C-FX2
    *Filename : Nexus_9336C_RCF_v1.6-Storage.txt
    * Date : 10-23-2020
    *Version  : v1.6
    *
    *Port Usage: Storage configuration
    *Ports 1-36: 100GbE Controller and Shelf Storage Ports
    *
    *IMPORTANT NOTES*
    *- This RCF utilizes QoS and requires TCAM re-configuration, requiring RCF
    *to be loaded twice with the Storage Switch rebooted in between.
    *
    *- Perform the following 4 steps to ensure proper RCF installation:
    *
    *(1) Apply RCF first time, expect following messages:
    *- Please save config and reload the system...
    *- Edge port type (portfast) should only be enabled on ports...
    *- TCAM region is not configured for feature QoS class IPv4 ingress...
    *
    *(2) Save running-configuration and reboot Cluster Switch
    *
    *(3) After reboot, apply same RCF second time and expect following messages:
    *- % Invalid command at '^' marker
    *- Syntax error while parsing...
    *
    *(4) Save running-configuration again
    ******************************************************************************
    st2#
  12. 소프트웨어 버전과 스위치 설정이 올바른지 확인한 후 running-config 파일을 스위치 ST2의 startup-config 파일에 복사합니다.

    Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    다음 예에서는 'running-config' 파일이 'startup-config' 파일에 성공적으로 복사되었음을 보여 줍니다.

    st2# copy running-config startup-config
    [] 100% Copy complete.
  13. 스토리지 스위치를 다시 부팅한 후 사용할 수 있는지 다시 확인합니다. 'system switch ethernet show'

    storage::*> system switch ethernet show
    Switch                       Type               Address          Model
    ---------------------------- ------------------ ---------------- ---------------
    st1
                                storage-network     172.17.227.5     NX9-C9336C
         Serial Number: FOC221206C2
          Is Monitored: true
                Reason: None
      Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                        9.3(5)
        Version Source: CDP
    st2
                                storage-network      172.17.227.6    NX9-C9336C
         Serial Number: FOC220443LZ
          Is Monitored: true
                Reason: None
      Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                        9.3(5)
        Version Source: CDP
    2 entries were displayed.
    storage::*
  14. [[step14] 재부팅 후 스위치 포트가 정상 작동 중인지 확인합니다. 스토리지 포트 show-port-type ENET

    storage::*> storage port show -port-type ENET
                                       Speed                            VLAN
    Node    Port    Type    Mode       (Gb/s)      State     Status       ID
    ------- ------- ------- ---------- ----------- --------- --------- -----
    node1
            e3a     ENET    storage           100   enabled   online       30
            e3b     ENET    storage             0   enabled   offline      30
            e7a     ENET    storage             0   enabled   offline      30
            e7b     ENET    storage           100   enabled   online       30
    node2
            e3a     ENET    storage           100   enabled   online       30
            e3b     ENET    storage             0   enabled   offline      30
            e7a     ENET    storage             0   enabled   offline      30
            e7b     ENET    storage           100   enabled   online       30
  15. [[15단계] 클러스터에 스토리지 스위치 또는 케이블 연결 문제가 없는지 다시 확인합니다. '시스템 상태 경고 표시 - 인스턴스'

    storage::*> system health alert show -instance
    There are no entries matching your query.
  16. 스위치 st1의 RCF에 대해 이 절차를 반복합니다.

  17. 자동 케이스 생성을 억제한 경우 AutoSupport 메시지 '시스템 노드 AutoSupport invoke -node * -type all-message MAINT=end’를 호출하여 다시 활성화합니다

Cisco Nexus 9336C-FX2 공유 스위치에 RCF를 설치합니다

ONTAP 9.9.1에서 Cisco Nexus 9336C-FX2 스위치를 사용하여 스토리지 및 클러스터 기능을 공유 스위치 시나리오에 결합할 수 있습니다.

시작하기 전에
  • 클러스터 스위치가 완전히 작동해야 합니다(로그에 오류가 없거나 이와 유사한 문제가 없어야 함).

  • 스토리지 스위치가 완전히 작동해야 합니다(로그에 오류가 없거나 이와 유사한 문제가 없어야 함).

  • 두 스토리지 스위치의 이름은 _SH1_와 _SH2_입니다.

  • 여기에 사용된 예에서는 공유 RCF를 새 스위치에 로드합니다.

단계
  1. FTP, HTTP, TFTP, SFTP 또는 SCP 전송 프로토콜 중 하나를 사용하여 스위치 SH2의 RCF를 스위치 bootflash에 복사합니다.

    Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    다음 예에서는 스위치 SH2에서 RCF를 부트 플래시 로 복사하는 데 사용되는 HTTP를 보여 줍니다.

    sh2# copy http://172.16.10.1//cfg/Nexus_9336C_RCF_v1.7-Cluster-Ha-Storage.txt bootflash: vrf management
    % Total % Received % Xferd   Average   Speed  Time   Time   Time
    Current
       Dload     Upload  Total Spent   Left
    Speed
     100    5143          100     5143      0       0     11300    0 --:--:-- --:--:-- --:--:–
    11300
    Copy complete, now saving to disk (please wait)...
    Copy complete.
    sh2#
  2. 이전에 bootflash:"copy bootflash"에 다운로드한 RCF를 적용합니다.

    다음 예에서는 스위치 SH2에 RCF 파일 'Nexus_9336C_RCF_v1.7-Cluster-HA-Storage.txt 설치하는 것을 보여 줍니다.

    sh2# copy Nexus_9336C_RCF_v1.7-Cluster-HA-Storage.txt running-config echo-commands
  3. [[step3] RCF 파일이 올바른 최신 버전인지 확인하십시오: 'show running-config'

    출력을 점검하여 올바른 RCF가 있는지 확인할 때 다음 정보가 올바른지 확인하십시오.

    • RCF 배너

    • 노드 및 포트 설정입니다

    • 사용자 지정

      출력은 사이트 구성에 따라 달라집니다. 포트 설정을 확인하고 설치된 RCF에 대한 변경 사항은 릴리스 노트를 참조하십시오.

      • 중요: * 'show banner motd' 명령의 배너 출력에서 * 중요 참고 사항 * 섹션의 지침을 읽고 따라 스위치의 올바른 구성과 작동을 확인해야 합니다.

    sh2# show banner motd
    ******************************************************************************
    *NetApp Reference Configuration File (RCF)
    *
    *Switch : Nexus N9K-C9336C-FX2
    *Filename : Nexus_9336C_RCF_v1.7-Cluster-HA-Storage.txt
    * Date :  Jan-08-2021
    *Version  : v1.7
    *
    *Port Usage:
    *Ports  1-8: 40/100GbE Intra-Cluster/HA Ports, int e1/1-8
    *Port     9: 10GbE breakout Intra-Cluster Ports, int e1/9/1-4
    *Port    10: 25GbE breakout Intra-Cluster/HA Ports, int e1/10/1-4
    *Ports 11-22: First HA-pair Controller and Shelf Storage Ports, int e1/11-22
    *Ports 23-34: Second HA-pair Controller and Shelf Storage Ports, int e1/23-34
    *Ports 35-36: Intra-Cluster ISL Ports, int e1/35-36
    *
    * Undo breakout commands and return interfaces to 40/100G configuration in
    * config mode:
    * no interface breakout module 1 port 9 map 10g-4x
    * no interface breakout module 1 port 10 map 25g-4x
    * interface Ethernet 1/9-10
    * inherit port-profile CLUSTER_HA
    * priority-flow-control mode auto
    * service-policy type qos input HA_POLICY
    * exit
    *
    *IMPORTANT NOTES*
    * In certain conditions, N9K-C9336C-FX2 may not be able to auto-negotiate port
    * speed correctly, and port speed must be manually set, in config mode, e.g.
    * int e1/1
    * speed 40000
    * int e1/3
    * speed 100000
    *
    ******************************************************************************
    sh2#
  4. 소프트웨어 버전과 스위치 설정이 올바른지 확인한 후 스위치 SH2의 startup-config 파일에 'running-config' 파일을 복사합니다.

    Cisco 명령에 대한 자세한 내용은 에서 해당 설명서를 참조하십시오 "Cisco Nexus 9000 Series NX-OS 명령 참조 가이드".

    다음 예에서는 'running-config' 파일이 'startup-config' 파일에 성공적으로 복사되었음을 보여 줍니다.

    sh2# copy running-config startup-config
    [] 100% Copy complete.
  5. [[5단계]] 스위치 SH1의 RCF에 대해 이 절차를 반복합니다.