Skip to main content
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

Cisco Nexus 9364D-GX2A의 RCF 버전 업그레이드

기여자 netapp-lisa netapp-yvonneo

Cisco Nexus 9364D-GX2A 스위치에서 참조 구성 파일(RCF) 버전을 업그레이드하여 새로운 하드웨어, 새로운 ONTAP 버전을 지원하거나 AFX 1K 또는 AFX 2K 시스템 구성에서 새로운 NX-OS 버전에 맞게 조정합니다.

참고 지원되지 않는 버전으로 RCF 버전을 업그레이드하거나 다운그레이드하지 마십시오.
시작하기 전에
  • "RCF 설치 또는 업그레이드 개요" 페이지를 읽어야 합니다.

  • 스위치 구성의 현재 백업이 있는지 확인하십시오.

  • 클러스터가 완전히 정상적으로 작동하는지, 즉 로그에 오류가 없거나 유사한 문제가 없는지 확인하십시오.

  • 최신 RCF 버전을 사용해야 합니다.

  • 원하는 부팅 이미지를 반영하는 부팅 구성이 RCF에 있어야 합니다.

    현재 부트 이미지를 반영하도록 부트 구성을 변경해야 하는 경우 RCF를 다시 적용하기 전에 변경해야 합니다. 이렇게 하면 향후 재부팅 시 올바른 버전이 인스턴스화됩니다.

이 작업에 관하여
  • 클러스터 운영에 지장이 없도록 하기 위해, 이 절차에서는 대상 스위치에서 단계를 수행하는 동안 모든 클러스터 LIF를 운영 파트너 스위치로 마이그레이션하도록 합니다.

  • 이 절차 중에는 작동 가능한 스위치 간 링크(ISL)가 필요하지 않습니다. 이는 RCF 버전 변경으로 인해 ISL 연결에 일시적인 문제가 발생할 수 있기 때문에 의도적으로 설계된 것입니다.

  • 이 절차에는 ONTAP 명령과 Cisco Nexus 9000 시리즈 스위치 명령이 필요하므로, 각 단계에서는 명령을 입력하는 데 사용하는 CLI를 명시합니다.

  • 이 절차의 예에서는 다음 스위치 및 노드 명명법을 사용합니다.

    • 두 Cisco 스위치의 이름은 cs1과 cs2입니다.

    • 노드 이름은 node1-01, node1-02, node1-03, node1-04입니다.

    • 클러스터 LIF 이름은 다음과 같습니다.

      • node1-01에 대한 node1-01_clus1 및 node1-01_clus2

      • node1-02에 대한 node1-02_clus1 및 node1-02_clus2

      • node1-03에 대한 node1-03_clus1 및 node1-03_clus2

      • node1-04에 대한 node1-04_clus1 및 node1-04_clus2

    • 그만큼 cluster1::*> 프롬프트는 클러스터의 이름을 나타냅니다.

  • 이 절차에 제시된 예시는 RCF 10.0을 실행하는 스위치가 있는 AFX 1K 시스템을 기준으로 합니다. AFX 2K 시스템을 사용하는 경우 입력 및 출력이 다를 수 있습니다.

1단계: 업그레이드 준비

다음 단계에서는 ONTAP CLI를 사용하여 필요에 따라 자동 케이스 생성을 억제하고, 포트의 관리 및 운영 상태를 확인하고, 클러스터 LIF에서 자동 되돌리기를 비활성화하여 RCF 업그레이드를 준비하십시오.

  1. 이 클러스터에서 AutoSupport 활성화된 경우 AutoSupport 메시지를 호출하여 자동 케이스 생성을 억제합니다.

    system node autosupport invoke -node * -type all -message MAINT=<number of hours down>h
  2. 계속할지 묻는 메시지가 나타나면 *y*를 입력하여 권한 수준을 고급으로 변경합니다.

    set -privilege advanced

    고급 프롬프트(*>)가 나타납니다.

  3. 스위치에 연결된 각 노드의 클러스터 포트를 표시합니다.

    network device-discovery show
    예를 보여주세요
    cluster1::*> network device-discovery show
    
    Node/       Local  Discovered
    Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
    ----------- ------ ------------------------- ----------------  --------
    node1-01/cdp
                e10a   cs1(FLMXXXXXXXX)         Ethernet1/16/3    N9K-C9364D-GX2A
                e10b   cs1(FDOXXXXXXXX)         Ethernet1/13/3    N9K-C9364D-GX2A
                e11a   cs1(FLMXXXXXXXX)         Ethernet1/16/4    N9K-C9364D-GX2A
                e11b   cs1(FDOXXXXXXXX)         Ethernet1/13/4    N9K-C9364D-GX2A
                e1a    cs1(FLMXXXXXXXX)         Ethernet1/16/1    N9K-C9364D-GX2A
                e1b    cs1(FDOXXXXXXXX)         Ethernet1/13/1    N9K-C9364D-GX2A
                .
                .
                .
                e7a    cs1(FLMXXXXXXXX)         Ethernet1/16/2    N9K-C9364D-GX2A
                e7b    cs1(FDOXXXXXXXX)         Ethernet1/13/2    N9K-C9364D-GX2A
    node1-01/lldp
                e10a   cs1 (c8:60:8f:xx:xx:xx)   Ethernet1/16/3    -
                e10b   cs2 (04:e3:87:xx:xx:xx)   Ethernet1/16/3    -
                e11a   cs1 (c8:60:8f:xx:xx:xx)   Ethernet1/16/4    -
                e11b   cs2 (04:e3:87:xx:xx:xx)   Ethernet1/16/4    -
                e1a    cs1 (c8:60:8f:xx:xx:xx)   Ethernet1/16/1    -
                e1b    cs2 (04:e3:87:xx:xx:xx)   Ethernet1/16/1    -
                .
                .
                .
                e7a    cs1 (c8:60:8f:xx:xx:xx)   Ethernet1/16/2    -
                e7b    cs2 (04:e3:87:xx:xx:xx)   Ethernet1/16/2    -
    .
    .
    .
  4. 각 항구의 행정 및 운영 상태를 확인하세요.

    1. 클러스터 포트

      1. 모든 클러스터 포트가 정상 상태로 작동하는지 확인하세요.

        network port show -ipspace Cluster
        예를 보여주세요
        cluster1::*> network port show -ipspace Cluster
        
        Node: node1-01
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/100000 healthy false
        e7b       Cluster      Cluster          up   9000  auto/100000 healthy false
        
        Node:node1-02
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/100000 healthy false
        e7b       Cluster      Cluster          up   9000  auto/100000 healthy false
        
        Node: node1-03
        
                                                                            Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/10000 healthy  false
        e7b       Cluster      Cluster          up   9000  auto/10000 healthy  false
        
        Node: node1-04
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/10000 healthy  false
        e7b       Cluster      Cluster          up   9000  auto/10000 healthy  false
        cluster1::*>
      2. 모든 클러스터 인터페이스(LIF)가 홈 포트에 있는지 확인하세요.

        network interface show -role cluster
        예를 보여주세요
        cluster1::*> network interface show -role cluster
                    Logical          Status      Network           Current      Current Is
        Vserver     Interface        Admin/Oper  Address/Mask      Node         Port    Home
        ----------- ---------------- ----------- ----------------- ------------ ------- ----
        Cluster
                    node1-01_clus1   up/up       169.254.3.4/23    node1-01     e7a     true
                    node1-01_clus2   up/up       169.254.3.5/23    node1-01     e7b     true
                    node1-02_clus1   up/up       169.254.3.8/23    node1-02     e7a     true
                    node1-02_clus2   up/up       169.254.3.9/23    node1-02     e7b     true
                    node1-03_clus1   up/up       169.254.1.3/23    node1-03     e7a     true
                    node1-03_clus2   up/up       169.254.1.1/23    node1-03     e7b     true
                    node1-04_clus1   up/up       169.254.1.6/23    node1-04     e7a     true
                    node1-04_clus2   up/up       169.254.1.7/23    node1-04     e7b     true
        8 entries were displayed.
      3. 클러스터가 두 스위치에 대한 정보를 모두 표시하는지 확인하세요.

        system cluster-switch show -is-monitoring-enabled-operational true
        예를 보여주세요
        cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true
        Switch                      Type               Address          Model
        --------------------------- ------------------ ---------------- -----
        cs1(FDOXXXXXXXX)            cluster-network    10.228.137.233   N9K-C9364D-GX2A
             Serial Number: FDOXXXXXXXX
              Is Monitored: true
                    Reason: None
          Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                            10.4(2)
            Version Source: CDP/ISDP
        
        cs2(FLMXXXXXXXX)            cluster-network    10.228.137.234   N9K-C9364D-GX2A
             Serial Number: FLMXXXXXXXX
              Is Monitored: true
                    Reason: None
          Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                            10.4(2)
            Version Source: CDP/ISDP
    2. HA 포트

      1. 모든 HA 포트가 정상 상태로 작동하는지 확인하세요.

        ha interconnect status show -node <node-name>
        예를 보여주세요
        cluster1::*> ha interconnect status show -node node1-01
          (system ha interconnect status show)
        
                               Node: node1-01
                      Link 0 Status: up
                      Link 1 Status: up
                   Is Link 0 Active: true
                   Is Link 1 Active: true
                 IC RDMA Connection: up
                               Slot: 0
                     Debug Firmware: no
        
        
        Interconnect Port 0 :
                          Port Name: e1a-17
                                MTU: 4096
                   Link Information: ACTIVE
        
        
        Interconnect Port 1 :
                          Port Name: e1b-18
                                MTU: 4096
                   Link Information: ACTIVE
        
        cluster1::*> ha interconnect status show -node node1-01
          (system ha interconnect status show)
        
                               Node: node1-01
                      Link 0 Status: up
                      Link 1 Status: up
                   Is Link 0 Active: true
                   Is Link 1 Active: true
                 IC RDMA Connection: up
                               Slot: 0
                     Debug Firmware: no
        
        
        Interconnect Port 0 :
                          Port Name: e1a-17
                                MTU: 4096
                   Link Information: ACTIVE
        
        
        Interconnect Port 1 :
                          Port Name: e1b-18
                                MTU: 4096
                   Link Information: ACTIVE
        .
        .
        .
    3. 저장 포트

      1. 모든 스토리지 포트가 정상 상태로 작동하는지 확인하세요.

        storage port show -port-type ENET
        예를 보여주세요
        cluster1::*> storage port show -port-type ENET
        
        
                                              Speed
        Node               Port Type  Mode    (Gb/s) State    Status
        ------------------ ---- ----- ------- ------ -------- -----------
        node1-01
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        node1-02
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        node1-03
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
        node1-04
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        16 entries were displayed.
    4. 보관 선반 포트

      1. 모든 저장 선반 포트가 정상 상태로 작동하는지 확인하세요.

        storage shelf port show
        예를 보여주세요
        cluster1::*> storage shelf port show
        
        Shelf ID Module State        Internal?
        ----- -- ------ ------------ ---------
        1.1
               0 A      connected    false
               1 A      connected    false
               2 A      connected    false
               3 A      connected    false
               4 A      connected    false
               5 A      connected    false
               6 A      connected    false
               7 A      connected    false
               8 B      connected    false
               9 B      connected    false
              10 B      connected    false
              11 B      connected    false
              12 B      connected    false
              13 B      connected    false
              14 B      connected    false
              15 B      connected    false
        
        16 entries were displayed.
      2. 모든 저장 선반 포트가 정상 상태로 작동하는지 확인하세요.

        storage shelf port show -fields remote-device,remote-port,connector-state
        예를 보여주세요
        cluster1::*> storage shelf port show -fields remote-device,remote-port,connector-state
        
        shelf id connector-state remote-port    remote-device
        ----- -- --------------- -------------- -----------------
        1.1   0  connected       Ethernet1/17/1 CX9332D-cs1
        1.1   1  connected       Ethernet1/15/1 CX9364D-cs1
        1.1   2  connected       Ethernet1/17/2 CX9332D-cs1
        1.1   3  connected       Ethernet1/15/2 CX9364D-cs1
        1.1   4  connected       Ethernet1/17/3 CX9332D-cs1
        1.1   5  connected       Ethernet1/15/3 CX9364D-cs1
        1.1   6  connected       Ethernet1/17/4 CX9332D-cs1
        1.1   7  connected       Ethernet1/15/4 CX9364D-cs1
        1.1   8  connected       Ethernet1/19/1 CX9332D-cs1
        1.1   9  connected       Ethernet1/17/1 CX9364D-cs1
        1.1   10 connected       Ethernet1/19/2 CX9332D-cs1
        1.1   11 connected       Ethernet1/17/2 CX9364D-cs1
        1.1   12 connected       Ethernet1/19/3 CX9332D-cs1
        1.1   13 connected       Ethernet1/17/3 CX9364D-cs1
        1.1   14 connected       Ethernet1/19/4 CX9332D-cs1
        1.1   15 connected       Ethernet1/17/4 CX9364D-cs1
        
        16 entries were displayed.
  5. 클러스터 LIF에서 자동 복구 기능을 비활성화합니다. 클러스터 LIF는 파트너 클러스터 스위치로 페일오버되어 대상 스위치에서 이 절차를 수행하는 동안 해당 상태를 유지합니다.

    network interface modify -vserver Cluster -lif * -auto-revert false

2단계: RCF 업그레이드

RCF 업그레이드에는 스위치 CLI와 ONTAP CLI(다음 단계에 따라)를 사용합니다. 첫 번째 스위치(cs1)에서 RCF를 업그레이드한 다음 두 번째 스위치(cs2)에 대해 동일한 단계를 반복합니다.

  1. 스위치 CLI를 사용하여 스위치 cs1에서 노드의 모든 포트에 연결된 포트를 모두 종료합니다.

    주의 네트워크 연결 문제를 방지하려면 연결된 모든 포트를 종료해야 합니다. 자세한 내용은 기술 자료 문서 "스위치 OS 업그레이드 중 클러스터 LIF를 마이그레이션할 때 노드가 쿼럼을 벗어났습니다."를 참조하십시오.
    cs1# config
    cs1(config)# interface e1/1/1-4,e1/2/1-4,e1/3/1-4,e1/4/1-4,e1/5/1-4,e1/6/1-4,e1/7/1-4,e1/8/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/9/1-4,e1/10/1-4,e1/11/1-4,e1/12/1-4,e1/13/1-4,e1/14/1-4,e1/15/1-4,e1/16/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/17/1-4,e1/18/1-4,e1/19/1-4,e1/20/1-4,e1/21/1-4,e1/22/1-4,e1/23/1-4,e1/24/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/25/1-4,e1/26/1-4,e1/27/1-4,e1/28/1-4,e1/29/1-4,e1/30/1-4,e1/31/1-4,e1/32/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/33/1-4,e1/34/1-4,e1/35/1-4,e1/36/1-4,e1/37/1-4,e1/38/1-4,e1/39/1-4,e1/40/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/41/1-4,e1/42/1-4,e1/43/1-4,e1/44/1-4,e1/35/1-4,e1/46/1-4,e1/47/1-4,e1/48/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/49/1-4,e1/50/1-4,e1/51/1-4,e1/52/1-4,e1/53/1-4,e1/54/1-4,e1/55/1-4,e1/56/1-4
    cs1(config-if-range)# shutdown
    cs1(config)# interface e1/57/1-4,e1/58/1-4,e1/59/1-4,e1/60/1-4,e1/61/1-4,e1/62/1-4
    cs1(config-if-range)# shutdown
    cs1(config-if-range)# exit
    cs1(config)# exit
  2. ONTAP CLI를 사용하여 클러스터 LIF가 스위치 cs1에서 호스팅되는 포트로 페일오버되었는지 확인하십시오. 몇 초 정도 소요될 수 있습니다.

    network interface show -role cluster
    예를 보여주세요
    cluster1::*> network interface show -role cluster
                Logical           Status     Network            Current       Current Is
    Vserver     Interface         Admin/Oper Address/Mask       Node          Port    Home
    ----------- ----------------- ---------- ------------------ ------------- ------- ----
    Cluster
                node1-01_clus1    up/up      169.254.36.44/16   node1-01      e7a     true
                node1-01_clus2    up/up      169.254.7.5/16     node1-01      e7b     true
                node1-02_clus1    up/up      169.254.197.206/16 node1-02      e7a     true
                node1-02_clus2    up/up      169.254.195.186/16 node1-02      e7b     true
                node1-03_clus1    up/up      169.254.192.49/16  node1-03      e7a     true
                node1-03_clus2    up/up      169.254.182.76/16  node1-03      e7b     true
                node1-04_clus1    up/up      169.254.59.49/16   node1-04      e7a     true
                node1-04_clus2    up/up      169.254.62.244/16  node1-04      e7b     true
    8 entries were displayed.
  3. ONTAP CLI를 사용하여 클러스터가 정상인지 확인합니다.

    cluster show
    예를 보여주세요
    cluster1::*> cluster show
    Node              Health  Eligibility   Epsilon
    ----------------- ------- ------------  -------
    node1-01          true    true          false
    node1-02          true    true          false
    node1-03          true    true          true
    node1-04          true    true          false
    4 entries were displayed.
  4. 아직 수행하지 않은 경우 스위치 CLI를 사용하여 다음 명령의 출력을 텍스트 파일에 복사하여 현재 스위치 구성의 사본을 저장하십시오.

    show running-config

    1. show diff running-config 명령을 사용하여 부트플래시에 저장된 RCF 파일과 비교하십시오. 또는 타사 diff/compare 도구를 사용하십시오.

  5. 기본 구성 세부 정보를 저장합니다. write_erase.cfg 부트플래시에 있는 파일입니다.

    참고

    다음 사항을 구성해야 합니다.

    • 사용자 이름과 비밀번호

    • 관리 IP 주소

    • 기본 게이트웨이

    • 스위치 이름

    주의
    `write_erase.cfg` 파일이 이미 존재하는 경우 다음과 같이  `write_erase_old.cfg`로 이름을 변경하십시오.

    cs1# move bootflash:write_erase.cfg write_erase_old.cfg

    cs1# show run | i "username admin password" > bootflash:write_erase.cfg

    cs1# show run | section "vrf context management" >> bootflash:write_erase.cfg

    cs1# show run | section "interface mgmt0" >> bootflash:write_erase.cfg

    cs1# show run | section "switchname" >> bootflash:write_erase.cfg

    cs1# echo "hardware access-list tcam region ing-racl 1024" >> bootflash:write_erase.cfg

    cs1# echo "hardware access-list tcam region egr-racl 1024" >> bootflash:write_erase.cfg

    cs1# echo "hardware access-list tcam region ing-l2-qos 1536" >> bootflash:write_erase.cfg

    자세한 내용은 기술 자료 문서 "원격 연결을 유지하면서 Cisco 상호 연결 스위치의 구성을 지우는 방법"를 참조하십시오.

  6. 스위치 CLI를 사용하여 write_erase.cfg 파일이 예상대로 채워졌는지 확인하십시오.

    show file bootflash:write_erase.cfg

  7. 스위치 CLI를 사용하여 현재 저장된 구성을 지웁니다.

    write erase

    Warning: This command will erase the startup-configuration.

    Do you wish to proceed anyway? (y/n) [n] y

  8. 스위치 CLI를 사용하여 이전에 저장한 기본 구성을 시작 구성에 복사합니다.

    copy bootflash:write_erase.cfg startup-config

  9. 스위치 CLI를 사용하여 스위치를 재부팅하십시오.

    reload

    This command will reboot the system. (y/n)? [n] y

  10. 관리 IP 주소에 다시 접근할 수 있게 되면 SSH를 통해 스위치에 로그인합니다.

    SSH 키와 관련된 호스트 파일 항목을 업데이트해야 할 수도 있습니다.

  11. 스위치 CLI를 사용하여 다음 전송 프로토콜 중 하나(FTP, TFTP, SFTP 또는 SCP)를 이용해 RCF 파일을 스위치 cs1의 부트플래시에 복사합니다.

    Cisco 명령에 대한 자세한 내용은 "Cisco Nexus 9000 시리즈 NX-OS 명령 참조"의 해당 가이드를 참조하십시오.

    copy <protocol>: bootflash: vrf management

    예를 보여주세요

    이 예에서는 TFTP를 사용하여 RCF를 스위치 cs1의 부트플래시에 복사하는 방법을 보여줍니다.

    cs1# copy tftp: bootflash: vrf management
    Enter source filename: NX9364D-GX2A-RCF-v10.0-Shared.txt
    Enter hostname for the tftp server: 172.22.201.50
    Trying to connect to tftp server......Connection to Server Established.
    TFTP get operation was successful
    Copy complete, now saving to disk (please wait)...
  12. 스위치 CLI를 사용하여 이전에 다운로드한 RCF를 부트플래시에 적용합니다.

    Cisco 명령에 대한 자세한 내용은 "Cisco Nexus 9000 시리즈 NX-OS 명령 참조"의 해당 가이드를 참조하십시오.

    이 예에서는 RCF 파일을 보여줍니다. NX9364D-GX2A-RCF-v10.0-Shared.txt 스위치 cs1에 설치 중:

    cs1# copy NX9364D-GX2A-RCF-v10.0-Shared.txt running-config echo-commands
    주의

    RCF의 설치 참고 사항, 중요 참고 사항배너 부분을 꼼꼼히 읽어보시기 바랍니다.

    스위치의 올바른 구성 및 작동을 위해서는 다음 지침을 읽고 따라야 합니다.

  13. 스위치 CLI를 사용하여 RCF 파일이 올바른 최신 버전인지 확인하십시오.

    show running-config

    올바른 RCF가 있는지 확인하기 위해 출력을 확인할 때 다음 정보가 올바른지 확인하세요.

    • RCF 배너

    • 노드 및 포트 설정

    • 사용자 정의

      출력은 사이트 구성에 따라 달라집니다. 포트 설정을 확인하고 설치한 RCF에 대한 특정 변경 사항이 있는지 릴리스 노트를 참조하세요.

  14. 스위치 구성에 이전의 사용자 정의를 다시 적용합니다.

    스위치가 RCF 10.1 이상을 실행 중인 경우 필요에 따라 "포트 속도 구성 변경" 할 수 있습니다.

  15. 스위치 CLI를 사용하여 RCF 버전, 사용자 지정 추가 사항 및 스위치 설정이 올바른지 확인한 후 실행 중인 구성 파일을 시작 구성 파일로 복사합니다.

    Cisco 명령에 대한 자세한 내용은 "Cisco Nexus 9000 시리즈 NX-OS 명령 참조"의 해당 가이드를 참조하십시오.

    copy running-config startup-config

    [] 100% Copy complete

  16. 스위치 CLI를 사용하여 스위치 cs1을 재부팅하십시오. 스위치가 재부팅되는 동안 노드에서 보고되는 “cluster switch health monitor” 경고 및 “cluster ports down” 이벤트는 무시해도 됩니다.

    reload

    This command will reboot the system. (y/n)? [n] y

  17. ONTAP CLI를 사용하여 클러스터의 모든 포트 상태를 확인합니다.

    1. 클러스터 포트

      1. 클러스터의 모든 노드에서 클러스터 포트가 작동 중이고 정상인지 확인하세요.

        network port show -ipspace Cluster
        예를 보여주세요
        cluster1::*> network port show -ipspace Cluster
        
        Node: node1-01
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/10000 healthy  false
        e7b       Cluster      Cluster          up   9000  auto/10000 healthy  false
        
        Node: node1-02
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/10000 healthy  false
        e7b       Cluster      Cluster          up   9000  auto/10000 healthy  false
        
        Node: node1-03
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/100000 healthy false
        e7b       Cluster      Cluster          up   9000  auto/100000 healthy false
        
        Node: node1-04
                                                                               Ignore
                                                          Speed(Mbps) Health   Health
        Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
        --------- ------------ ---------------- ---- ---- ----------- -------- ------
        e7a       Cluster      Cluster          up   9000  auto/100000 healthy false
        e7b       Cluster      Cluster          up   9000  auto/100000 healthy false
        8 entries were displayed.
      2. 클러스터에서 스위치 상태를 확인합니다.

        network device-discovery show -protocol cdp
        system cluster-switch show -is-monitoring-enabled-operational true
        예를 보여주세요
        cluster1::*> network device-discovery show -protocol cdp
        Node/       Local  Discovered
        Protocol    Port   Device (LLDP: ChassisID)  Interface         Platform
        ----------- ------ ------------------------- ----------------- --------
        node1-01/cdp
                    e10a   cs1(FLMXXXXXXXX)          Ethernet1/16/3    N9K-C9364D-GX2A
                    e10b   cs2(FDOXXXXXXXX)          Ethernet1/13/3    N9K-C9364D-GX2A
                    e11a   cs1(FLMXXXXXXXX)          Ethernet1/16/4    N9K-C9364D-GX2A
                    e11b   cs2(FDOXXXXXXXX)          Ethernet1/13/4    N9K-C9364D-GX2A
                    e1a    cs1(FLMXXXXXXXX)          Ethernet1/16/1    N9K-C9364D-GX2A
                    e1b    cs2(FLMXXXXXXXX)          Ethernet1/13/1    N9K-C9364D-GX2A
                    .
                    .
                    .
                    e7a    cs1(FLMXXXXXXXX)          Ethernet1/16/2    N9K-C9364D-GX2A
                    e7b    cs2(FDOXXXXXXXX)          Ethernet1/13/2    N9K-C9364D-GX2A
        node1-02/cdp
        .
        .
        .
        
        cluster1::*> system cluster-switch show -is-monitoring-enabled-operational true
        Switch                      Type               Address          Model
        --------------------------- ------------------ ---------------- -----
        cs2(FDOXXXXXXXX)            cluster-network    10.228.137.233   N9K-C9364D-GX2A
             Serial Number: FDOXXXXXXXX
              Is Monitored: true
                    Reason: None
          Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                            10.4(2)
            Version Source: CDP/ISDP
        
        cs1(FLMXXXXXXXX)            cluster-network    10.228.137.234   N9K-C9364D-GX2A
             Serial Number: FLMXXXXXXXX
              Is Monitored: true
                    Reason: None
          Software Version: Cisco Nexus Operating System (NX-OS) Software, Version
                            10.4(2)
            Version Source: CDP/ISDP
        
        2 entries were displayed.
    2. HA 포트

      1. 모든 HA 포트가 정상 상태로 작동하는지 확인하세요.

        ha interconnect status show -node <node-name>
        예를 보여주세요
        cluster1::*> ha interconnect status show -node node1-01
          (system ha interconnect status show)
        
                               Node: node1-01
                      Link 0 Status: up
                      Link 1 Status: up
                   Is Link 0 Active: true
                   Is Link 1 Active: true
                 IC RDMA Connection: up
                               Slot: 0
                     Debug Firmware: no
        
        
        Interconnect Port 0 :
                          Port Name: e1a-17
                                MTU: 4096
                   Link Information: ACTIVE
        
        
        Interconnect Port 1 :
                          Port Name: e1b-18
                                MTU: 4096
                   Link Information: ACTIVE
        
        cluster1::*> ha interconnect status show -node node1-02
          (system ha interconnect status show)
        
                               Node: node1-02
                      Link 0 Status: up
                      Link 1 Status: up
                   Is Link 0 Active: true
                   Is Link 1 Active: true
                 IC RDMA Connection: up
                               Slot: 0
                     Debug Firmware: no
        
        
        Interconnect Port 0 :
                          Port Name: e1a-17
                                MTU: 4096
                   Link Information: ACTIVE
        
        
        Interconnect Port 1 :
                          Port Name: e1b-18
                                MTU: 4096
                   Link Information: ACTIVE
        .
        .
        .
    3. 저장 포트

      1. 모든 스토리지 포트가 정상 상태로 작동하는지 확인하세요.

        storage port show -port-type ENET
        예를 보여주세요
        cluster1::*> storage port show -port-type ENET
        
        
                                              Speed
        Node               Port Type  Mode    (Gb/s) State    Status
        ------------------ ---- ----- ------- ------ -------- -----------
        node1-01
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        node1-02
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        node1-03
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
        node1-04
                           e10a ENET  -          100 enabled  online
                           e10b ENET  -          100 enabled  online
                           e11a ENET  -          100 enabled  online
                           e11b ENET  -          100 enabled  online
        16 entries were displayed.
    4. 보관 선반 포트

      1. 모든 저장 선반 포트가 정상 상태로 작동하는지 확인하세요.

        storage shelf port show
        예를 보여주세요
        cluster1::*> storage shelf port show
        
        Shelf ID Module State        Internal?
        ----- -- ------ ------------ ---------
        1.1
               0 A      connected    false
               1 A      connected    false
               2 A      connected    false
               3 A      connected    false
               4 A      connected    false
               5 A      connected    false
               6 A      connected    false
               7 A      connected    false
               8 B      connected    false
               9 B      connected    false
              10 B      connected    false
              11 B      connected    false
              12 B      connected    false
              13 B      connected    false
              14 B      connected    false
              15 B      connected    false
        
        16 entries were displayed.
      2. 모든 저장 선반 포트의 연결 상태를 확인하세요.

        storage shelf port show -fields remote-device,remote-port,connector-state
        예를 보여주세요
        cluster1::*> storage shelf port show -fields remote-device,remote-port,connector-state
        
        shelf id connector-state remote-port    remote-device
        ----- -- --------------- -------------- -----------------
        1.1   0  connected       Ethernet1/17/1 CX9332D-cs1
        1.1   1  connected       Ethernet1/15/1 CX9364D-cs1
        1.1   2  connected       Ethernet1/17/2 CX9332D-cs1
        1.1   3  connected       Ethernet1/15/2 CX9364D-cs1
        1.1   4  connected       Ethernet1/17/3 CX9332D-cs1
        1.1   5  connected       Ethernet1/15/3 CX9364D-cs1
        1.1   6  connected       Ethernet1/17/4 CX9332D-cs1
        1.1   7  connected       Ethernet1/15/4 CX9364D-cs1
        1.1   8  connected       Ethernet1/19/1 CX9332D-cs1
        1.1   9  connected       Ethernet1/17/1 CX9364D-cs1
        1.1   10 connected       Ethernet1/19/2 CX9332D-cs1
        1.1   11 connected       Ethernet1/17/2 CX9364D-cs1
        1.1   12 connected       Ethernet1/19/3 CX9332D-cs1
        1.1   13 connected       Ethernet1/17/3 CX9364D-cs1
        1.1   14 connected       Ethernet1/19/4 CX9332D-cs1
        1.1   15 connected       Ethernet1/17/4 CX9364D-cs1
        
        16 entries were displayed.
  18. ONTAP CLI를 사용하여 클러스터가 정상인지 확인합니다.

    cluster show
    예를 보여주세요
    cluster1::*> cluster show
    Node              Health   Eligibility   Epsilon
    ----------------- -------- ------------- -------
    node1-01          true     true          false
    node1-02          true     true          false
    node1-03          true     true          true
    node1-04          true     true          false
    4 entries were displayed.
  19. 스위치 cs2에서 4~18단계를 반복합니다.

  20. ONTAP CLI를 사용하여 클러스터 LIF에서 자동 복원 기능을 활성화합니다.

    network interface modify -vserver Cluster -lif * -auto-revert true

3단계: 클러스터 네트워크 구성 및 클러스터 상태 확인

두 스위치 모두에서 RCF 업그레이드가 완료되면 클러스터 네트워크 구성과 클러스터 상태를 확인하십시오.

  1. 스위치 CLI를 사용하여 클러스터 포트에 연결된 스위치 포트가 up 상태인지 확인합니다.

    show interface brief

    예를 보여주세요
    cs1# show interface brief | grep up
    .
    .
    Eth1/9/3        1       eth  trunk  up      none                     100G(D) --
    Eth1/9/4        1       eth  trunk  up      none                     100G(D) --
    Eth1/15/1       1       eth  trunk  up      none                     100G(D) --
    Eth1/15/2       1       eth  trunk  up      none                     100G(D) --
    Eth1/15/3       1       eth  trunk  up      none                     100G(D) --
    Eth1/15/4       1       eth  trunk  up      none                     100G(D) --
    Eth1/16/1       1       eth  trunk  up      none                     100G(D) --
    Eth1/16/2       1       eth  trunk  up      none                     100G(D) --
    Eth1/16/3       1       eth  trunk  up      none                     100G(D) --
    Eth1/16/4       1       eth  trunk  up      none                     100G(D) --
    Eth1/17/1       1       eth  trunk  up      none                     100G(D) --
    Eth1/17/2       1       eth  trunk  up      none                     100G(D) --
    Eth1/17/3       1       eth  trunk  up      none                     100G(D) --
    Eth1/17/4       1       eth  trunk  up      none                     100G(D) --
    .
    .
    .
  2. 스위치 CLI를 사용하여 예상 노드가 여전히 연결되어 있는지 확인합니다.

    show cdp neighbors

    예를 보여주세요
    cs1# show cdp neighbors
    
    Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
                      S - Switch, H - Host, I - IGMP, r - Repeater,
                      V - VoIP-Phone, D - Remotely-Managed-Device,
                      s - Supports-STP-Dispute
    
    Device-ID          Local Intrfce  Hldtme Capability  Platform      Port ID
    cs2(FDOXXXXXXXX)    Eth1/63        179    R S I s   N9K-C9332D-GX2B   Eth1/31
    cs2(FDOXXXXXXXX)    Eth1/64        179    R S I s   N9K-C9332D-GX2B   Eth1/32
    node1-01            Eth1/4/1       123    H         AFX-1K            e1a
    node1-01            Eth1/4/2       123    H         AFX-1K            e7a
    node1-01            Eth1/4/3       123    H         AFX-1K            e10a
    node1-01            Eth1/4/4       123    H         AFX-1K            e11a
    node1-02            Eth1/9/1       138    H         AFX-1K            e1a
    node1-02            Eth1/9/2       138    H         AFX-1K            e7a
    node1-02            Eth1/9/3       138    H         AFX-1K            e10a
    node1-02            Eth1/9/4       138    H         AFX-1K            e11a
    node1-03            Eth1/15/1      138    H         AFX-1K            e1a
    node1-03            Eth1/15/2      138    H         AFX-1K            e7a
    node1-03            Eth1/15/3      138    H         AFX-1K            e10a
    node1-03            Eth1/15/4      138    H         AFX-1K            e11a
    node1-04            Eth1/16/1      173    H         AFX-1K            e1a
    node1-04            Eth1/16/2      173    H         AFX-1K            e7a
    node1-04            Eth1/16/3      173    H         AFX-1K            e10a
    node1-04            Eth1/16/4      173    H         AFX-1K            e11a
    
    Total entries displayed: 18
  3. 스위치 CLI를 사용하여 다음 명령을 통해 클러스터 노드가 올바른 클러스터 VLAN에 있는지 확인하십시오.

    show vlan brief

    show interface trunk

    예를 보여주세요
    cs1# show vlan brief
    
    VLAN Name                             Status    Ports
    ---- -------------------------------- --------- -------------------------------
    1    default                          active    Po1, Po999, Eth1/63, Eth1/64
                                                    Eth1/65, Eth1/66, Eth1/1/1
                                                    Eth1/1/2, Eth1/1/3, Eth1/1/4
    .
    .
    .
                                                    Eth1/61/2, Eth1/61/3, Eth1/61/4
                                                    Eth1/62/1, Eth1/62/2, Eth1/62/3
                                                    Eth1/62/4
    17   VLAN0017                         active    Eth1/1/1, Eth1/1/2, Eth1/1/3
                                                    Eth1/1/4, Eth1/2/1, Eth1/2/2
    .
    .
    .
                                                    Eth1/61/1, Eth1/61/2, Eth1/61/3
                                                    Eth1/61/4, Eth1/62/1, Eth1/62/2
                                                    Eth1/62/3, Eth1/62/4
    18   VLAN0018                         active    Eth1/1/1, Eth1/1/2, Eth1/1/3
                                                    Eth1/1/4, Eth1/2/1, Eth1/2/2
    .
    .
    .
                                                    Eth1/61/1, Eth1/61/2, Eth1/61/3
                                                    Eth1/61/4, Eth1/62/1, Eth1/62/2
                                                    Eth1/62/3, Eth1/62/4
    30   VLAN0030                         active    Eth1/1/1, Eth1/1/2, Eth1/1/3
                                                    Eth1/1/4, Eth1/2/1, Eth1/2/2
    .
    .
    .
                                                    Eth1/61/1, Eth1/61/2, Eth1/61/3
                                                    Eth1/61/4, Eth1/62/1, Eth1/62/2
                                                    Eth1/62/3, Eth1/62/4
    40   VLAN0040                         active    Eth1/1/1, Eth1/1/2, Eth1/1/3
                                                    Eth1/1/4, Eth1/2/1, Eth1/2/2
    .
    .
    .
                                                    Eth1/61/1, Eth1/61/2, Eth1/61/3
                                                    Eth1/61/4, Eth1/62/1, Eth1/62/2
                                                    Eth1/62/3, Eth1/62/4
    
    cs1# show interface trunk
    
    -----------------------------------------------------
    Port          Native  Status        Port
                  Vlan                  Channel
    -----------------------------------------------------
    Eth1/1/1      1       trunking      --
    Eth1/1/2      1       trunking      --
    Eth1/1/3      1       trunking      --
    Eth1/1/4      1       trunking      --
    Eth1/2/1      1       trunking      --
    Eth1/2/2      1       trunking      --
    Eth1/2/3      1       trunking      --
    Eth1/2/4      1       trunking      --
    .
    .
    .
    Eth1/62/2     none
    Eth1/62/3     none
    Eth1/62/4     none
    Eth1/63       none
    Eth1/64       none
    Po1           1
    참고 특정 포트 및 VLAN 사용에 대한 자세한 내용은 RCF의 배너 및 중요 참고 사항 섹션을 참조하세요.
  4. 스위치 CLI를 사용하여 cs1과 cs2 간의 ISL이 정상적으로 작동하는지 확인하십시오.

    show port-channel summary

    예를 보여주세요
    cs1# show port-channel summary
    Flags:  D - Down        P - Up in port-channel (members)
            I - Individual  H - Hot-standby (LACP only)
            s - Suspended   r - Module-removed
            b - BFD Session Wait
            S - Switched    R - Routed
            U - Up (port-channel)
            p - Up in delay-lacp mode (member)
            M - Not in use. Min-links not met
    --------------------------------------------------------------------------------
    Group Port-       Type     Protocol  Member Ports      Channel
    --------------------------------------------------------------------------------
    1     Po1(SU)     Eth      LACP      Eth1/63(P)   Eth1/64(P)
    999   Po999(SD)   Eth      NONE      --
    cs1#
  5. ONTAP CLI를 사용하여 클러스터 LIF가 홈 포트로 되돌아갔는지 확인합니다.

    network interface show -role cluster
    예를 보여주세요
    cluster1::*> network interface show -role cluster
                Logical            Status     Network            Current      Current Is
    Vserver     Interface          Admin/Oper Address/Mask       Node         Port    Home
    ----------- ------------------ ---------- ------------------ ------------ ------- ----
    Cluster
                node1-01_clus1     up/up      169.254.36.44/16   node1-01     e7a     true
                node1-01_clus2     up/up      169.254.7.5/16     node1-01     e7b     true
                node1-02_clus1     up/up      169.254.197.206/16 node1-02     e7a     true
                node1-02_clus2     up/up      169.254.195.186/16 node1-02     e7b     true
                node1-03_clus1     up/up      169.254.192.49/16  node1-03     e7a     true
                node1-03_clus2     up/up      169.254.182.76/16  node1-03     e7b     true
                node1-04_clus1     up/up      169.254.59.49/16   node1-04     e7a     true
                node1-04_clus2     up/up      169.254.62.244/16  node1-04     e7b     true
    
    8 entries were displayed.

    클러스터 LIF가 홈 포트로 돌아오지 않은 경우 로컬 노드에서 수동으로 되돌립니다.

    network interface revert -vserver vserver_name -lif <lif-name>
  6. ONTAP CLI를 사용하여 클러스터가 정상인지 확인합니다.

    cluster show
    예를 보여주세요
    cluster1::*> cluster show
    Node              Health  Eligibility   Epsilon
    ----------------- ------- ------------- -------
    node1-01          true    true          false
    node1-02          true    true          false
    node1-03          true    true          true
    node1-04          true    true          false
    
    4 entries were displayed.
  7. ONTAP CLI를 사용하여 원격 클러스터 인터페이스의 연결 상태를 확인합니다.

    • 다음 명령을 사용하면 클러스터 연결에 대한 접근성 검사 세부 정보를 표시할 수 있습니다.

      network interface check cluster-connectivity show
      예를 보여주세요
      cluster1::*> network interface check cluster-connectivity show
      
                                        Source           Destination     Packet
      Node   Date                       LIF              LIF             Loss
      ------ -------------------------- ---------------- --------------- -----------
      node1-01
             6/4/2025 03:13:33 -04:00   node1-01_clus2  node1-02_clus1   none
             6/4/2025 03:13:34 -04:00   node1-01_clus2  node1-02_clus1   none
      
      
      node1-02
             6/4/2025 03:13:33 -04:00   node1-02_clus2  node1-01_clus1   none
             6/4/2025 03:13:34 -04:00   node1-02_clus2  node1-01_clus2   none
      .
      .
      .
    • 또는 다음 명령을 사용하여 연결 상태를 확인할 수 있습니다.

      cluster ping-cluster -node <node-name>
      예를 보여주세요
      cluster1::*> cluster ping-cluster -node local
      Host is node1-04
      Getting addresses from network interface table...
      Cluster node1-01_clus1 169.254.36.44 node1-01 e7a
      Cluster node1-01_clus2 169.254.7.5   node1-01 e7b
      Cluster node1-02_clus1 169.254.197.206 node1-02 e7a
      Cluster node1-02_clus2 169.254.195.186 node1-02 e7b
      Cluster node1-03_clus1 169.254.192.49 node1-03 e7a
      Cluster node1-03_clus2 169.254.182.76 node1-03 e7b
      Cluster node1-04_clus1 169.254.59.49 node1-04 e7a
      Cluster node1-04_clus2 169.254.62.244 node1-04 e7b
      Local = 169.254.59.49 169.254.62.244
      Remote = 169.254.36.44 169.254.7.5 169.254.197.206 169.254.195.186 169.254.192.49 169.254.182.76
      Cluster Vserver Id = 4294967293
      Ping status:
      ............
      Basic connectivity succeeds on 12 path(s)
      Basic connectivity fails on 0 path(s)
      ................................................
      Detected 9000 byte MTU on 12 path(s):
          Local 169.254.59.49 to Remote 169.254.182.76
          Local 169.254.59.49 to Remote 169.254.192.49
          Local 169.254.59.49 to Remote 169.254.195.186
          Local 169.254.59.49 to Remote 169.254.197.206
          Local 169.254.59.49 to Remote 169.254.36.44
          Local 169.254.59.49 to Remote 169.254.7.5
          Local 169.254.62.244 to Remote 169.254.182.76
          Local 169.254.62.244 to Remote 169.254.192.49
          Local 169.254.62.244 to Remote 169.254.195.186
          Local 169.254.62.244 to Remote 169.254.197.206
          Local 169.254.62.244 to Remote 169.254.36.44
          Local 169.254.62.244 to Remote 169.254.7.5
      Larger than PMTU communication succeeds on 12 path(s)
      RPC status:
      6 paths up, 0 paths down (tcp check)
      6 paths up, 0 paths down (udp check)
다음은 무엇인가요?

스위치의 RCF를 업그레이드한 후에는 "로그 수집을 위한 SSH 확인".