從無交換器叢集移轉至雙節點交換式叢集
如果您有雙節點無交換式叢集、請依照此程序移轉至包含Cisco Nexus 3132Q-V叢集網路交換器的雙節點交換式叢集。更換程序是不中斷營運的程序(NDO)。
檢閱要求
使用Cisco Nexus 3132Q-V叢集交換器移轉至雙節點交換式叢集時、請務必瞭解連接埠、節點連線及纜線需求。
-
叢集交換器使用交換器間連結(ISL)連接埠E1/31至32。
-
。 "Hardware Universe" 包含有關支援的Nexus 3132Q-V交換器纜線連接資訊:
-
具有10 GbE叢集連線的節點需要QSFP光纖模組搭配中斷光纖纜線、或QSFP至SFP+銅線中斷纜線。
-
具有40/100 GbE叢集連線的節點需要支援的QSFP/QSFP28光纖模組(含光纖纜線)或QSFP/QSFP28銅線直接連接纜線。
-
叢集交換器使用適當的ISL纜線:2條QSFP28光纖或銅線直接連接纜線。
-
-
在Nexus 3132Q-V上、您可以以40/100 Gb乙太網路或4 x 10 Gb乙太網路模式來操作QSFP連接埠。
依預設、40/100 Gb乙太網路模式有32個連接埠。這些40 Gb乙太網路連接埠的編號為2元組命名慣例。例如、第二個40 Gb乙太網路連接埠編號為1/2。將組態從40 Gb乙太網路變更為10 Gb乙太網路的過程稱為_中斷_、將組態從10 Gb乙太網路變更為40 Gb乙太網路的過程稱為_breakin _。當您將40/100 Gb乙太網路連接埠分成10 Gb乙太網路連接埠時、所產生的連接埠會使用3元命名慣例進行編號。例如、第二個40/100 Gb乙太網路連接埠的中斷連接埠編號為1/2/1、1/2/2、1/2/3、1/2/4。
-
Nexus 3132Q-V左側是四個SFP+連接埠、可多工複用至第一個QSFP連接埠。
根據預設、RCF結構為使用第一個QSFP連接埠。
您可以使用「硬體設定檔前端連接埠模式SFP-PLUS」命令、使Nexus 3138S-V的四個SFP+連接埠變成作用中狀態、而非QSFP連接埠。同樣地、您也可以使用「硬體設定檔前端連接埠模式qsfp'命令、將Nexus 3138S-V重設為使用QSFP連接埠、而非使用四個SFP+連接埠。
-
請確定您已將Nexus 3132Q-V上的部分連接埠設定為以10 GbE或40/100 GbE執行。
您可以使用「介面中斷模組1連接埠1-6 MAP 10ge-4x」命令、將前六個連接埠分割成4x10 GbE模式。同樣地、您也可以使用「無介面中斷模組1連接埠1-6 MAP 10g-4x」命令、從中斷組態重新分組前六個QSFP+連接埠。
-
10 GbE和40/100 GbE連接埠的數量是在上可用的參考組態檔(RCFs)中定義 "Cisco®叢集網路交換器參考組態檔案下載" 頁面。
-
組態設定正確且正常運作。
-
執行ONTAP 版本為4、4或更新版本的節點。
-
中的所有叢集連接埠
up
州/省。 -
Cisco Nexus 3132Q-V叢集交換器受到支援。
-
現有的叢集網路組態具有:
-
Nexus 3132叢集基礎架構、可在兩台交換器上備援且完全正常運作。
-
交換器上最新的RCF和NX-OS版本。
。 "Cisco乙太網路交換器" 頁面提供ONTAP 本程序所支援的有關支援的版本資訊。
-
管理兩台交換器的連線能力。
-
兩個交換器的主控台存取。
-
所有叢集邏輯介面(lifs)都處於「up」(開機)狀態、而不需移轉。
-
初始自訂交換器。
-
所有ISL連接埠均已啟用及連線。
-
此外、您還必須規劃、移轉及閱讀10 GbE和40/100 GbE連線的必要文件、從節點連接至Nexus 3132Q-V叢集交換器。
移轉交換器
本程序中的範例使用下列交換器和節點命名法:
-
Nexus 3132Q-V叢集交換器、C1和C2。
-
節點為n1和n2。
本程序的範例使用兩個節點、每個節點使用兩個40/100 GbE叢集互連連接埠E4A和e4e。。 "Hardware Universe" 詳細瞭解您平台上的叢集連接埠。 |
本程序涵蓋下列案例:
-
N1_clus1是第一個叢集邏輯介面(LIF)、用於連接至節點n1的叢集交換器C1。
-
N1_clus2是第一個叢集LIF、用於連接至節點n1的叢集交換器C2。
-
n2_clus1是第一個叢集LIF、用於連接至節點n2的叢集交換器C1。
-
n2_clus2是第二個叢集LIF、用於連接至節點n2的叢集交換器C2。
-
10 GbE和40/100 GbE連接埠的數量是在上可用的參考組態檔(RCFs)中定義 "Cisco®叢集網路交換器參考組態檔案下載" 頁面。
此程序需要同時使用ONTAP 支援指令和Cisco Nexus 3000系列交換器的命令;ONTAP 除非另有說明、否則會使用支援指令。 |
-
叢集一開始會連接兩個節點、並在無交換器的雙節點叢集設定中運作。
-
第一個叢集連接埠會移至C1。
-
第二個叢集連接埠會移至C2。
-
停用雙節點無交換器叢集選項。
步驟1:準備移轉
-
如果AutoSupport 此叢集啟用了「支援」功能、請叫用AutoSupport 下列訊息來禁止自動建立案例:
「系統節點AutoSupport 不完整地叫用節點*-type all -訊息MAn=xh」
_x_是維護時段的持續時間(以小時為單位)。
此資訊可通知技術支援人員執行此維護工作、以便在維護期間抑制自動建立案例。AutoSupport
-
判斷每個叢集介面的管理或作業狀態:
-
顯示網路連接埠屬性:
「網路連接埠展示」
顯示範例
cluster::*> network port show –role cluster (network port show) Node: n1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - Node: n2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - 4 entries were displayed.
-
顯示有關邏輯介面的資訊:
「網路介面展示」
顯示範例
cluster::*> network interface show -role cluster (network interface show) Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ---- Cluster n1_clus1 up/up 10.10.0.1/24 n1 e4a true n1_clus2 up/up 10.10.0.2/24 n1 e4e true n2_clus1 up/up 10.10.0.3/24 n2 e4a true n2_clus2 up/up 10.10.0.4/24 n2 e4e true 4 entries were displayed.
-
-
根據您的需求、確認新的31382Q-V交換器上已安裝適當的RCV和映像、並進行必要的站台自訂、例如使用者和密碼、網路位址等。
此時您必須準備兩個交換器。如果您需要升級RCF和映像軟體、則必須執行下列步驟:
-
前往 "Cisco乙太網路交換器" 頁面。
-
請在該頁的表格中記下您的交換器和所需的軟體版本。
-
下載適當版本的RCF。
-
按一下「說明」頁面上的「繼續」、接受授權合約、然後依照「下載」頁面上的指示下載RCF。
-
下載適當版本的映像軟體。
-
-
按一下「說明」頁面上的「繼續」、接受授權合約、然後依照「下載」頁面上的指示下載RCF。
步驟2:將第一個叢集連接埠移至C1
-
在Nexus 3132Q-V交換器C1和C2上、停用所有面向節點的連接埠C1和C2、但不要停用ISL連接埠。
顯示範例
下列範例顯示使用RCF支援的組態、在Nexus 3132Q-V叢集交換器C1和C2上停用連接埠1到30
NX3132_RCF_v1.1_24p10g_26p40g.txt
:C1# copy running-config startup-config [########################################] 100% Copy complete. C1# configure C1(config)# int e1/1/1-4,e1/2/1-4,e1/3/1-4,e1/4/1-4,e1/5/1-4,e1/6/1-4,e1/7-30 C1(config-if-range)# shutdown C1(config-if-range)# exit C1(config)# exit C2# copy running-config startup-config [########################################] 100% Copy complete. C2# configure C2(config)# int e1/1/1-4,e1/2/1-4,e1/3/1-4,e1/4/1-4,e1/5/1-4,e1/6/1-4,e1/7-30 C2(config-if-range)# shutdown C2(config-if-range)# exit C2(config)# exit
-
使用支援的纜線、將C1上的連接埠1/31和1/32連接至C2上的相同連接埠。
-
確認ISL連接埠在C1和C2上正常運作:
「How port-channel Summary」
顯示範例
C1# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed S - Switched R - Routed U - Up (port-channel) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/31(P) Eth1/32(P) C2# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed S - Switched R - Routed U - Up (port-channel) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth LACP Eth1/31(P) Eth1/32(P)
-
顯示交換器上的鄰近裝置清單:
「How cup neighbor」
顯示範例
C1# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID C2 Eth1/31 174 R S I s N3K-C3132Q-V Eth1/31 C2 Eth1/32 174 R S I s N3K-C3132Q-V Eth1/32 Total entries displayed: 2 C2# show cdp neighbors Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge S - Switch, H - Host, I - IGMP, r - Repeater, V - VoIP-Phone, D - Remotely-Managed-Device, s - Supports-STP-Dispute Device-ID Local Intrfce Hldtme Capability Platform Port ID C1 Eth1/31 178 R S I s N3K-C3132Q-V Eth1/31 C1 Eth1/32 178 R S I s N3K-C3132Q-V Eth1/32 Total entries displayed: 2
-
顯示每個節點上的叢集連接埠連線能力:
「網路裝置探索秀」
顯示範例
下列範例顯示雙節點無交換器叢集組態。
cluster::*> network device-discovery show Local Discovered Node Port Device Interface Platform ----------- ------ ------------------- ---------------- ---------------- n1 /cdp e4a n2 e4a FAS9000 e4e n2 e4e FAS9000 n2 /cdp e4a n1 e4a FAS9000 e4e n1 e4e FAS9000
-
將clus1介面移轉至裝載clus2的實體連接埠:
網路介面移轉
從每個本機節點執行此命令。
顯示範例
cluster::*> network interface migrate -vserver Cluster -lif n1_clus1 -source-node n1 –destination-node n1 -destination-port e4e cluster::*> network interface migrate -vserver Cluster -lif n2_clus1 -source-node n2 –destination-node n2 -destination-port e4e
-
驗證叢集介面移轉:
「網路介面展示」
顯示範例
cluster::*> network interface show -role cluster (network interface show) Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ---- Cluster n1_clus1 up/up 10.10.0.1/24 n1 e4e false n1_clus2 up/up 10.10.0.2/24 n1 e4e true n2_clus1 up/up 10.10.0.3/24 n2 e4e false n2_clus2 up/up 10.10.0.4/24 n2 e4e true 4 entries were displayed.
-
關閉兩個節點上的叢集連接埠clus1 LIF:
網路連接埠修改
cluster::*> network port modify -node n1 -port e4a -up-admin false cluster::*> network port modify -node n2 -port e4a -up-admin false
-
Ping遠端叢集介面並執行RPC伺服器檢查:
「叢集ping叢集」
顯示範例
cluster::*> cluster ping-cluster -node n1 Host is n1 Getting addresses from network interface table... Cluster n1_clus1 n1 e4a 10.10.0.1 Cluster n1_clus2 n1 e4e 10.10.0.2 Cluster n2_clus1 n2 e4a 10.10.0.3 Cluster n2_clus2 n2 e4e 10.10.0.4 Local = 10.10.0.1 10.10.0.2 Remote = 10.10.0.3 10.10.0.4 Cluster Vserver Id = 4294967293 Ping status: .... Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) ................ Detected 1500 byte MTU on 32 path(s): Local 10.10.0.1 to Remote 10.10.0.3 Local 10.10.0.1 to Remote 10.10.0.4 Local 10.10.0.2 to Remote 10.10.0.3 Local 10.10.0.2 to Remote 10.10.0.4 Larger than PMTU communication succeeds on 4 path(s) RPC status: 1 paths up, 0 paths down (tcp check) 1 paths up, 0 paths down (ucp check)
-
從節點n1上的E4A拔下纜線。
您可以參考執行中的組態、並使用Nexus 3132Q-V上支援的纜線、將交換器C1(本範例中為連接埠1/7)上的前40 GbE連接埠連接至n1上的E4A
將任何纜線重新連接至新的Cisco叢集交換器時、所使用的纜線必須是Cisco支援的光纖或纜線。 -
從節點n2上的E4A拔下纜線。
您可以參考執行中的組態、並使用支援的纜線、將E4A連接至C1連接埠1/8上的下一個可用40 GbE連接埠。
-
啟用C1上的所有面向節點的連接埠。
顯示範例
下列範例顯示使用RCF支援的組態、在Nexus 3132Q-V叢集交換器C1和C2上啟用連接埠1到30
NX3132_RCF_v1.1_24p10g_26p40g.txt
:C1# configure C1(config)# int e1/1/1-4,e1/2/1-4,e1/3/1-4,e1/4/1-4,e1/5/1-4,e1/6/1-4,e1/7-30 C1(config-if-range)# no shutdown C1(config-if-range)# exit C1(config)# exit
-
在每個節點上啟用第一個叢集連接埠E4A:
網路連接埠修改
顯示範例
cluster::*> network port modify -node n1 -port e4a -up-admin true cluster::*> network port modify -node n2 -port e4a -up-admin true
-
驗證兩個節點上的叢集是否均已啟動:
「網路連接埠展示」
顯示範例
cluster::*> network port show –role cluster (network port show) Node: n1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - Node: n2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - 4 entries were displayed.
-
針對每個節點、還原所有移轉的叢集互連生命生命、如下所示:
網路介面回復
顯示範例
以下範例顯示移轉的LIF正還原至其主連接埠。
cluster::*> network interface revert -vserver Cluster -lif n1_clus1 cluster::*> network interface revert -vserver Cluster -lif n2_clus1
-
確認所有的叢集互連連接埠現在都已還原至其主連接埠:
「網路介面展示」
對於「目前連接埠」欄中所列的所有連接埠、「is Home」欄位應顯示「true」。如果顯示的值為「假」、表示連接埠尚未還原。
顯示範例
cluster::*> network interface show -role cluster (network interface show) Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ---- Cluster n1_clus1 up/up 10.10.0.1/24 n1 e4a true n1_clus2 up/up 10.10.0.2/24 n1 e4e true n2_clus1 up/up 10.10.0.3/24 n2 e4a true n2_clus2 up/up 10.10.0.4/24 n2 e4e true 4 entries were displayed.
步驟3:將第二個叢集連接埠移至C2
-
顯示每個節點上的叢集連接埠連線能力:
「網路裝置探索秀」
顯示範例
cluster::*> network device-discovery show Local Discovered Node Port Device Interface Platform ----------- ------ ------------------- ---------------- ---------------- n1 /cdp e4a C1 Ethernet1/7 N3K-C3132Q-V e4e n2 e4e FAS9000 n2 /cdp e4a C1 Ethernet1/8 N3K-C3132Q-V e4e n1 e4e FAS9000
-
在每個節點的主控台上、將clus2移轉至連接埠E4A:
網路介面移轉
顯示範例
cluster::*> network interface migrate -vserver Cluster -lif n1_clus2 -source-node n1 –destination-node n1 -destination-port e4a cluster::*> network interface migrate -vserver Cluster -lif n2_clus2 -source-node n2 –destination-node n2 -destination-port e4a
-
關閉兩個節點上的叢集連接埠clus2 LIF:
網路連接埠修改
以下範例顯示兩個節點上要關閉的指定連接埠:
cluster::*> network port modify -node n1 -port e4e -up-admin false cluster::*> network port modify -node n2 -port e4e -up-admin false
-
驗證叢集LIF狀態:
「網路介面展示」
顯示範例
cluster::*> network interface show -role cluster (network interface show) Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ---- Cluster n1_clus1 up/up 10.10.0.1/24 n1 e4a true n1_clus2 up/up 10.10.0.2/24 n1 e4a false n2_clus1 up/up 10.10.0.3/24 n2 e4a true n2_clus2 up/up 10.10.0.4/24 n2 e4a false 4 entries were displayed.
-
從節點n1上的e4e拔下纜線。
您可以參考執行中的組態、並使用Nexus 3132Q-V上支援的纜線、將交換器C2上的前40 GbE連接埠(本範例中為連接埠1/7)連接至n1上的e4e
-
從節點n2上的e4e拔下纜線。
您可以參考執行中的組態、並使用支援的纜線、將e4e連接至C2連接埠1/8上的下一個可用40 GbE連接埠。
-
在C2上啟用所有面向節點的連接埠。
顯示範例
下列範例顯示使用RCF支援的組態、在Nexus 3132Q-V叢集交換器C1和C2上啟用連接埠1到30
NX3132_RCF_v1.1_24p10g_26p40g.txt
:C2# configure C2(config)# int e1/1/1-4,e1/2/1-4,e1/3/1-4,e1/4/1-4,e1/5/1-4,e1/6/1-4,e1/7-30 C2(config-if-range)# no shutdown C2(config-if-range)# exit C2(config)# exit
-
在每個節點上啟用第二個叢集連接埠e4e:
網路連接埠修改
下列範例顯示正在啟動的指定連接埠:
cluster::*> network port modify -node n1 -port e4e -up-admin true cluster::*> network port modify -node n2 -port e4e -up-admin true
-
針對每個節點、還原所有移轉的叢集互連生命生命、如下所示:
網路介面回復
以下範例顯示移轉的LIF正還原至其主連接埠。
cluster::*> network interface revert -vserver Cluster -lif n1_clus2 cluster::*> network interface revert -vserver Cluster -lif n2_clus2
-
確認所有的叢集互連連接埠現在都已還原至其主連接埠:
「網路介面展示」
對於「目前連接埠」欄中所列的所有連接埠、「is Home」欄位應顯示「true」。如果顯示的值為「假」、表示連接埠尚未還原。
顯示範例
cluster::*> network interface show -role cluster (network interface show) Logical Status Network Current Current Is Vserver Interface Admin/Oper Address/Mask Node Port Home ----------- ---------- ---------- ------------------ ------------- ------- ---- Cluster n1_clus1 up/up 10.10.0.1/24 n1 e4a true n1_clus2 up/up 10.10.0.2/24 n1 e4e true n2_clus1 up/up 10.10.0.3/24 n2 e4a true n2_clus2 up/up 10.10.0.4/24 n2 e4e true 4 entries were displayed.
-
驗證所有的叢集互連連接埠是否都處於「up」狀態。
network port show –role cluster
顯示範例
cluster::*> network port show –role cluster (network port show) Node: n1 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - Node: n2 Ignore Speed(Mbps) Health Health Port IPspace Broadcast Domain Link MTU Admin/Oper Status Status --------- ------------ ---------------- ---- ---- ----------- -------- ------ e4a Cluster Cluster up 9000 auto/40000 - - e4e Cluster Cluster up 9000 auto/40000 - - 4 entries were displayed.
步驟4:停用雙節點無交換式叢集選項
-
顯示每個節點上每個叢集連接埠所連接的叢集交換器連接埠編號:
「網路裝置探索秀」
顯示範例
cluster::*> network device-discovery show Local Discovered Node Port Device Interface Platform ----------- ------ ------------------- ---------------- ---------------- n1 /cdp e4a C1 Ethernet1/7 N3K-C3132Q-V e4e C2 Ethernet1/7 N3K-C3132Q-V n2 /cdp e4a C1 Ethernet1/8 N3K-C3132Q-V e4e C2 Ethernet1/8 N3K-C3132Q-V
-
顯示已探索及監控的叢集交換器:
「系統叢集交換器顯示」
顯示範例
cluster::*> system cluster-switch show Switch Type Address Model --------------------------- ------------------ ---------------- --------------- C1 cluster-network 10.10.1.101 NX3132V Serial Number: FOX000001 Is Monitored: true Reason: Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 7.0(3)I4(1) Version Source: CDP C2 cluster-network 10.10.1.102 NX3132V Serial Number: FOX000002 Is Monitored: true Reason: Software Version: Cisco Nexus Operating System (NX-OS) Software, Version 7.0(3)I4(1) Version Source: CDP 2 entries were displayed.
-
停用任何節點上的雙節點無交換器組態設定:
「網路選項無交換式叢集」
network options switchless-cluster modify -enabled false
-
確認
switchless-cluster
選項已停用。network options switchless-cluster show
步驟5:驗證組態
-
Ping遠端叢集介面並執行RPC伺服器檢查:
「叢集ping叢集」
顯示範例
cluster::*> cluster ping-cluster -node n1 Host is n1 Getting addresses from network interface table... Cluster n1_clus1 n1 e4a 10.10.0.1 Cluster n1_clus2 n1 e4e 10.10.0.2 Cluster n2_clus1 n2 e4a 10.10.0.3 Cluster n2_clus2 n2 e4e 10.10.0.4 Local = 10.10.0.1 10.10.0.2 Remote = 10.10.0.3 10.10.0.4 Cluster Vserver Id = 4294967293 Ping status: .... Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s) ................ Detected 1500 byte MTU on 32 path(s): Local 10.10.0.1 to Remote 10.10.0.3 Local 10.10.0.1 to Remote 10.10.0.4 Local 10.10.0.2 to Remote 10.10.0.3 Local 10.10.0.2 to Remote 10.10.0.4 Larger than PMTU communication succeeds on 4 path(s) RPC status: 1 paths up, 0 paths down (tcp check) 1 paths up, 0 paths down (ucp check)
-
如果您禁止自動建立個案、請叫用AutoSupport 下列訊息來重新啟用:
「系統節點AutoSupport 不完整地叫用節點*-type all -most MAn=end」