本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

準備節點以進行升級

貢獻者

在您更換原始節點之前、您必須先確認這些節點位於HA配對中、沒有遺失或故障的磁碟、可以存取彼此的儲存設備、而且不會擁有指派給叢集中其他節點的資料生命期。您也必須收集有關原始節點的資訊、如果叢集位於SAN環境中、請確認叢集中的所有節點都處於仲裁狀態。

步驟
  1. 確認每個原始節點都有足夠的資源、可在接管模式期間充分支援兩個節點的工作負載。

    請參閱 "參考資料" 若要連結至_高可用度管理_並遵循_ HA配對最佳實務做法_一節。任何原始節點都不應以超過50%的使用率執行;如果節點的使用率低於50%、則可在控制器升級期間處理兩個節點的負載。

  2. 完成下列子步驟、為原始節點建立效能基準:

    1. 確定診斷使用者帳戶已解除鎖定。

      重要:診斷使用者帳戶僅供低階診斷用途使用、僅限在技術支援的指導下使用。

    重要:如需解除鎖定使用者帳戶的相關資訊、請參閱 "參考資料" 連結至_System Administration Reference。

    1. 請參閱 "參考資料" 連結至_NetApp支援網站_並下載效能與統計資料收集器(perfstat Converged)。

      Perfstat融合式工具可讓您建立效能基準、以便在升級後進行比較。

    2. 依照NetApp支援網站上的指示建立效能基準。

  3. 請參閱 "參考資料" 若要連結至_NetApp支援網站、並在NetApp支援網站上開啟支援案例。

    您可以使用此案例來報告升級期間可能發生的任何問題。

  4. 驗證node3和node4的NVMEM或NVRAM電池是否已充電、如果電池未充電、請將其充電。

    您必須實際檢查node3和node4、以查看是否已為NVMEM或NVRAM電池充電。如需節點3和節點4機型的LED相關資訊、請參閱 "參考資料" 以連結至_SURE_ Hardware Universe 。

    警告 *注意*請勿嘗試清除NVRAM內容。如果需要清除NVRAM的內容、請聯絡NetApp技術支援部門。
  5. 檢查ONTAP node3和node4上的版本。

    新節點上ONTAP 必須安裝相同版本的還原9.x、並安裝在原始節點上。如果新節點ONTAP 安裝了不同版本的支援、則安裝新的控制器之後、您必須對其進行網路開機。如需有關如何升級ONTAP 功能的說明、請參閱 "參考資料" 連結至_Upgrade ONTAP

    有關node3和node4上ONTAP 的版本資訊、應包含在運送箱中。當節點開機或您可以將節點開機至維護模式並執行命令時、會顯示此版本:ONTAP

    「分度」

  6. 檢查節點1和節點2上是否有兩個或四個叢集LIF:

    「網路介面show -role cluster」

    系統會顯示任何叢集LIF、如下列範例所示:

    cluster::> network interface show -role cluster
            Logical    Status     Network          Current  Current Is
    Vserver Interface  Admin/Oper Address/Mask     Node     Port    Home
    ------- ---------- ---------- ---------------- -------- ------- ----
    node1
            clus1      up/up      172.17.177.2/24  node1    e0c     true
            clus2      up/up      172.17.177.6/24  node1    e0e     true
    node2
            clus1      up/up      172.17.177.3/24  node2    e0c     true
            clus2      up/up      172.17.177.7/24  node2    e0e     true
  7. 如果節點1或節點2上有兩個或四個叢集lifs、請完成下列子步驟、確認您可以ping通所有可用路徑上的兩個叢集lifs:

    1. 輸入進階權限層級:

      "進階權限"

      系統會顯示下列訊息:

      Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel.
      Do you wish to continue? (y or n):
    2. 輸入「y」。

    3. Ping節點並測試連線能力:

      「叢集ping叢集節點node_name」

      系統會顯示類似下列範例的訊息:

    cluster::*> cluster ping-cluster -node node1
    Host is node1
    Getting addresses from network interface table...
    Local = 10.254.231.102 10.254.91.42
    Remote = 10.254.42.25 10.254.16.228
    Ping status:
    ...
    Basic connectivity succeeds on 4 path(s) Basic connectivity fails on 0 path(s)
    ................
    Detected 1500 byte MTU on 4 path(s):
    Local 10.254.231.102 to Remote 10.254.16.228
    Local 10.254.231.102 to Remote 10.254.42.25
    Local 10.254.91.42 to Remote 10.254.16.228
    Local 10.254.91.42 to Remote 10.254.42.25
    Larger than PMTU communication succeeds on 4 path(s)
    RPC status:
    2 paths up, 0 paths down (tcp check)
    2 paths up, 0 paths down (udp check)

    +
    如果節點使用兩個叢集連接埠、您應該會看到它能夠在四個路徑上進行通訊、如範例所示。

    1. 返回管理層級權限:

      「et -priv. admin」

  8. 確認node1和node2位於HA配對中、並確認節點彼此已連線、而且可以接管:

    「容錯移轉顯示」

    以下範例顯示節點彼此連線並可進行接管時的輸出:

    cluster::> storage failover show
                                  Takeover
    Node           Partner        Possible State Description
    -------------- -------------- -------- -------------------------------
    node1          node2          true     Connected to node2
    node2          node1          true     Connected to node1

    兩個節點都不應處於部分恢復狀態。以下範例顯示node1在部分恢復中:

    cluster::> storage failover show
                                  Takeover
    Node           Partner        Possible State Description
    -------------- -------------- -------- -------------------------------
    node1          node2          true     Connected to node2, Partial giveback
    node2          node1          true     Connected to node1

    如果任一節點處於部分恢復狀態、請使用「儲存容錯移轉還原」命令來執行恢復、然後使用「儲存容錯移轉show-gorback」命令來確保不需要歸還集合體。如需命令的詳細資訊、請參閱 "參考資料" 連結至_高可用度管理_。

  9. 確認節點1和節點2均不擁有其目前擁有者(但不擁有主擁有者)的Aggregate:

    「torage Aggregate show -nodes norme_name-is主目錄錯誤欄位擁有者名稱、主目錄名稱、狀態」

    如果node1和node2都不擁有當前擁有者(但不是主擁有者)的Aggregate、系統將傳回類似下列範例的訊息:

    cluster::> storage aggregate show -node node2 -is-home false -fields owner-name,homename,state
    There are no entries matching your query.

    下列範例顯示四個集合體的主擁有者節點2(但不是目前擁有者)之節點的命令輸出:

    cluster::> storage aggregate show -node node2 -is-home false
                   -fields owner-name,home-name,state
    
    aggregate     home-name    owner-name   state
    ------------- ------------ ------------ ------
    aggr1         node1        node2        online
    aggr2         node1        node2        online
    aggr3         node1        node2        online
    aggr4         node1        node2        online
    
    4 entries were displayed.
  10. 請採取下列其中一項行動:

    如果中有命令 步驟9.…​ 然後…​

    輸出空白

    跳過步驟11、前往 步驟12.

    已輸出

    前往 步驟11.

  11. [man準備節點_step11]如果節點1或節點2擁有的Aggregate是目前擁有者、但不是擁有主擁有者、請完成下列子步驟:

    1. 將合作夥伴節點目前擁有的Aggregate傳回主擁有者節點:

      儲存容錯移轉恢復-ofnode_home_node_name_`

    2. 驗證node1和node2是否仍擁有當前擁有者(但不是主擁有者)的Aggregate:

      「torage Aggregate show -nodes norme_name-is主目錄錯誤欄位擁有者名稱、主目錄名稱、狀態」

      以下範例顯示當節點同時是Aggregate的目前擁有者和主擁有者時、命令的輸出:

    cluster::> storage aggregate show -nodes node1
              -is-home true -fields owner-name,home-name,state
    
    aggregate     home-name    owner-name   state
    ------------- ------------ ------------ ------
    aggr1         node1        node1        online
    aggr2         node1        node1        online
    aggr3         node1        node1        online
    aggr4         node1        node1        online
    
    4 entries were displayed.
  12. [man籌備節點_step12]確認節點1和節點2可以存取彼此的儲存設備、並確認沒有磁碟遺失:

    「torage容錯移轉顯示欄位local-missing磁碟、合作夥伴遺失磁碟」

    以下範例顯示沒有磁碟遺失時的輸出:

    cluster::> storage failover show -fields local-missing-disks,partner-missing-disks
    
    node     local-missing-disks partner-missing-disks
    -------- ------------------- ---------------------
    node1    None                None
    node2    None                None

    如果有任何磁碟遺失、請參閱 "參考資料" 若要使用CLI連結至_磁碟與集合管理、使用CLI進行_邏輯儲存管理、以及_高可用度管理_、以設定HA配對的儲存設備。

  13. 確認node1和node2正常且符合參加叢集的資格:

    「叢集展示」

    以下範例顯示兩個節點都符合資格且狀況良好的輸出:

    cluster::> cluster show
    
    Node                  Health  Eligibility
    --------------------- ------- ------------
    node1                 true    true
    node2                 true    true
  14. 將權限層級設為進階:

    "進階權限"

  15. 確認node1和node2執行相同ONTAP 的版本:

    「系統節點映像顯示-node1、node2_-iscurrent true」

    下列範例顯示命令的輸出:

    cluster::*> system node image show -node node1,node2 -iscurrent true
    
                     Is      Is                Install
    Node     Image   Default Current Version   Date
    -------- ------- ------- ------- --------- -------------------
    node1
             image1  true    true    9.1         2/7/2017 20:22:06
    node2
             image1  true    true    9.1         2/7/2017 20:20:48
    
    2 entries were displayed.
  16. 驗證node1和node2是否都不擁有屬於叢集中其他節點的任何資料生命週期、並檢查輸出中的「Current Node(目前節點)」和「is Home(原為主節點)」欄位:

    「網路介面show -role data -is主目錄假-curr-node_node_name_」

    以下範例顯示節點1沒有由叢集中其他節點擁有的lifs時的輸出:

    cluster::> network interface show -role data -is-home false -curr-node node1
     There are no entries matching your query.

    以下範例顯示節點1擁有其他節點所擁有的資料lifs時的輸出:

    cluster::> network interface show -role data -is-home false -curr-node node1
    
                Logical    Status     Network            Current       Current Is
    Vserver     Interface  Admin/Oper Address/Mask       Node          Port    Home
    ----------- ---------- ---------- ------------------ ------------- ------- ----
    vs0
                data1      up/up      172.18.103.137/24  node1         e0d     false
                data2      up/up      172.18.103.143/24  node1         e0f     false
    
    2 entries were displayed.
  17. 如果輸出為 步驟15 顯示node1或node2擁有叢集中其他節點所擁有的任何資料lifs、將資料lifs從node1或node2移轉至其他節點:

    「網路介面還原-vserver -lif

    如需「網路介面回復」命令的詳細資訊、請參閱 "參考資料" 若要連結至「SURF9 ONTAP 命令:手動頁面參考」。

  18. 檢查node1或node2是否擁有任何故障磁碟:

    「torage disk show -nodelist node1、node2-disbed」

    如果有任何磁碟發生故障、請依照_Disk中的指示、使用CLI進行Aggregate管理。(請參閱 "參考資料" 使用CLI連結至_磁碟與集合管理。)

  19. 完成下列子步驟並記錄每個命令的輸出、以收集節點1和節點2的相關資訊:

+附註:稍後您將在程序中使用此資訊。

  1. 記錄兩個節點的機型、系統ID和序號:

    「系統節點show -node1、node2_-instance」

    附註 您將使用此資訊重新指派磁碟、並取消委任原始節點。
  2. 在節點1和節點2上輸入下列命令、並從輸出中記錄磁碟櫃、每個磁碟櫃的磁碟數目、Flash儲存詳細資料、記憶體、NVRAM和網路卡的相關資訊:

    "run -node_node_name_ sysconfig"

    附註 您可以使用此資訊來識別可能要傳輸至節點3或節點4的零件或配件。如果您不知道節點是V系列系統、或是使用FlexArray 了「支援虛擬化」軟體、也可以從輸出中學習。
  3. 在節點1和節點2上輸入下列命令、並記錄兩個節點上線上的Aggregate:

    「torage Aggregate show -node_node_name_-state online」

    附註 您可以使用此資訊和下列子步驟中的資訊、在整個程序中驗證集合體和磁碟區是否保持線上狀態、但在重新配置期間離線的短暫期間除外。
  4. [man準備節點_step19]在節點1和節點2上輸入下列命令、並記錄兩個節點上離線的磁碟區:

    「Volume show -node_node_name_-st態offline」

    附註 升級之後、您將再次執行命令、並將此步驟的輸出與輸出進行比較、以查看是否有任何其他磁碟區離線。
    1. 輸入下列命令、查看是否在節點1或節點2上設定任何介面群組或VLAN:

      「網路連接埠ifgrp show」

      「網路連接埠VLAN show」

    記下是在節點1或節點2上設定介面群組或VLAN、您需要在下一步及後續程序中提供這些資訊。

    1. 在節點1和節點2上完成下列子步驟、以確認稍後程序中的實體連接埠可以正確對應:

  5. 輸入下列命令、查看節點上是否有「clusterwide」以外的容錯移轉群組:

    「網路介面容錯移轉群組顯示」

    容錯移轉群組是系統上的一組網路連接埠。由於升級控制器硬體可能會變更實體連接埠的位置、因此在升級期間可能會不慎變更容錯移轉群組。

    系統會在節點上顯示容錯移轉群組、如下列範例所示:

    cluster::> network interface failover-groups show
    
    Vserver             Group             Targets
    ------------------- ----------------- ----------
    Cluster             Cluster           node1:e0a, node1:e0b
                                          node2:e0a, node2:e0b
    
    fg_6210_e0c         Default           node1:e0c, node1:e0d
                                          node1:e0e, node2:e0c
                                          node2:e0d, node2:e0e
    
    2 entries were displayed.
  6. 如果故障切換群組並非「clusterwide」、請記錄故障切換群組名稱和屬於故障切換群組的連接埠。

  7. 輸入下列命令、查看節點上是否已設定任何VLAN:

    「網路連接埠VLAN show -node_node_name_」

    VLAN是透過實體連接埠進行設定。如果實體連接埠有所變更、則稍後將需要重新建立VLAN。

    系統會顯示節點上設定的VLAN、如下列範例所示:

    cluster::> network port vlan show
    
    Network Network
    Node    VLAN Name Port    VLAN ID MAC Address
    ------  --------- ------- ------- ------------------
    node1   e1b-70    e1b     70      00:15:17:76:7b:69
  8. 如果節點上已設定VLAN、請記下每個網路連接埠和VLAN ID配對。

    1. 請採取下列其中一項行動:

      如果介面群組或VLAN …​ 然後…​

      在節點1或節點2上

      完成 步驟23步驟24

      不在節點1或節點2上

      前往 步驟24

    2. [man準備節點_step23]如果您不知道節點1和節點2是否位於SAN或非SAN環境中、請輸入下列命令並檢查其輸出:

      「網路介面show -vserver vserver_name-data-protocol iscsiSCSI|FCP」

      如果未針對SVM設定iSCSI或FC、則命令會顯示類似下列範例的訊息:

      cluster::> network interface show -vserver Vserver8970 -data-protocol iscsi|fcp
      There are no entries matching your query.

      您可以使用「network interface show」命令搭配「-data傳輸協定NFS|CIFS」參數、確認節點是否位於NAS環境中。

      如果已為SVM設定iSCSI或FC、則命令會顯示類似下列範例的訊息:

    cluster::> network interface show -vserver vs1 -data-protocol iscsi|fcp
    
             Logical    Status     Network            Current  Current Is
    Vserver  Interface  Admin/Oper Address/Mask       Node     Port    Home
    -------- ---------- ---------- ------------------ -------- ------- ----
    vs1      vs1_lif1   up/down    172.17.176.20/24   node1    0d      true
    1. [man準備節點_step24]完成下列子步驟、確認叢集中的所有節點都處於仲裁狀態:

  9. 輸入進階權限層級:

    "進階權限"

    系統會顯示下列訊息:

    Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel.
    Do you wish to continue? (y or n):
  10. 輸入「y」。

  11. 針對每個節點、驗證核心中的叢集服務狀態一次:

    「叢集核心服務展示」

    系統會顯示類似下列範例的訊息:

    cluster::*> cluster kernel-service show
    
    Master        Cluster       Quorum        Availability  Operational
    Node          Node          Status        Status        Status
    ------------- ------------- ------------- ------------- -------------
    node1         node1         in-quorum     true          operational
                  node2         in-quorum     true          operational
    
    2 entries were displayed.

    叢集中的節點在大多數節點狀況良好且能夠彼此通訊時、都處於仲裁狀態。如需詳細資訊、請參閱 "參考資料" 連結至_System Administration Reference。

  12. 返回管理權限層級:

    「et -priv. admin」

    1. 請採取下列其中一項行動:

      如果叢集…​ 然後…​

      已設定SAN

      前往 步驟26

      未設定SAN

      前往 步驟29

    2. 輸入下列命令並檢查其輸出、驗證節點1和節點2上是否有已啟用SAN iSCSI或FC服務的每個SVM的SAN LIF:

      「網路介面show -data-Protocol iscsiSCSI|FCP -home-node_node_name_」

      此命令會顯示節點1和節點2的SAN LIF資訊。下列範例顯示「Status admin/Oper(狀態管理/操作)」欄中的狀態為「up / up(開/開)」、表示已啟用SAN iSCSI和FC服務:

      cluster::> network interface show -data-protocol iscsi|fcp
                  Logical    Status     Network                  Current   Current Is
      Vserver     Interface  Admin/Oper Address/Mask             Node      Port    Home
      ----------- ---------- ---------- ------------------       --------- ------- ----
      a_vs_iscsi  data1      up/up      10.228.32.190/21         node1     e0a     true
                  data2      up/up      10.228.32.192/21         node2     e0a     true
      
      b_vs_fcp    data1      up/up      20:09:00:a0:98:19:9f:b0  node1     0c      true
                  data2      up/up      20:0a:00:a0:98:19:9f:b0  node2     0c      true
      
      c_vs_iscsi_fcp data1   up/up      20:0d:00:a0:98:19:9f:b0  node2     0c      true
                  data2      up/up      20:0e:00:a0:98:19:9f:b0  node2     0c      true
                  data3      up/up      10.228.34.190/21         node2     e0b     true
                  data4      up/up      10.228.34.192/21         node2     e0b     true

      或者、您也可以輸入下列命令來檢視更詳細的LIF資訊:

      「網路介面顯示-instance -data傳輸協定isciSCSI|FCP」

    3. 輸入下列命令並記錄系統的輸出、以擷取原始節點上任何FC連接埠的預設組態:

      「ucadmin show」

      命令會顯示叢集中所有FC連接埠的相關資訊、如下列範例所示:

      cluster::> ucadmin show
      
                      Current Current   Pending Pending   Admin
      Node    Adapter Mode    Type      Mode    Type      Status
      ------- ------- ------- --------- ------- --------- -----------
      node1   0a      fc      initiator -       -         online
      node1   0b      fc      initiator -       -         online
      node1   0c      fc      initiator -       -         online
      node1   0d      fc      initiator -       -         online
      node2   0a      fc      initiator -       -         online
      node2   0b      fc      initiator -       -         online
      node2   0c      fc      initiator -       -         online
      node2   0d      fc      initiator -       -         online
      8 entries were displayed.

      您可以在升級後使用這些資訊來設定新節點上的FC連接埠組態。

    4. 如果您要升級V系列系統或使用FlexArray NetApp虛擬化軟體的系統、請輸入下列命令並記錄輸出、以擷取有關原始節點拓撲的資訊:

      「torage Array config show -switch'」

      系統會顯示拓撲資訊、如下列範例所示:

    cluster::> storage array config show -switch
    
          LUN LUN                                  Target Side Initiator Side Initi-
    Node  Grp Cnt Array Name    Array Target Port  Switch Port Switch Port    ator
    ----- --- --- ------------- ------------------ ----------- -------------- ------
    node1 0   50  I_1818FAStT_1
                                205700a0b84772da   vgbr6510a:5  vgbr6510s164:3  0d
                                206700a0b84772da   vgbr6510a:6  vgbr6510s164:4  2b
                                207600a0b84772da   vgbr6510b:6  vgbr6510s163:1  0c
    node2 0   50  I_1818FAStT_1
                                205700a0b84772da   vgbr6510a:5  vgbr6510s164:1  0d
                                206700a0b84772da   vgbr6510a:6  vgbr6510s164:2  2b
                                207600a0b84772da   vgbr6510b:6  vgbr6510s163:3  0c
                                208600a0b84772da   vgbr6510b:5  vgbr6510s163:4  2a
    7 entries were displayed.
    1. [[man_prepe_node_step29]完成下列子步驟:

  13. 在其中一個原始節點上輸入下列命令、並記錄輸出:

    「ervice處理器show -Node *-instance」

    系統會在兩個節點上顯示有關SP的詳細資訊。

  14. 確認SP狀態為「線上」。

  15. 確認已設定SP網路。

  16. 記錄有關SP的IP位址和其他資訊。

    您可能想要重複使用遠端管理裝置的網路參數、在此案例中、SP會從原始系統、針對新節點上的SP。如需SP的詳細資訊、請參閱 "參考資料" 若要連結至_系統管理參考_和_還原ONTAP 9命令:手冊頁參考_。

    1. [man準備節點_step30]如果您希望新節點擁有與原始節點相同的授權功能、請輸入下列命令、以查看原始系統上的叢集授權:

      「系統授權顯示擁有者*」

      下列範例顯示叢集1的站台授權:

      system license show -owner *
      Serial Number: 1-80-000013
      Owner: cluster1
      
      Package           Type    Description           Expiration
      ----------------- ------- --------------------- -----------
      Base              site    Cluster Base License  -
      NFS               site    NFS License           -
      CIFS              site    CIFS License          -
      SnapMirror        site    SnapMirror License    -
      FlexClone         site    FlexClone License     -
      SnapVault         site    SnapVault License     -
      6 entries were displayed.
    2. 在_NetApp Support Site_取得新節點的新授權金鑰。請參閱 "參考資料" 連結至_NetApp支援網站_。

      如果網站沒有您需要的授權金鑰、請聯絡您的NetApp銷售代表。

    3. 在AutoSupport 每個節點上輸入下列命令並檢查其輸出、以檢查原始系統是否已啟用Efis:

      「系統節點AutoSupport 不支援show -node1、node2_」

      命令輸出會顯示AutoSupport 是否啟用了功能性、如下列範例所示:

      cluster::> system node autosupport show -node node1,node2
      
      Node             State     From          To                Mail Hosts
      ---------------- --------- ------------- ----------------  ----------
      node1            enable    Postmaster    admin@netapp.com  mailhost
      
      node2            enable    Postmaster    -                 mailhost
      2 entries were displayed.
    4. 請採取下列其中一項行動:

      如果原始系統…​ 然後…​

      已啟用此功能…​ AutoSupport

      未啟用任何功能…​ AutoSupport

      1. 請遵循_系統管理參考_中的指示來啟用AutoSupport 支援。(請參閱 "參考資料" 連結至_System Administration Reference。)

        注意: AutoSupport 當您第一次設定儲存系統時、預設會啟用此功能。雖然AutoSupport 您可以隨時停用不支援、但仍應保持啟用狀態。啟用AutoSupport 功能可在儲存系統發生問題時、大幅協助識別問題與解決方案。

      2. 前往 "取得外部金鑰管理伺服器的IP位址以進行儲存加密" 區段。

    5. AutoSupport 在兩個原始節點上輸入下列命令、並檢查輸出、以驗證是否已設定正確的郵件主機詳細資料和收件者電子郵件ID:

      「系統節點AutoSupport 不完整地顯示節點node_name -instance」

      如需AutoSupport 有關功能的詳細資訊、請參閱 "參考資料" 若要連結至_系統管理參考_和_還原ONTAP 9命令:手冊頁參考_。

    6. [[man_prepe_node_step35、Step 35] AutoSupport 輸入下列命令、將節點1的支援資訊傳送給NetApp:

      「系統節點AutoSupport 無法叫用節點節點節點1 -輸入all -messing node1 from platfore_old to platform _new」(將節點1從platfore_old升級為platform _new)

      附註 此時請勿傳送AutoSupport 適用於節點2的消息給NetApp;稍後請在程序中進行。
    7. [[man_prepe_node_step36、Step 36] AutoSupport 輸入下列命令並檢查其輸出、以驗證是否已傳送此資訊:

      「系統節點AutoSupport 不支援show -node1_-instance」

    欄位「Last Subject sent:」(上次傳送主旨:)和「Last Time sent:」(上次傳送時間:)包含上次傳送訊息的標題、以及傳送訊息的時間。