TR-4997：使用vVols在 VCF 中部署和保護 Oracle RAC
建議變更
PDF
Allen Cao、Niyaz Mohamed， NetApp
此解決方案概述並詳細介紹了 VMware Cloud Foundation (VCF) 中的 Oracle 部署和保護，其中 vSphere Virtual Volumes (vVols) 作為主資料庫存儲，Oracle 資料庫採用 Real Application Clusters (RAC) 配置。
目的
VMware vSphere 虛擬磁碟區 (vVols) 是一個 SAN/NAS 管理和整合框架，它將虛擬磁碟作為本機儲存物件公開，並在虛擬磁碟層級支援基於陣列的操作。換句話說， vVols使 SAN/NAS 設備能夠感知虛擬機，並能夠以虛擬機為中心的方式在單一虛擬磁碟的粒度上利用基於陣列的資料服務。 vVols使客戶能夠利用其當前儲存投資的獨特功能，並在不中斷的情況下過渡到針對跨所有儲存類型的虛擬環境優化的更簡單、更有效率的營運模式。
在"TR-4996"，我們示範了使用vVols在 VCF 中部署和保護單一實例 Oracle 資料庫。本文檔示範如何在 VMware Cloud Foundation 環境中部署和保護 Oracle RAC 資料庫，並使用vVols作為NetApp ONTAP儲存叢集中的主要資料庫儲存。 Oracle RAC 資料庫的配置就像部署在本機儲存系統上的本機檔案系統一樣。本技術報告重點介紹在 VCF 中為 Oracle RAC 部署建立vVols的步驟。我們也示範了使用NetApp自動化工具包在vVols上的 VCF 中部署 Oracle RAC 資料庫，以及使用NetApp SnapCenter UI 工具進行 RAC 資料庫保護。
此解決方案適用於以下用例：
-
在 VCF 中部署 Oracle RAC 資料庫，並使用NetApp ONTAP AFF上的vVols資料儲存作為主資料庫存儲
-
使用NetApp SnapCenter UI 工具在 VCF 中使用vVols資料儲存區備份和還原 Oracle 資料庫
對象
此解決方案適用於以下人群：
-
一位 DBA 希望在 VCF 中部署 Oracle RAC，並使用NetApp ONTAP AFF上的vVols資料儲存作為主資料庫存儲
-
一位資料庫解決方案架構師，希望使用NetApp ONTAP AFF儲存上的vVols資料儲存在 VCF 中測試 Oracle RAC 工作負載
-
一位儲存管理員希望在NetApp ONTAP AFF儲存上使用vVols資料儲存部署到 VCF 的 Oracle RAC 資料庫並進行管理
-
希望使用 vVol 資料儲存在 VCF 中建立 Oracle RAC 資料庫的應用程式擁有者
解決方案測試和驗證環境
此解決方案的測試和驗證是在 VCF 的實驗室環境中進行的，其中vVols資料儲存在NetApp ONTAP AFF儲存上，可能與最終部署環境不符。有關更多信息，請參閱部署考慮的關鍵因素 。
架構
硬體和軟體組件
硬體 |
||
NetApp ONTAP AFF A300 |
版本 9.14.1P4 |
DS224 磁碟架，配備 24 個 NVMe 磁碟，總容量 35.2 TiB |
VMware VSphere 集群 |
版本 8.02 |
12 個 CPU x Intel® Xeon® Gold 5218 CPU @ 2.30GHz，8 個節點（4 個管理域和 4 個工作負載域） |
軟體 |
||
紅帽Linux |
RHEL-8.6，4.18.0-372.9.1.el8.x86_64 內核 |
託管 Oracle DB 伺服器，部署 RedHat 訂閱進行測試 |
Windows 伺服器 |
2022 標準版，10.0.20348 內部版本 20348 |
託管SnapCenter伺服器 |
Centos Linux |
CentOS Linux 版本 8.5.2111 |
託管 Ansible 控制器 |
Oracle 網格基礎架構 |
版本 19.18 |
已套用RU補丁p34762026_190000_Linux-x86-64.zip |
Oracle 資料庫 |
版本 19.18 |
已套用RU補丁p34765931_190000_Linux-x86-64.zip |
Oracle OPatch |
版本 12.2.0.1.36 |
最新補丁 p6880880_190000_Linux-x86-64.zip |
SnapCenter伺服器 |
版本 6.0 |
工作小組部署 |
SnapCenter Plug-in for VMware vSphere |
版本 6.0 |
作為 OVA 虛擬機器部署到 vSphere 集群 |
適用於 VMware vSphere 的ONTAP工具 |
版本 9.13 |
作為 OVA 虛擬機器部署到 vSphere 集群 |
開啟 JDK |
版本 java-11-openjdk-11.0.23.0.9-3.el8.x86_64 |
資料庫虛擬機器上的SnapCenter插件要求 |
VCF中的Oracle RAC資料庫配置
RAC 節點 |
資料庫 |
資料庫儲存 |
ora01 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
NetApp ONTAP AFF A300上的vVols資料儲存區（VCF_ORA_BINS、VCF_ORA_CRS、VCF_ORA_DAT1、VCF_ORA_DAT2、VCF_ORA_LOGS） |
ora02 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
NetApp ONTAP AFF A300上的vVols資料儲存區（VCF_ORA_BINS、VCF_ORA_CRS、VCF_ORA_DAT1、VCF_ORA_DAT2、VCF_ORA_LOGS） |
部署考慮的關鍵因素
-
* vVols到ONTAP集群連線的協定。 * NFS 或 iSCSI 都是不錯的選擇。性能水平相當。在此解決方案示範中，我們使用 iSCSI 作為vVols連接到下劃線ONTAP儲存叢集的儲存協定。如果 VCF 基礎架構支持， NetApp ONTAP上的vVols資料儲存也支援 FC/FCoE、NVMe/FC 協定。
-
vVols資料儲存上的 Oracle 儲存佈局。 *在我們的測試和驗證中，我們為 Oracle 二進位檔案、Oracle 叢集註冊表/投票、Oracle 資料和 Oracle 日誌檔案部署了五個vVols資料儲存區。將不同類型的 Oracle 檔案分離到各自的資料儲存體是一種很好的做法，這樣可以輕鬆管理和執行資料庫備份、復原或複製。為大型資料庫建立專用vVols ，並為較小的資料庫或具有類似 QoS 設定檔的資料庫共用vVols 。
-
Oracle 儲存冗餘。使用 `Normal Redundancy`用於關鍵的 Oracle RAC 叢集註冊表/投票文件，以便三個 ASM 磁碟故障群組上的三個投票文件提供最佳叢集保護，並且叢集註冊表在 ASM 磁碟故障群組之間鏡像。使用 `External Redundancy`用於 Oracle 二進位檔案、資料檔案和日誌文件，以最佳化儲存使用率。帶下劃線的ONTAP RAID-DP 在以下情況下提供資料保護 `External Redundancy`受僱。
-
* ONTAP儲存驗證的憑證。 *僅使用ONTAP叢集級憑證進行ONTAP儲存叢集驗證，包括SnapCenter與ONTAP儲存叢集的連線或ONTAP工具與ONTAP儲存叢集的連線。
-
*從vVols資料儲存區到資料庫虛擬機器配置儲存。 *一次只能從vVols資料儲存到資料庫虛擬機器中新增一個磁碟。目前不支援同時從vVols資料儲存新增多個磁碟。
-
*資料庫保護。 * NetApp提供了用於資料庫備份和復原的SnapCenter software套件，並具有使用者友好的 UI 介面。 NetApp建議實作這樣的管理工具來實現快速的 SnapShot 備份、快速的資料庫還原和復原。
解決方案部署
以下部分提供了在 Oracle RAC 配置中的NetApp ONTAP儲存上使用vVols資料儲存在 VCF 中部署 Oracle 19c 資料庫的逐步程序。
部署先決條件
Details
部署需要以下先決條件。
-
VMware VCF 已設定。有關如何建立 VCF 的資訊或說明，請參閱 VMware 文檔"VMware 雲端基礎文檔"。
-
在 VCF 工作負載域中配置三個 Linux VM、兩個用於 Oracle RAC 資料庫叢集的 VM 和一個用於 Ansible 控制器的 VM。配置一個 Windows 伺服器 VM 以執行NetApp SnapCenter伺服器。有關設定 Ansible 控制器以自動部署 Oracle 資料庫的信息，請參閱以下資源"NetApp解決方案自動化入門"。
-
Oracle RAC 資料庫虛擬機器應該至少配置兩個網路介面 - 一個用於 Oracle RAC 專用互連，一個用於應用程式或公共資料流量。
-
VMware vSphere 的SnapCenter外掛程式版本 6.0 已在 VCF 中部署。有關插件部署，請參考以下資源："SnapCenter Plug-in for VMware vSphere文檔" 。
-
VMware vSphere 的ONTAP工具已在 VCF 中部署。有關適用於 VMware vSphere 部署的ONTAP工具，請參閱下列資源："ONTAP tools for VMware vSphere文檔"
|
請確定您已在 Oracle VM 根磁碟區中指派至少 50G，以便有足夠的空間儲存 Oracle 安裝檔案。 |
建立儲存能力設定檔
Details
首先，為託管vVols資料儲存的下劃線ONTAP儲存建立自訂儲存功能設定檔。
-
從 vSphere 用戶端捷徑開啟NetApp ONTAP工具。確保ONTAP儲存叢集已新增至 `Storage Systems`作為ONTAP工具部署的一部分。
-
點選 `Storage capability profile`為 Oracle 新增自訂設定檔。命名設定檔並新增簡短描述。
-
選擇儲存控制器類別：效能、容量或混合。
-
選擇協議。
-
如果需要，定義 QoS 策略。
-
設定檔的附加儲存屬性。如果您想要具有加密功能，請確保在NetApp控制器上啟用了加密，否則在套用設定檔時可能會導致問題。
-
查看摘要並完成儲存能力設定檔的建立。
建立並配置vVols資料存儲
Details
完成先決條件後，透過 vSphere 用戶端以管理員使用者身分登入 VCF，導覽至工作負載網域。不要使用內建 VMware 儲存選項來建立vVols。相反，使用NetApp ONTAP工具來建立vVols。下面示範了建立和配置vVols 的過程。
-
vVols建立工作流程可以從ONTAP工具介面或 VCF 工作負載域叢集觸發。
-
填寫資料儲存的一般信息，包括配置目標、類型、名稱和協定。
-
選擇上一步驟建立的自訂儲存功能設定文件，
Storage system， 和Storage VM，要在其中建立vVols 。
-
選擇
Create new volumes，填寫磁碟區名稱和大小，然後點擊 `ADD`然後 `NEXT`移至摘要頁面。
-
點選 `Finish`為 Oracle 二進位檔案建立vVols資料儲存。
-
為 Oracle 叢集註冊表或 CRS 建立資料儲存。
您可以為vVols資料儲存區新增多個卷，或將vVols資料儲存區卷分佈在ONTAP控制器節點之間，以提高效能或實現冗餘。 -
為 Oracle 資料建立資料儲存。理想情況下，在每個ONTAP控制器節點上建立單獨的資料存儲，並使用 Oracle ASM 在控制器節點之間對資料進行條帶化，以最大限度地利用ONTAP儲存叢集容量。
-
為 Oracle 日誌建立資料儲存。鑑於 Oracle 日誌寫入的順序性，最好將其放在單一ONTAP控制器節點上。
-
部署後驗證 Oracle 資料儲存。
根據儲存能力設定檔建立虛擬機器儲存策略
Details
在將儲存空間從vVols資料儲存配置到資料庫 VM 之前，請根據上一個步驟建立的儲存功能設定檔新增 VM 儲存策略。以下是具體步驟。
-
從 vSphere Client 選單打開
Policies and Profiles`並突出顯示 `VM Storage Policies。點選 `Create`打開 `VM Storage Policies`工作流程。
-
命名虛擬機器儲存策略。
-
在
Datastore specific rules， 查看Enable rules for "NetAPP.clustered.Data.ONTAP.VP.vvol" storage
-
對於NetApp.clustered.Data. ONTAP.VP.vvol 規則
Placement，選擇上一步驟建立的自訂儲存容量設定檔。
-
對於NetApp.clustered.Data. ONTAP.VP.vvol 規則
Replication， 選擇 `Disabled`如果vVols未被複製。
-
儲存相容性頁面顯示 VCF 環境中相容的vVols資料儲存。
-
審查並完成建立虛擬機器儲存策略。
-
驗證剛剛建立的虛擬機器儲存策略。
從vVols資料儲存體向 RAC VM 指派磁碟並配置 DB 存儲
Details
從 vSphere 用戶端，透過編輯 VM 設定將vVols資料儲存中的所需磁碟新增至資料庫 VM。然後，登入 VM 格式化並將二進位磁碟掛載到掛載點 /u01。下面示範了具體的步驟和任務。
-
在將磁碟從資料儲存分配到資料庫虛擬機器之前，請登入 VMware ESXi 主機進行驗證並確保在 ESXi 層級啟用了多寫入器（GBLAllowMW 值設定為 1）。
[root@vcf-wkld-esx01:~] which esxcli /bin/esxcli [root@vcf-wkld-esx01:~] esxcli system settings advanced list -o /VMFS3/GBLAllowMW Path: /VMFS3/GBLAllowMW Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Allow multi-writer GBLs. Host Specific: false Impact: none [root@vcf-wkld-esx01:~]
-
新增一個新的專用 SCSI 控制器以供 Oracle RAC 磁碟使用。停用 SCSI 總線共用。
-
從 RAC 節點 1 - ora01，向 VM 新增一個磁碟用於 Oracle 二進位儲存（不共用）。
-
從 RAC 節點 1 開始，向 VM 新增三個磁碟用於 Oracle RAC CRS 儲存並啟用多寫入器共用。
-
從 RAC 節點 1 開始，從每個資料儲存區分別新增兩個磁碟，用於將資料傳送至 VM，以實現共用 Oracle 資料儲存。
-
從 RAC 節點 1，從日誌資料儲存體向 VM 新增兩個磁碟，用於共用 Oracle 日誌檔案儲存。
-
從 RAC 節點 2 開始，向 VM 新增一個磁碟用於 Oracle 二進位儲存（不共用）。
-
從 RAC 節點 2，透過選擇新增其他共用磁碟 `Existing Hard Disks`選項並為每個共用磁碟啟用多寫入器共用。
-
從虛擬機
Edit Settings，Advanced Parameters，添加屬性disk.enableuuid`具有價值 `TRUE。需要關閉虛擬機器才能新增進階參數。設定此選項可使SnapCenter準確地識別您環境中的 vVol。這應該在所有 RAC 節點上完成。
-
現在，重新啟動虛擬機器。透過 ssh 以管理員使用者身分登入 VM 以查看新新增的磁碟機。
[admin@ora01 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora01 ~]$ [admin@ora02 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora02 ~]$
-
從每個 RAC 節點，透過接受預設選擇將 Oracle 二進位磁碟 (/dev/sdb) 分割區為主分割區和單一分割區。
sudo fdisk /dev/sdb -
將分割區的磁碟格式化為xfs檔案系統。
sudo mkfs.xfs /dev/sdb1 -
將磁碟掛載到掛載點 /u01。
[admin@ora01 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.7G 36K 7.7G 1% /dev tmpfs 7.8G 1.4G 6.4G 18% /dev/shm tmpfs 7.8G 34M 7.7G 1% /run tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup /dev/mapper/rhel-root 44G 29G 16G 66% / /dev/sda2 1014M 249M 766M 25% /boot /dev/sda1 599M 5.9M 593M 1% /boot/efi /dev/sdb1 50G 24G 27G 47% /u01 tmpfs 1.6G 12K 1.6G 1% /run/user/42 tmpfs 1.6G 0 1.6G 0% /run/user/54331 tmpfs 1.6G 4.0K 1.6G 1% /run/user/1000
-
將掛載點新增至 /etc/fstab，以便在 VM 重新啟動時掛載磁碟機。
sudo vi /etc/fstab[oracle@ora_01 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Wed Oct 18 19:43:31 2023 # # Accessible filesystems, by reference, are maintained under '/dev/disk/'. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. # # After editing this file, run 'systemctl daemon-reload' to update systemd # units generated from this file. # /dev/mapper/rhel-root / xfs defaults 0 0 UUID=aff942c4-b224-4b62-807d-6a5c22f7b623 /boot xfs defaults 0 0 /dev/mapper/rhel-swap none swap defaults 0 0 /root/swapfile swap swap defaults 0 0 /dev/sdb1 /u01 xfs defaults 0 0
VCF中的Oracle RAC部署
Details
建議利用NetApp自動化工具包在具有vVols的 VCF 中部署 Oracle RAC。仔細閱讀隨附的說明（READme），並按照工具包中的說明配置部署參數文件，例如部署目標文件 - hosts、全域變數文件 - vars/vars.yml 和本地 DB VM 變數檔案 - host_vars/host_name.yml。以下是逐步的程序。
-
透過 ssh 以管理員使用者身分登入 Ansible 控制器 VM，並使用vVols複製用於在 VCF 中部署 Oracle RAC 的自動化工具包副本。
git clone https://bitbucket.ngage.netapp.com/scm/ns-bb/na_oracle_deploy_rac.git -
將下列 Oracle 安裝檔案暫存於 RAC 節點 1 資料庫 VM 上的 /tmp/archive 資料夾中。該資料夾應允許所有使用者以 777 權限存取。
LINUX.X64_193000_grid_home.zip p34762026_190000_Linux-x86-64.zip LINUX.X64_193000_db_home.zip p34765931_190000_Linux-x86-64.zip p6880880_190000_Linux-x86-64.zip
-
在 Ansible 控制器和資料庫虛擬機器之間設定 ssh 無密鑰身份驗證，這需要產生 ssh 密鑰對並將公鑰複製到資料庫虛擬機器管理員用戶根目錄 .ssh 資料夾 authorized_keys 檔案中。
ssh-keygen -
設定使用者定義的目標主機參數檔。以下是目標主機檔案 hosts 的典型設定範例。
#Oracle hosts [oracle] ora01 ansible_host=10.61.180.21 ansible_ssh_private_key_file=ora01.pem ora02 ansible_host=10.61.180.22 ansible_ssh_private_key_file=ora02.pem
-
設定使用者定義的本機特定參數檔。以下是本機 host_name.yml 檔案 - ora01.yml 的典型設定範例。
# Binary lun ora_bin: /dev/sdb # Host DB configuration ins_sid: "{{ oracle_sid }}1" asm_sid: +ASM1 -
配置使用者定義的全域參數檔。以下是全域參數檔 vars.yml 的典型配置範例
####################################################################### ### ONTAP env specific config variables ### ####################################################################### # ONTAP storage platform: on-prem, vmware-vvols ontap_platform: vmware-vvols # Prerequisite to create five vVolss in VMware vCenter # VCF_ORA_BINS - Oracle binary # VCF_ORA_CRS - Oracle cluster registry and vote # VCF_ORA_DAT1 - Oracle data on node1 # VCF_ORA_DAT2 - Oracle data on node2 # VCF_ORA_LOGS - Oracle logs on node1 or node2 # Oracle disks are added to VM from vVols: 1 binary disk, 3 CRS disks, 4 data disks, and 2 log disks. ###################################################################### ### Linux env specific config variables ### ###################################################################### redhat_sub_username: XXXXXXXX redhat_sub_password: "XXXXXXXX" # Networking configuration cluster_pub_ip: - {ip: 10.61.180.21, hostname: ora01} - {ip: 10.61.180.22, hostname: ora02} cluster_pri_ip: - {ip: 172.21.166.22, hostname: ora01-pri} - {ip: 172.21.166.24, hostname: ora02-pri} cluster_vip_ip: - {ip: 10.61.180.93, hostname: ora01-vip} - {ip: 10.61.180.94, hostname: ora02-vip} cluster_scan_name: ntap-scan cluster_scan_ip: - {ip: 10.61.180.90, hostname: ntap-scan} - {ip: 10.61.180.91, hostname: ntap-scan} - {ip: 10.61.180.92, hostname: ntap-scan} ##################################################################### ### DB env specific install and config variables ### ##################################################################### # Shared Oracle RAC storage ora_crs: - { device: /dev/sdc, name: ora_crs_01 } - { device: /dev/sdd, name: ora_crs_02 } - { device: /dev/sde, name: ora_crs_03 } ora_data: - { device: /dev/sdf, name: ora_data_01 } - { device: /dev/sdg, name: ora_data_02 } - { device: /dev/sdh, name: ora_data_03 } - { device: /dev/sdi, name: ora_data_04 } ora_logs: - { device: /dev/sdj, name: ora_logs_01 } - { device: /dev/sdk, name: ora_logs_02 } # Oracle RAC configuration oracle_sid: NTAP cluster_name: ntap-rac cluster_nodes: ora01,ora02 cluster_domain: solutions.netapp.com grid_cluster_nodes: ora01:ora01-vip:HUB,ora02:ora02-vip:HUB network_interface_list: ens33:10.61.180.0:1,ens34:172.21.166.0:5 memory_limit: 10240 # Set initial password for all required Oracle passwords. Change them after installation. initial_pwd_all: "XXXXXXXX" -
從 Ansible 控制器，複製自動化工具包主目錄 /home/admin/na_oracle_deploy_rac，執行先決條件劇本來設定 ansible 先決條件。
ansible-playbook -i hosts 1-ansible_requirements.yml -
執行 Linux 配置劇本。
ansible-playbook -i hosts 2-linux_config.yml -u admin -e @vars/vars.yml -
執行 Oracle 部署劇本。
ansible-playbook -i hosts 4-oracle_config.yml -u admin -e @vars/vars.yml -
或者，上述所有劇本也可以透過單一劇本運行來執行。
ansible-playbook -i hosts 0-all_playbook.yml -u admin -e @vars/vars.yml
VCF 中的 Oracle RAC 部署驗證
Details
本節提供有關 VCF 中的 Oracle RAC 部署驗證的詳細信息，以確保所有 Oracle RAC 資源都已完全部署、配置並按預期運行。
-
以管理員使用者身分登入 RAC VM 以驗證 Oracle 網格基礎架構。
[admin@ora01 ~]$ sudo su [root@ora01 admin]# su - grid [grid@ora01 ~]$ crsctl stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.LISTENER.lsnr ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.chad ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.net1.network ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.ons ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.proxy_advm OFFLINE OFFLINE ora01 STABLE OFFLINE OFFLINE ora02 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE ora01 STABLE ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE ora02 STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.VOTE.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE ora01 Started,STABLE 2 ONLINE ONLINE ora02 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.cvu 1 ONLINE ONLINE ora02 STABLE ora.ntap.db 1 ONLINE ONLINE ora01 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE 2 ONLINE ONLINE ora02 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE ora.ora01.vip 1 ONLINE ONLINE ora01 STABLE ora.ora02.vip 1 ONLINE ONLINE ora02 STABLE ora.qosmserver 1 ONLINE ONLINE ora02 STABLE ora.scan1.vip 1 ONLINE ONLINE ora01 STABLE ora.scan2.vip 1 ONLINE ONLINE ora02 STABLE ora.scan3.vip 1 ONLINE ONLINE ora02 STABLE -------------------------------------------------------------------------------- [grid@ora01 ~]$ -
驗證 Oracle ASM。
[grid@ora01 ~]$ asmcmd ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 1048576 163840 163723 0 163723 0 N DATA/ MOUNTED EXTERN N 512 512 4096 1048576 163840 163729 0 163729 0 N RECO/ MOUNTED NORMAL N 512 512 4096 4194304 30720 29732 10240 9746 0 Y VOTE/ ASMCMD> lsdsk Path AFD:ORA_CRS_01 AFD:ORA_CRS_02 AFD:ORA_CRS_03 AFD:ORA_DATA_01 AFD:ORA_DATA_02 AFD:ORA_DATA_03 AFD:ORA_DATA_04 AFD:ORA_LOGS_01 AFD:ORA_LOGS_02 ASMCMD> afd_state ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'ora01' ASMCMD>
-
列出叢集節點。
[grid@ora01 ~]$ olsnodes ora01 ora02
-
驗證 OCR/VOTE。
[grid@ora01 ~]$ ocrcheck Status of Oracle Cluster Registry is as follows : Version : 4 Total space (kbytes) : 901284 Used space (kbytes) : 84536 Available space (kbytes) : 816748 ID : 118267044 Device/File Name : +VOTE Device/File integrity check succeeded Device/File not configured Device/File not configured Device/File not configured Device/File not configured Cluster registry integrity check succeeded Logical corruption check bypassed due to non-privileged user [grid@ora01 ~]$ crsctl query css votedisk ## STATE File Universal Id File Name Disk group -- ----- ----------------- --------- --------- 1. ONLINE 1ca3fcb0bd354f8ebf00ac97d70e0824 (AFD:ORA_CRS_01) [VOTE] 2. ONLINE 708f84d505a54f58bf41124e09a5115a (AFD:ORA_CRS_02) [VOTE] 3. ONLINE 133ecfcedb684fe6bfdc1899b90f91c7 (AFD:ORA_CRS_03) [VOTE] Located 3 voting disk(s). [grid@ora01 ~]$ -
驗證 Oracle 監聽器。
[grid@ora01 ~]$ lsnrctl status listener LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 10:21:38 Copyright (c) 1991, 2022, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER))) STATUS of the LISTENER ------------------------ Alias LISTENER Version TNSLSNR for Linux: Version 19.0.0.0.0 - Production Start Date 14-AUG-2024 16:24:48 Uptime 1 days 17 hr. 56 min. 49 sec Trace Level off Security ON: Local OS Authentication SNMP OFF Listener Parameter File /u01/app/grid/19.0.0/network/admin/listener.ora Listener Log File /u01/app/oracle/diag/tnslsnr/ora01/listener/alert/log.xml Listening Endpoints Summary... (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=LISTENER))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.21)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.93)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=ora01.solutions.netapp.com)(PORT=5500))(Security=(my_wallet_directory=/u01/app/oracle2/product/19.0.0/NTAP/admin/NTAP/xdb_wallet))(Presentation=HTTP)(Session=RAW)) Services Summary... Service "+ASM" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_DATA" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_RECO" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_VOTE" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "1fbf0aaa1d13cb5ae06315b43d0ab734.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf142e7db2d090e06315b43d0a6894.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf203c3a46d7bae06315b43d0ae055.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAP.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAPXDB.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb1.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb2.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb3.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... The command completed successfully [grid@ora01 ~]$ [grid@ora01 ~]$ tnsping ntap-scan TNS Ping Utility for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 12:07:58 Copyright (c) 1997, 2022, Oracle. All rights reserved. Used parameter files: /u01/app/grid/19.0.0/network/admin/sqlnet.ora Used EZCONNECT adapter to resolve the alias Attempting to contact (DESCRIPTION=(CONNECT_DATA=(SERVICE_NAME=))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.90)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.91)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.92)(PORT=1521))) OK (10 msec)
-
更改為 oracle 使用者來驗證叢集資料庫。
[oracle@ora02 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Fri Aug 16 11:32:23 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode, log_mode from v$database; NAME OPEN_MODE LOG_MODE --------- -------------------- ------------ NTAP READ WRITE ARCHIVELOG SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> select name from v$datafile 2 union 3 select name from v$controlfile 4 union 5 select member from v$logfile; NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/sysaux.275.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/system.274.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undo_2.277.1177083853 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undotbs1.273.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/users.278.1177083901 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/sysaux.281.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/system.280.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undo_2.283.1177084061 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undotbs1.279.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/users.284.1177084103 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/sysaux.287.1177084105 NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/system.286.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undo_2.289.1177084123 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undotbs1.285.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/users.290.1177084125 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.266.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.265.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.267.1177081837 +DATA/NTAP/CONTROLFILE/current.261.1177080403 +DATA/NTAP/DATAFILE/sysaux.258.1177080245 +DATA/NTAP/DATAFILE/system.257.1177080129 +DATA/NTAP/DATAFILE/undotbs1.259.1177080311 NAME -------------------------------------------------------------------------------- +DATA/NTAP/DATAFILE/undotbs2.269.1177082203 +DATA/NTAP/DATAFILE/users.260.1177080311 +DATA/NTAP/ONLINELOG/group_1.262.1177080427 +DATA/NTAP/ONLINELOG/group_2.263.1177080427 +DATA/NTAP/ONLINELOG/group_3.270.1177083297 +DATA/NTAP/ONLINELOG/group_4.271.1177083313 +RECO/NTAP/CONTROLFILE/current.256.1177080403 +RECO/NTAP/ONLINELOG/group_1.257.1177080427 +RECO/NTAP/ONLINELOG/group_2.258.1177080427 +RECO/NTAP/ONLINELOG/group_3.259.1177083313 +RECO/NTAP/ONLINELOG/group_4.260.1177083315 33 rows selected. -
或在成功執行劇本後登入 EM express 來驗證 RAC 資料庫。
使用SnapCenter在 VCF 中備份和還原 Oracle RAC 資料庫
SnapCenter設定
Details
SnapCenter版本 6 比版本 5 有許多功能增強，包括對 VMware vVols資料儲存的支援。 SnapCenter依賴資料庫虛擬機器上的主機端插件來執行應用程式感知的資料保護管理活動。有關適用於 Oracle 的NetApp SnapCenter插件的詳細信息，請參閱此文檔"您可以使用 Oracle 資料庫插件做什麼"。下面提供了在 VCF 中設定SnapCenter版本 6 以進行 Oracle RAC 資料庫備份和復原的進階步驟。
-
從NetApp支援網站下載SnapCenter software版本 6："NetApp支援下載" 。
-
以管理員身分登入託管 Windows VM 的SnapCenter 。安裝SnapCenter 6.0 的先決條件。
-
以管理員身份安裝最新的 Java JDK"取得用於桌面應用程式的 Java" 。
如果 Windows 伺服器部署在網域環境中，請將網域使用者新增至SnapCenter伺服器本機管理員群組，並使用網域使用者執行SnapCenter安裝。 -
以安裝使用者身分透過 HTTPS 連接埠 8846 登入SnapCenter UI 以設定SnapCenter for Oracle。
-
審查 `Get Started`如果您是新用戶，可以透過選單快速了解SnapCenter 。
-
更新 `Hypervisor Settings`在全域設定中。
-
將ONTAP儲存叢集新增至 `Storage Systems`使用群集管理 IP 並透過群集管理員使用者 ID 進行身份驗證。
-
新增 Oracle RAC 資料庫虛擬機器和 vSphere 插件虛擬機 `Credential`用於SnapCenter存取 DB VM 和 vSphere 插件 VM。該憑證應在 Linux VM 上具有 sudo 權限。您可以為虛擬機器的不同管理使用者 ID 建立不同的憑證。 vShpere 外掛程式虛擬機器管理使用者 ID 是在 vCenter 中部署插件虛擬機器時定義的。
-
在 VCF 中新增 Oracle RAC 資料庫虛擬機 `Hosts`使用上一個步驟中建立的 DB VM 憑證。
-
類似地，將NetApp VMware 外掛程式 VM 新增至 `Hosts`使用上一個步驟中建立的 vSphere 外掛程式 VM 憑證。
-
最後，在 DB VM 上發現 Oracle 資料庫後，回到
Settings-`Policies`建立 Oracle 資料庫備份策略。理想情況下，建立單獨的存檔日誌備份策略，以允許更頻繁的備份間隔，從而最大限度地減少故障時的資料遺失。
|
|
確保SnapCenter伺服器名稱可以解析為 DB VM 和 vSphere 插件 VM 的 IP 位址。同樣，DB VM 名稱和 vSphere 外掛程式 VM 名稱可以解析為SnapCenter伺服器的 IP 位址。 |
資料庫備份
Details
與傳統的基於 RMAN 的方法相比， SnapCenter利用ONTAP磁碟區快照實現更快的資料庫備份、復原或複製。由於資料庫在快照之前處於 Oracle 備份模式，因此快照與應用程式一致。
-
從
Resources`選項卡，將 VM 新增至SnapCenter後，會自動發現 VM 上的任何資料庫。最初，資料庫狀態顯示為 `Not protected。
-
按一下資料庫以啟動工作流程來啟用資料庫保護。
-
如果需要，請套用備份策略並設定計劃。
-
如果需要，設定備份作業通知。
-
查看摘要並完成以啟用資料庫保護。
-
只需點擊即可觸發按需備份作業
Back up Now。
-
備份作業可以在 `Monitor`按一下正在執行的作業來開啟選項卡。
-
按一下資料庫以查看 RAC 資料庫的已完成備份集。
資料庫還原/復原
Details
SnapCenter為 Oracle RAC 資料庫提供了多種從快照備份中復原的選項。在此範例中，我們示範如何從較舊的快照備份進行恢復，然後將資料庫前滾到最後一個可用日誌。
-
首先，執行快照備份。然後，建立測試表並向表中插入一行，以驗證在建立測試表之前從快照映像還原的資料庫是否重新取得測試表。
[oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 10:31:12 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> create table test (id integer, dt timestamp, event varchar(100)); Table created. SQL> insert into test values (1, sysdate, 'validate SnapCenter rac database restore on VMware vVols storage'); 1 row created. SQL> commit; Commit complete. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL> -
來自SnapCenter `Resources`選項卡，開啟資料庫NTAP1備份拓樸頁面。反白顯示3天前建立的快照資料備份集。點選 `Restore`啟動復原工作流程。
-
選擇恢復範圍。
-
選擇恢復範圍
All Logs。
-
指定要執行的任何可選預腳本。
-
指定要執行的任何可選的後續腳本。
-
如果需要的話，發送工作報告。
-
查看摘要並點擊 `Finish`啟動恢復和復甦。
-
從 RAC DB VM ora01 驗證資料庫的還原/復原是否成功前滾到其最新狀態並還原 3 天後所建立的測試表。
[root@ora01 ~]# su - oracle [oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 11:51:15 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode from v$database; NAME OPEN_MODE --------- -------------------- NTAP READ WRITE SQL> sho pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL> select current_timestamp from dual; CURRENT_TIMESTAMP --------------------------------------------------------------------------- 19-AUG-24 11.55.20.079686 AM -04:00 SQL> exit Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0
這完成了使用vVols在 VCF 中對 Oracle RAC 資料庫進行SnapCenter備份、還原和復原的示範。
在哪裡可以找到更多信息
要了解有關本文檔中描述的信息的更多信息，請查看以下文檔和/或網站：