TR-4997: Implementazione e protezione di Oracle RAC in VCF con vVol
Allen Cao, Niyaz Mohamed, NetApp
La soluzione fornisce una panoramica e dettagli sulla distribuzione e la protezione di Oracle in VMware Cloud Foundation (VCF) con vSphere Virtual Volumes (vVol) come storage primario per database e database Oracle nella configurazione RAC (Real Application Clusters).
Scopo
VMware vSphere Virtual Volumes (vVol) è un framework di gestione e integrazione SAN/NAS che espone i dischi virtuali come oggetti storage nativi e permette operazioni basate su array a livello di disco virtuale. In altre parole, i vVol rendono i dispositivi SAN/NAS consapevoli delle macchine virtuali e liberano la possibilità di sfruttare servizi dati basati su array con un approccio VM-centric alla granularità di un singolo disco virtuale. VVol consente ai clienti di sfruttare le capacità uniche degli investimenti attuali in storage e di effettuare la transizione senza interruzioni verso un modello operativo più semplice ed efficiente, ottimizzato per ambienti virtuali compatibili con tutti i tipi di storage.
In "TR-4996", abbiamo dimostrato la distribuzione e la protezione di database Oracle a istanza singola in VCF con vVol. Questa documentazione dimostra l'implementazione e la protezione di un database Oracle RAC in un ambiente VMware Cloud Foundation con vVol come storage del database primario in un cluster di storage NetApp ONTAP. Il database Oracle RAC è configurato come se fosse distribuito in file system locali su un sistema di storage locale. Questo report tecnico è incentrato sulla procedura per la creazione di vVol in VCF per la distribuzione di Oracle RAC. Inoltre, viene illustrata la distribuzione dei database Oracle RAC in VCF su vVol con il toolkit di automazione NetApp e la protezione dei database RAC con lo strumento UI di NetApp SnapCenter.
Questa soluzione risolve i seguenti casi di utilizzo:
-
Implementazione del database Oracle RAC in VCF con datastore vVol su NetApp ONTAP AFF come storage primario del database
-
Backup e ripristino dei database Oracle in VCF con datastore vVol utilizzando lo strumento UI di NetApp SnapCenter
Pubblico
Questa soluzione è destinata alle seguenti persone:
-
Un DBA che vorrebbe implementare Oracle RAC in VCF con datastore vVol su NetApp ONTAP AFF come storage primario del database
-
Un Solution Architect per database che vorrebbe testare i carichi di lavoro Oracle RAC in VCF con il datastore vVol sullo storage NetApp ONTAP AFF
-
Amministratore dello storage che desidera implementare e gestire un database Oracle RAC implementato su VCF con datastore vVol sullo storage NetApp ONTAP AFF
-
Un proprietario di un'applicazione che desidera creare un database Oracle RAC in VCF con datastore vVol
Ambiente di test e convalida della soluzione
Il test e la convalida di questa soluzione sono stati eseguiti in un ambiente di laboratorio in VCF con datastore vVol su storage NetApp ONTAP AFF che potrebbe non corrispondere all'ambiente di implementazione finale. Per ulteriori informazioni, vedere la sezione Fattori chiave per l'implementazione.
Architettura
![Questa immagine fornisce un quadro dettagliato della configurazione di implementazione di Oracle nel cloud pubblico AWS con iSCSI e ASM.](./../media/vcf_orarac_vvol_architecture.png)
Componenti hardware e software
Hardware |
||
NetApp ONTAP AFF A300 |
Versione 9.14.1P4 |
Shelf DS224 con dischi NVMe da 24 TB, capacità totale 35,2 TiB |
Cluster VMware vSphere |
Versione 8,02 |
12 CPU x Intel® Xeon® Gold 5218 CPU a 2,30GHz MHz, 8 nodi (gestione 4 e 4 domini di carico di lavoro) |
Software |
||
RedHat Linux |
Kernel RHEL-8,6, 4.18.0-372,9.1.EL8.x86_64 |
Hosting dei server Oracle DB, implementazione dell'abbonamento RedHat per il test |
Server Windows |
2022 Standard, 10.0.20348 Build 20348 |
Server SnapCenter di hosting |
CentOS Linux |
CentOS versione Linux 8.5.2111 |
Controller Ansible di hosting |
Oracle Grid Infrastructure |
Versione 19.18 |
Patch RU applicata p34762026_190000_Linux-x86-64.zip |
Database Oracle |
Versione 19.18 |
Patch RU applicata p34765931_190000_Linux-x86-64.zip |
Oracle OPatch |
Versione 12.2.0.1.36 |
Ultima patch p6880880_190000_Linux-x86-64.zip |
Server SnapCenter |
Versione 6,0 |
Distribuzione di gruppi di lavoro |
Plug-in SnapCenter per VMware vSphere |
Versione 6,0 |
Implementata come una macchina virtuale ova nel cluster vSphere |
Tool ONTAP per VMware vSphere |
Versione 9,13 |
Implementata come una macchina virtuale ova nel cluster vSphere |
Aprire JDK |
Versione java-11-openjdk-11,0.23,0.9-3.EL8.x86_64 |
Requisito del plugin SnapCenter per macchine virtuali DB |
Configurazione del database Oracle RAC in VCF
Nodo RAC |
Database |
Archiviazione DB |
ora01 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
DATASTORE VVOL (VCF_ORA_BIN, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) SU NetApp ONTAP AFF A300 |
ora02 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
DATASTORE VVOL (VCF_ORA_BIN, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) SU NetApp ONTAP AFF A300 |
Fattori chiave per l'implementazione
-
Protocollo per la connettività dei cluster vVol a ONTAP. NFS o iSCSI sono ottimi prodotti. I livelli di prestazione sono equivalenti. In questa dimostrazione di soluzione, abbiamo utilizzato iSCSI come protocollo di storage per la connettività dei vVol al cluster di storage ONTAP sottolineato. Se l'infrastruttura VCF supporta, sono supportati anche i protocolli FC/FCoE e NVMe/FC per i datastore vVol su NetApp ONTAP.
-
Layout di storage Oracle su datastore vVol. Nei nostri test e validazioni, abbiamo distribuito cinque datastore vVol per file binari Oracle, registro/voto cluster Oracle, dati Oracle e file log Oracle. È buona norma separare i diversi tipi di file Oracle nei propri datastore, in modo che il backup, il ripristino o la clonazione dei database possano essere gestiti ed eseguiti con facilità. Creare vVol dedicati per database di grandi dimensioni e condividere vVol per database di piccole dimensioni o con un profilo QoS simile.
-
Ridondanza dello storage Oracle. Utilizzare
Normal Redundancy
per i file di registro/voto del cluster Oracle RAC critici in modo che tre file di voto su tre gruppi di errore del disco ASM forniscano una protezione ottimale del cluster e che il registro del cluster sia sottoposto a mirroring tra i gruppi di errore del disco ASM. Utilizza laExternal Redundancy
soluzione per file binari, di dati e di log di Oracle per ottimizzare l'utilizzo dello storage. Il RAID-DP ONTAP sottolineato fornisce protezione dei dati quandoExternal Redundancy
viene impiegato. -
Credenziale per l'autenticazione dello storage ONTAP. Utilizza solo le credenziali a livello di cluster ONTAP per l'autenticazione del cluster di storage ONTAP, compresa la connettività SnapCenter al cluster di storage ONTAP o la connettività dello strumento ONTAP al cluster di storage ONTAP.
-
Provisioning dello storage dal datastore vVol alla macchina virtuale del database. Aggiungere un solo disco alla volta alla macchina virtuale del database dal datastore vVol. Al momento, l'aggiunta contemporanea di più dischi dai datastore vVol non è supportata.
-
Protezione del database. NetApp fornisce una suite software SnapCenter per il backup e il ripristino dei database attraverso un'interfaccia utente intuitiva. NetApp consiglia di implementare uno strumento di gestione di questo tipo per ottenere rapidi backup snapshot, rapidi ripristini e ripristini del database.
Implementazione della soluzione
Le seguenti sezioni descrivono procedure dettagliate per la distribuzione del database Oracle 19c in VCF con datastore vVol su storage NetApp ONTAP in una configurazione Oracle RAC.
Prerequisiti per l'implementazione
Details
L'implementazione richiede i seguenti prerequisiti.
-
È stato configurato un VCF VMware. Per informazioni o istruzioni su come creare un VCF, fare riferimento alla documentazione VMware "Documentazione di VMware Cloud Foundation".
-
Provisioning di tre macchine virtuali Linux, due macchine virtuali per il cluster di database Oracle RAC e una macchina virtuale per il controller Ansible all'interno del dominio del carico di lavoro VCF. Provisioning di una macchina virtuale di un server Windows per l'esecuzione del server NetApp SnapCenter. Per informazioni sulla configurazione del controller Ansible per lo sviluppo automatizzato del database Oracle, fare riferimento alle seguenti risorse "Introduzione all'automazione delle soluzioni NetApp".
-
Il provisioning delle macchine virtuali dei database di Oracle RAC deve avere almeno due interfacce di rete, una per l'interconnessione privata di Oracle RAC e una per le applicazioni o il traffico dati pubblico.
-
Il plug-in SnapCenter versione 6,0 per VMware vSphere è stato implementato in VCF. Fare riferimento alle seguenti risorse per la distribuzione dei plugin: "Plug-in SnapCenter per la documentazione di VMware vSphere".
-
Lo strumento ONTAP per VMware vSphere è stato implementato in VCF. Fai riferimento alle seguenti risorse per il tool ONTAP per l'implementazione di VMware vSphere: "Tool ONTAP per la documentazione di VMware vSphere"
|
Assicurarsi di aver allocato almeno 50g MB nel volume root di Oracle VM in modo da disporre di spazio sufficiente per preparare i file di installazione di Oracle. |
Crea un profilo di capacità storage
Details
Innanzitutto, creare un profilo di funzionalità dello storage personalizzato per lo storage ONTAP sottolineato che ospita il datastore vVol.
-
Dai collegamenti del client vSphere, aprire lo strumento NetApp ONTAP. Verificare che il cluster di storage ONTAP sia stato aggiunto
Storage Systems
come parte dell'implementazione dello strumento ONTAP. -
Fare clic su
Storage capability profile
per aggiungere un profilo personalizzato per Oracle. Assegnare un nome al profilo e aggiungere una breve descrizione. -
Scegli la categoria dello storage controller: Performance, capacità o ibrido.
-
Selezionare il protocollo.
-
Se necessario, definire un criterio QoS.
-
Attributi di archiviazione aggiuntivi per il profilo. Verificare che la crittografia sia attivata sul controller NetApp se si desidera disporre della funzionalità di crittografia o che possa causare problemi durante l'applicazione del profilo.
-
Rivedere il riepilogo e completare la creazione del profilo di funzionalità storage.
Creare e configurare il datastore vVol
Details
Una volta completati i prerequisiti, accedere a VCF come utente amministratore tramite il client vSphere, passando al dominio del carico di lavoro. Non utilizzare l'opzione di storage VMware integrata per creare vVol. Utilizzare invece lo strumento NetApp ONTAP per creare vVol. Di seguito vengono illustrate le procedure per la creazione e la configurazione dei vVol.
-
Il flusso di lavoro di creazione dei vVol può essere attivato dall'interfaccia degli strumenti ONTAP o dal cluster di dominio del carico di lavoro VCF.
-
Inserimento di informazioni generali per il datastore, tra cui destinazione, tipo, nome e protocollo del provisioning.
-
Selezionare il profilo di capacità di archiviazione personalizzato creato dal passaggio precedente, i
Storage system
, eStorage VM
, dove devono essere creati i vVol. -
Scegliere
Create new volumes
, immettere il nome e le dimensioni del volume e fare clic su ,ADD
quindiNEXT
per passare alla pagina di riepilogo. -
Fare clic
Finish
per creare il datastore vVol per il file binario Oracle. -
Creare un archivio dati per il registro del cluster Oracle o CRS.
Puoi aggiungere più di un volume a un datastore di vVol o estendere volumi di un datastore di vVol nei nodi di controller di ONTAP, per garantire performance o ridondanza. -
Crea un datastore per i dati Oracle. Idealmente, creare datastore separati su ciascun nodo di controller ONTAP e utilizzare Oracle ASM per suddividere i dati tra i nodi di controller per massimizzare l'utilizzo della capacità del cluster di storage ONTAP.
-
Creare un datastore per il log di Oracle. Data la natura sequenziale della scrittura del log di Oracle, è consigliabile posizionarlo su un singolo nodo di controller ONTAP.
-
Convalida i datastore Oracle dopo l'implementazione.
Crea una policy per lo storage delle macchine virtuali in base al profilo di capacità per lo storage
Details
Prima di eseguire il provisioning dello storage dal datastore vVol alla macchina virtuale del database, Aggiungi una policy storage delle macchine virtuali basata sul profilo di funzionalità dello storage creato dalla fase precedente. Di seguito sono riportate le procedure.
-
Dai menu del client vSphere, aprire
Policies and Profiles
ed evidenziareVM Storage Policies
. Fare clicCreate
per aprire ilVM Storage Policies
flusso di lavoro. -
Assegnare un nome al criterio di archiviazione della VM.
-
In
Datastore specific rules
, controllareEnable rules for "NetAPP.clustered.Data.ONTAP.VP.vvol" storage
-
Per le regole NetApp.Clustered.Data.ONTAP.VP.vvol
Placement
, selezionare il profilo personalizzato della capacità di storage creato dal passaggio precedente. -
Per le regole NetApp.Clustered.Data.ONTAP.VP.vvol
Replication
, scegliereDisabled
se i vVol non vengono replicati. -
La pagina di compatibilità dello storage visualizza gli archivi dati vVol compatibili nell'ambiente VCF.
-
Esaminare e terminare la creazione del criterio di archiviazione della VM.
-
Convalidare il criterio di archiviazione VM appena creato.
Allocare i dischi alle macchine virtuali RAC dai datastore vVol e configurare lo storage del DB
Details
Dal client vSphere, aggiungere i dischi desiderati dai datastore vVol alla VM del database modificando le impostazioni della VM. Quindi, accedere a VM per formattare e montare il disco binario per montare i punti /U01. Di seguito vengono illustrati i passaggi e le attività esatti.
-
Prima di allocare i dischi dal datastore alla macchina virtuale del database, accedere agli host VMware ESXi per convalidare e assicurarsi che il multi-writer sia abilitato (valore GBLAllowMW impostato su 1) a livello ESXi.
[root@vcf-wkld-esx01:~] which esxcli /bin/esxcli [root@vcf-wkld-esx01:~] esxcli system settings advanced list -o /VMFS3/GBLAllowMW Path: /VMFS3/GBLAllowMW Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Allow multi-writer GBLs. Host Specific: false Impact: none [root@vcf-wkld-esx01:~]
-
Aggiungere un nuovo controller SCSI dedicato da utilizzare con i dischi Oracle RAC. Disattiva la condivisione del bus SCSI.
-
Da RAC node 1 - ora01, aggiungere un disco a VM per l'archiviazione binaria Oracle senza condivisione.
-
Dal nodo RAC 1, aggiungere tre dischi alla VM per lo storage Oracle RAC CRS e abilitare la condivisione multi-writer.
-
A partire dal nodo RAC 1, Aggiungi due dischi ciascuno da ciascun datastore per i dati alla VM per lo storage condiviso dei dati Oracle.
-
A partire dal nodo RAC 1, aggiungere due dischi alla VM dal datastore dei registri per lo storage condiviso dei file di log Oracle.
-
A partire dal nodo RAC 2, aggiungere un disco alla macchina virtuale per lo storage binario Oracle senza condivisione.
-
Dal nodo RAC 2, aggiungere altri dischi condivisi selezionando
Existing Hard Disks
opzione e abilitare la condivisione multi-writer per ogni disco condiviso. -
Da VM
Edit Settings
,Advanced Parameters
, aggiungere attributodisk.enableuuid
con valoreTRUE
. La VM deve essere disattivata per aggiungere il parametro avanzato. L'impostazione di questa opzione consente a SnapCenter di identificare con precisione il vVol nell'ambiente in uso. Questa operazione deve essere eseguita su tutti i nodi RAC. -
A questo punto, riavviare la macchina virtuale. Accedere a VM come utente amministratore tramite ssh per esaminare le unità disco appena aggiunte.
[admin@ora01 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora01 ~]$ [admin@ora02 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora02 ~]$
-
Da ogni nodo RAC, partizionare il disco binario Oracle (/dev/sdb) come partizione primaria e singola, semplicemente accettando le scelte predefinite.
sudo fdisk /dev/sdb
-
Formattare i dischi partizionati come file system xfs.
sudo mkfs.xfs /dev/sdb1
-
Montare il disco sul punto di montaggio /U01.
[admin@ora01 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.7G 36K 7.7G 1% /dev tmpfs 7.8G 1.4G 6.4G 18% /dev/shm tmpfs 7.8G 34M 7.7G 1% /run tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup /dev/mapper/rhel-root 44G 29G 16G 66% / /dev/sda2 1014M 249M 766M 25% /boot /dev/sda1 599M 5.9M 593M 1% /boot/efi /dev/sdb1 50G 24G 27G 47% /u01 tmpfs 1.6G 12K 1.6G 1% /run/user/42 tmpfs 1.6G 0 1.6G 0% /run/user/54331 tmpfs 1.6G 4.0K 1.6G 1% /run/user/1000
-
Aggiungere i punti di montaggio a /etc/fstab in modo che le unità disco vengano montate al riavvio della VM.
sudo vi /etc/fstab
[oracle@ora_01 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Wed Oct 18 19:43:31 2023 # # Accessible filesystems, by reference, are maintained under '/dev/disk/'. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. # # After editing this file, run 'systemctl daemon-reload' to update systemd # units generated from this file. # /dev/mapper/rhel-root / xfs defaults 0 0 UUID=aff942c4-b224-4b62-807d-6a5c22f7b623 /boot xfs defaults 0 0 /dev/mapper/rhel-swap none swap defaults 0 0 /root/swapfile swap swap defaults 0 0 /dev/sdb1 /u01 xfs defaults 0 0
Distribuzione di Oracle RAC in VCF
Details
Si consiglia di utilizzare il toolkit di automazione NetApp per implementare Oracle RAC in VCF con vVol. Leggere attentamente le istruzioni incluse (Leggimi) e configurare i file dei parametri di distribuzione come il file di destinazione della distribuzione - hosts, il file delle variabili globali - vars/vars.yml e il file delle variabili del DB locale - host_vars/host_name.yml seguendo le istruzioni nel toolkit. Di seguito sono riportate le procedure passo passo.
-
Effettua l'accesso alla macchina virtuale del controller Ansible come utente amministrativo tramite ssh e clona una copia del toolkit di automazione per l'implementazione di Oracle RAC in VCF con vVol.
git clone https://bitbucket.ngage.netapp.com/scm/ns-bb/na_oracle_deploy_rac.git
-
Preparare i seguenti file di installazione Oracle nella cartella /tmp/archive sulla VM del database RAC node 1. La cartella dovrebbe consentire l'accesso a tutti gli utenti con l'autorizzazione 777.
LINUX.X64_193000_grid_home.zip p34762026_190000_Linux-x86-64.zip LINUX.X64_193000_db_home.zip p34765931_190000_Linux-x86-64.zip p6880880_190000_Linux-x86-64.zip
-
Configurare l'autenticazione ssh senza chiavi tra il controller Ansible e le macchine virtuali di database, che richiede di generare una coppia di chiavi ssh e copiare la chiave pubblica nel file delle macchine virtuali del database directory principale dell'utente amministrativo della cartella ssh authorized_keys.
ssh-keygen
-
Configurare i file dei parametri dell'host di destinazione definiti dall'utente. Di seguito è riportato un esempio di configurazione tipica per i file host di destinazione - host.
#Oracle hosts [oracle] ora01 ansible_host=10.61.180.21 ansible_ssh_private_key_file=ora01.pem ora02 ansible_host=10.61.180.22 ansible_ssh_private_key_file=ora02.pem
-
Configurare i file dei parametri specifici dell'host locale definiti dall'utente. Di seguito viene riportato un esempio di configurazione tipica per il file host_name.yml locale - ora01.yml.
# Binary lun ora_bin: /dev/sdb # Host DB configuration ins_sid: "{{ oracle_sid }}1" asm_sid: +ASM1
-
Configurare il file dei parametri globali definiti dall'utente. Di seguito è riportato un esempio di configurazione tipica per il file dei parametri globali - vars.yml
####################################################################### ### ONTAP env specific config variables ### ####################################################################### # ONTAP storage platform: on-prem, vmware-vvols ontap_platform: vmware-vvols # Prerequisite to create five vVolss in VMware vCenter # VCF_ORA_BINS - Oracle binary # VCF_ORA_CRS - Oracle cluster registry and vote # VCF_ORA_DAT1 - Oracle data on node1 # VCF_ORA_DAT2 - Oracle data on node2 # VCF_ORA_LOGS - Oracle logs on node1 or node2 # Oracle disks are added to VM from vVols: 1 binary disk, 3 CRS disks, 4 data disks, and 2 log disks. ###################################################################### ### Linux env specific config variables ### ###################################################################### redhat_sub_username: XXXXXXXX redhat_sub_password: "XXXXXXXX" # Networking configuration cluster_pub_ip: - {ip: 10.61.180.21, hostname: ora01} - {ip: 10.61.180.22, hostname: ora02} cluster_pri_ip: - {ip: 172.21.166.22, hostname: ora01-pri} - {ip: 172.21.166.24, hostname: ora02-pri} cluster_vip_ip: - {ip: 10.61.180.93, hostname: ora01-vip} - {ip: 10.61.180.94, hostname: ora02-vip} cluster_scan_name: ntap-scan cluster_scan_ip: - {ip: 10.61.180.90, hostname: ntap-scan} - {ip: 10.61.180.91, hostname: ntap-scan} - {ip: 10.61.180.92, hostname: ntap-scan} ##################################################################### ### DB env specific install and config variables ### ##################################################################### # Shared Oracle RAC storage ora_crs: - { device: /dev/sdc, name: ora_crs_01 } - { device: /dev/sdd, name: ora_crs_02 } - { device: /dev/sde, name: ora_crs_03 } ora_data: - { device: /dev/sdf, name: ora_data_01 } - { device: /dev/sdg, name: ora_data_02 } - { device: /dev/sdh, name: ora_data_03 } - { device: /dev/sdi, name: ora_data_04 } ora_logs: - { device: /dev/sdj, name: ora_logs_01 } - { device: /dev/sdk, name: ora_logs_02 } # Oracle RAC configuration oracle_sid: NTAP cluster_name: ntap-rac cluster_nodes: ora01,ora02 cluster_domain: solutions.netapp.com grid_cluster_nodes: ora01:ora01-vip:HUB,ora02:ora02-vip:HUB network_interface_list: ens33:10.61.180.0:1,ens34:172.21.166.0:5 memory_limit: 10240 # Set initial password for all required Oracle passwords. Change them after installation. initial_pwd_all: "XXXXXXXX"
-
Dal controller Ansible, alla home directory del toolkit di automazione clonata /home/admin/na_oracle_deploy_rac, esegui il playbook dei prerequisiti per configurare i prerequisiti ansible.
ansible-playbook -i hosts 1-ansible_requirements.yml
-
Esegui il manuale per la configurazione di Linux.
ansible-playbook -i hosts 2-linux_config.yml -u admin -e @vars/vars.yml
-
Esegui il manuale di implementazione di Oracle.
ansible-playbook -i hosts 4-oracle_config.yml -u admin -e @vars/vars.yml
-
In alternativa, tutti i playbook di cui sopra possono essere eseguiti anche da un singolo playbook.
ansible-playbook -i hosts 0-all_playbook.yml -u admin -e @vars/vars.yml
Convalida dell'implementazione di Oracle RAC in VCF
Details
In questa sezione vengono fornite informazioni dettagliate sulla convalida della distribuzione di Oracle RAC in VCF per garantire che tutte le risorse di Oracle RAC siano completamente distribuite, configurate e funzionino come previsto.
-
Accedere a RAC VM come utente amministrativo per convalidare l'infrastruttura Oracle Grid.
[admin@ora01 ~]$ sudo su [root@ora01 admin]# su - grid [grid@ora01 ~]$ crsctl stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.LISTENER.lsnr ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.chad ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.net1.network ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.ons ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.proxy_advm OFFLINE OFFLINE ora01 STABLE OFFLINE OFFLINE ora02 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE ora01 STABLE ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE ora02 STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.VOTE.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE ora01 Started,STABLE 2 ONLINE ONLINE ora02 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.cvu 1 ONLINE ONLINE ora02 STABLE ora.ntap.db 1 ONLINE ONLINE ora01 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE 2 ONLINE ONLINE ora02 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE ora.ora01.vip 1 ONLINE ONLINE ora01 STABLE ora.ora02.vip 1 ONLINE ONLINE ora02 STABLE ora.qosmserver 1 ONLINE ONLINE ora02 STABLE ora.scan1.vip 1 ONLINE ONLINE ora01 STABLE ora.scan2.vip 1 ONLINE ONLINE ora02 STABLE ora.scan3.vip 1 ONLINE ONLINE ora02 STABLE -------------------------------------------------------------------------------- [grid@ora01 ~]$
-
Convalidare Oracle ASM.
[grid@ora01 ~]$ asmcmd ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 1048576 163840 163723 0 163723 0 N DATA/ MOUNTED EXTERN N 512 512 4096 1048576 163840 163729 0 163729 0 N RECO/ MOUNTED NORMAL N 512 512 4096 4194304 30720 29732 10240 9746 0 Y VOTE/ ASMCMD> lsdsk Path AFD:ORA_CRS_01 AFD:ORA_CRS_02 AFD:ORA_CRS_03 AFD:ORA_DATA_01 AFD:ORA_DATA_02 AFD:ORA_DATA_03 AFD:ORA_DATA_04 AFD:ORA_LOGS_01 AFD:ORA_LOGS_02 ASMCMD> afd_state ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'ora01' ASMCMD>
-
Elencare i nodi del cluster.
[grid@ora01 ~]$ olsnodes ora01 ora02
-
Convalida OCR/VOTAZIONE.
[grid@ora01 ~]$ ocrcheck Status of Oracle Cluster Registry is as follows : Version : 4 Total space (kbytes) : 901284 Used space (kbytes) : 84536 Available space (kbytes) : 816748 ID : 118267044 Device/File Name : +VOTE Device/File integrity check succeeded Device/File not configured Device/File not configured Device/File not configured Device/File not configured Cluster registry integrity check succeeded Logical corruption check bypassed due to non-privileged user [grid@ora01 ~]$ crsctl query css votedisk ## STATE File Universal Id File Name Disk group -- ----- ----------------- --------- --------- 1. ONLINE 1ca3fcb0bd354f8ebf00ac97d70e0824 (AFD:ORA_CRS_01) [VOTE] 2. ONLINE 708f84d505a54f58bf41124e09a5115a (AFD:ORA_CRS_02) [VOTE] 3. ONLINE 133ecfcedb684fe6bfdc1899b90f91c7 (AFD:ORA_CRS_03) [VOTE] Located 3 voting disk(s). [grid@ora01 ~]$
-
Convalidare Oracle listener.
[grid@ora01 ~]$ lsnrctl status listener LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 10:21:38 Copyright (c) 1991, 2022, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER))) STATUS of the LISTENER ------------------------ Alias LISTENER Version TNSLSNR for Linux: Version 19.0.0.0.0 - Production Start Date 14-AUG-2024 16:24:48 Uptime 1 days 17 hr. 56 min. 49 sec Trace Level off Security ON: Local OS Authentication SNMP OFF Listener Parameter File /u01/app/grid/19.0.0/network/admin/listener.ora Listener Log File /u01/app/oracle/diag/tnslsnr/ora01/listener/alert/log.xml Listening Endpoints Summary... (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=LISTENER))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.21)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.93)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=ora01.solutions.netapp.com)(PORT=5500))(Security=(my_wallet_directory=/u01/app/oracle2/product/19.0.0/NTAP/admin/NTAP/xdb_wallet))(Presentation=HTTP)(Session=RAW)) Services Summary... Service "+ASM" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_DATA" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_RECO" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_VOTE" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "1fbf0aaa1d13cb5ae06315b43d0ab734.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf142e7db2d090e06315b43d0a6894.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf203c3a46d7bae06315b43d0ae055.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAP.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAPXDB.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb1.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb2.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb3.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... The command completed successfully [grid@ora01 ~]$ [grid@ora01 ~]$ tnsping ntap-scan TNS Ping Utility for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 12:07:58 Copyright (c) 1997, 2022, Oracle. All rights reserved. Used parameter files: /u01/app/grid/19.0.0/network/admin/sqlnet.ora Used EZCONNECT adapter to resolve the alias Attempting to contact (DESCRIPTION=(CONNECT_DATA=(SERVICE_NAME=))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.90)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.91)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.92)(PORT=1521))) OK (10 msec)
-
Passare all'utente oracle per convalidare il database in cluster.
[oracle@ora02 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Fri Aug 16 11:32:23 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode, log_mode from v$database; NAME OPEN_MODE LOG_MODE --------- -------------------- ------------ NTAP READ WRITE ARCHIVELOG SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> select name from v$datafile 2 union 3 select name from v$controlfile 4 union 5 select member from v$logfile; NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/sysaux.275.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/system.274.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undo_2.277.1177083853 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undotbs1.273.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/users.278.1177083901 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/sysaux.281.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/system.280.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undo_2.283.1177084061 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undotbs1.279.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/users.284.1177084103 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/sysaux.287.1177084105 NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/system.286.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undo_2.289.1177084123 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undotbs1.285.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/users.290.1177084125 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.266.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.265.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.267.1177081837 +DATA/NTAP/CONTROLFILE/current.261.1177080403 +DATA/NTAP/DATAFILE/sysaux.258.1177080245 +DATA/NTAP/DATAFILE/system.257.1177080129 +DATA/NTAP/DATAFILE/undotbs1.259.1177080311 NAME -------------------------------------------------------------------------------- +DATA/NTAP/DATAFILE/undotbs2.269.1177082203 +DATA/NTAP/DATAFILE/users.260.1177080311 +DATA/NTAP/ONLINELOG/group_1.262.1177080427 +DATA/NTAP/ONLINELOG/group_2.263.1177080427 +DATA/NTAP/ONLINELOG/group_3.270.1177083297 +DATA/NTAP/ONLINELOG/group_4.271.1177083313 +RECO/NTAP/CONTROLFILE/current.256.1177080403 +RECO/NTAP/ONLINELOG/group_1.257.1177080427 +RECO/NTAP/ONLINELOG/group_2.258.1177080427 +RECO/NTAP/ONLINELOG/group_3.259.1177083313 +RECO/NTAP/ONLINELOG/group_4.260.1177083315 33 rows selected.
-
In alternativa, accedi a EM Express per validare il database RAC dopo aver completato con successo il playbook.
Backup e ripristino del database Oracle RAC in VCF con SnapCenter
Impostazione SnapCenter
Details
SnapCenter versione 6 presenta numerosi miglioramenti delle funzionalità rispetto alla versione 5, compreso il supporto per il datastore vVol VMware. SnapCenter si affida a un plug-in lato host su una macchina virtuale di database per eseguire attività di gestione della protezione dei dati integrate con l'applicazione. Per informazioni dettagliate sul plug-in NetApp SnapCenter per Oracle, consultare la presente documentazione "Cosa puoi fare con il plug-in per database Oracle". Di seguito sono riportati i passaggi di alto livello per configurare SnapCenter versione 6 per il backup e il ripristino del database Oracle RAC in VCF.
-
Scaricare la versione 6 del software SnapCenter dal sito di supporto NetApp: "Download del supporto NetApp".
-
Accedere a SnapCenter che ospita Windows VM come amministratore. Installare i prerequisiti per SnapCenter 6,0.
-
Come amministratore, installare la versione più recente di java JDK da "Scarica Java per le applicazioni desktop".
Se il server Windows è distribuito in un ambiente di dominio, aggiungere un utente di dominio al gruppo di amministratori locali del server SnapCenter ed eseguire l'installazione di SnapCenter con l'utente di dominio. -
Accedere all'interfaccia utente di SnapCenter tramite la porta HTTPS 8846 come utente di installazione per configurare SnapCenter per Oracle.
-
Consulta il menu per aggiornarti
Get Started
su SnapCenter se sei un nuovo utente. -
Aggiornare
Hypervisor Settings
in impostazioni globali. -
Aggiunta del cluster di storage ONTAP a
Storage Systems
con IP di gestione del cluster e autenticazione tramite ID utente dell'amministratore del cluster. -
Aggiunta di macchine virtuali di database Oracle RAC e del plug-in vSphere
Credential
VM per l'accesso SnapCenter a DB VM e plug-in vSphere VM. La credenziale deve avere il privilegio sudo sulle VM Linux. È possibile creare credenziali diverse per diversi ID utente di gestione per le VM. L'ID utente di gestione VM del plugin vShpere viene definito quando la VM del plugin viene distribuita in vCenter. -
Aggiungere la macchina virtuale del database Oracle RAC in VCF a
Hosts
con la credenziale DB VM creata nel passaggio precedente. -
Allo stesso modo, aggiungere la VM del plug-in VMware NetApp a
Hosts
con la credenziale VM del plug-in vSphere creata nel passaggio precedente. -
Infine, dopo aver rilevato il database Oracle su DB VM, torna alla
Settings
-Policies
creazione delle policy di backup dei database Oracle. Idealmente, creare un criterio di backup del registro di archivio separato per consentire intervalli di backup più frequenti per ridurre al minimo la perdita di dati in caso di errore.
|
Assicurarsi che il nome del server SnapCenter possa essere risolto all'indirizzo IP dal DB VM e dal plugin vSphere VM. Allo stesso modo, il nome della macchina virtuale DB e il nome della macchina virtuale del plugin vSphere possono essere risolti all'indirizzo IP dal server SnapCenter. |
Backup del database
Details
SnapCenter sfrutta lo snapshot del volume ONTAP per backup, ripristino o clone di database più veloci rispetto alla metodologia tradizionale basata su RMAN. Le snapshot sono coerenti con l'applicazione, poiché il database viene impostato in modalità di backup Oracle prima di una snapshot.
-
Dal
Resources
Tutti i database sulla VM vengono rilevati automaticamente dopo l'aggiunta della VM a SnapCenter. Inizialmente, lo stato del database viene visualizzato comeNot protected
. -
Fare clic sul database per avviare un flusso di lavoro per abilitare la protezione del database.
-
Applicare i criteri di backup e, se necessario, impostare la pianificazione.
-
Impostare la notifica del processo di backup, se necessario.
-
Rivedere il riepilogo e terminare per abilitare la protezione del database.
-
Il processo di backup su richiesta può essere attivato facendo clic su
Back up Now
. -
Il processo di backup può essere monitorato in
Monitor
facendo clic sul processo in esecuzione. -
Fare clic sul database per esaminare i set di backup completati per il database RAC.
Ripristino e ripristino del database
Details
SnapCenter fornisce diverse opzioni di ripristino e ripristino per il database Oracle RAC dal backup snapshot. In questo esempio, si dimostra di eseguire il ripristino da un backup snapshot precedente, quindi eseguire il rollback del database all'ultimo registro disponibile.
-
Innanzitutto, eseguire un backup snapshot. Quindi, creare una tabella di test e inserire una riga nella tabella per convalidare il database recuperato dall'immagine snapshot prima che la creazione della tabella di test riprenda la tabella di test.
[oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 10:31:12 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> create table test (id integer, dt timestamp, event varchar(100)); Table created. SQL> insert into test values (1, sysdate, 'validate SnapCenter rac database restore on VMware vVols storage'); 1 row created. SQL> commit; Commit complete. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL>
-
Dalla scheda SnapCenter
Resources
, aprire la pagina della topologia di backup del database NTAP1. Evidenziare il set di backup dei dati snapshot creato 3 giorni fa. Fare clic suRestore
per avviare il flusso di lavoro di ripristino. -
Scegliere l'ambito di ripristino.
-
Scegliere ambito di ripristino a
All Logs
. -
Specificare eventuali pre-script opzionali da eseguire.
-
Specificare qualsiasi after-script opzionale da eseguire.
-
Se lo si desidera, inviare un rapporto lavoro.
-
Rivedere il riepilogo e fare clic su
Finish
per avviare il ripristino e il recupero. -
Da RAC DB VM ora01, convalidare che un ripristino/ripristino riuscito del database sia stato eseguito correttamente e abbia recuperato la tabella di test creata 3 giorni dopo.
[root@ora01 ~]# su - oracle [oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 11:51:15 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode from v$database; NAME OPEN_MODE --------- -------------------- NTAP READ WRITE SQL> sho pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL> select current_timestamp from dual; CURRENT_TIMESTAMP --------------------------------------------------------------------------- 19-AUG-24 11.55.20.079686 AM -04:00 SQL> exit Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0
La dimostrazione del backup, del ripristino e del ripristino di SnapCenter del database RAC Oracle in VCF con vVol viene completata.
Dove trovare ulteriori informazioni
Per ulteriori informazioni sulle informazioni descritte in questo documento, consultare i seguenti documenti e/o siti Web:
-
VMware Cloud Foundation
-
Soluzioni per database aziendali NetApp
-
Software SnapCenter 6,0
-
Tool ONTAP per la documentazione di VMware vSphere