TR-4997: Implantação e proteção do Oracle RAC no VCF com vVols
NetApp
A solução fornece uma visão geral e detalhes sobre a implantação e proteção do Oracle no VMware Cloud Foundation (VCF) com o vSphere Virtual volumes (vVols) como storage primário de banco de dados e banco de dados Oracle na configuração Real Application clusters (RAC).
Finalidade
O VMware vSphere Virtual volumes (vVols) é uma estrutura de gerenciamento e integração SAN/nas que expõe discos virtuais como objetos de storage nativos e permite operações baseadas em array no nível de disco virtual. Em outras palavras, os vVols tornam os dispositivos SAN/nas com reconhecimento de VM e desbloqueiam a capacidade de aproveitar os serviços de dados baseados em array com uma abordagem centrada em VM na granularidade de um único disco virtual. O vVols permite que os clientes aproveitem os recursos exclusivos de seus investimentos em storage atuais e façam a transição sem interrupções para um modelo operacional mais simples e eficiente, otimizado para ambientes virtuais que funcionam em todos os tipos de storage.
"TR-4996"No , demonstramos implantação e proteção de banco de dados Oracle de instância única no VCF com vVols. Essa documentação demonstra a implantação e a proteção de um banco de dados Oracle RAC em um ambiente VMware Cloud Foundation com vVols como storage primário de banco de dados em um cluster de storage NetApp ONTAP. O banco de dados Oracle RAC é configurado como se fosse implantado em sistemas de arquivos locais em um sistema de armazenamento local. Este relatório técnico se concentra em etapas na criação de vVols no VCF para implantação do Oracle RAC. Também demonstramos a implantação do banco de dados Oracle RAC no VCF em vVols com o kit de ferramentas de automação NetApp e a proteção do banco de dados RAC com a ferramenta NetApp SnapCenter UI.
Esta solução aborda os seguintes casos de uso:
-
Implantação de banco de dados do Oracle RAC no VCF com o armazenamento de dados vVols no NetApp ONTAP AFF como armazenamento de banco de dados primário
-
Backup e restauração de banco de dados Oracle no VCF com o armazenamento de dados vVols usando a ferramenta de IU do NetApp SnapCenter
Público-alvo
Esta solução destina-se às seguintes pessoas:
-
Um DBA que gostaria de implantar o Oracle RAC no VCF com o armazenamento de dados vVols no NetApp ONTAP AFF como armazenamento de banco de dados primário
-
Um arquiteto de solução de banco de dados que gostaria de testar cargas de trabalho do Oracle RAC no VCF com o armazenamento de dados vVols no storage NetApp ONTAP AFF
-
Um administrador de storage que gostaria de implantar e gerenciar um banco de dados do Oracle RAC implantado no VCF com o armazenamento de dados vVols no storage NetApp ONTAP AFF
-
Proprietário de um aplicativo que gostaria de montar um banco de dados Oracle RAC no VCF com o datastore vVol
Ambiente de teste e validação de soluções
O teste e a validação dessa solução foram realizados em um ambiente de laboratório no VCF com armazenamento de dados vVols no storage NetApp ONTAP AFF que pode não corresponder ao ambiente de implantação final. Para obter mais informações, consulte a Fatores-chave para consideração da implantaçãoseção .
Arquitetura
Componentes de hardware e software
Hardware |
||
NetApp ONTAP AFF A300 |
Versão 9.14.1P4 |
DS224 gaveta com 24 discos NVMe, capacidade total de 35,2 TIB |
Cluster do VMware vSphere |
Versão 8,02 |
12 CPU(s) x Intel® Xeon® Gold 5218 CPU a 2,30GHz GHz, 8 nós (gerenciamento de 4 TB e domínios de carga de trabalho de 4 TB) |
Software |
||
RedHat Linux |
RHEL-8,6, kernel 4.18.0-372,9.1.el8.x86_64 |
Hospedando servidores Oracle DB, implantou a assinatura RedHat para teste |
Windows Server |
2022 Standard, 10.0.20348 build 20348 |
Hosting SnapCenter Server |
CentOS Linux |
CentOS Linux versão 8.5.2111 |
Hospedagem do controlador Ansible |
Oracle Grid Infrastructure |
Versão 19,18 |
Aplicado patch RU p34762026_190000_Linux-x86-64.zip |
Banco de dados Oracle |
Versão 19,18 |
Aplicado patch RU p34765931_190000_Linux-x86-64.zip |
Oracle OPatch |
Versão 12.2.0.1.36 |
Último patch p6880880_190000_Linux-x86-64.zip |
Servidor SnapCenter |
Versão 6,0 |
Implantação de grupo de trabalho |
Plug-in do SnapCenter para VMware vSphere |
Versão 6,0 |
Implantado como uma VM OVA no cluster vSphere |
Ferramenta ONTAP para VMware vSphere |
Versão 9,13 |
Implantado como uma VM OVA no cluster vSphere |
Abra o JDK |
Versão Java-11-openjdk-11,0.23,0.9-3.el8.x86_64 |
Requisito de plug-in do SnapCenter em VMs de banco de dados |
Configuração de banco de dados Oracle RAC no VCF
Nó RAC |
Base de dados |
DB Storage |
ora01 |
NTAP (NTAP_pdb1, NTAP_pdb2, NTAP_pdb3) |
ARMAZENAMENTOS DE DADOS VVOLS (VCF_ORA_BINS, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) NO NetApp ONTAP AFF A300 |
ora02 |
NTAP (NTAP_pdb1, NTAP_pdb2, NTAP_pdb3) |
ARMAZENAMENTOS DE DADOS VVOLS (VCF_ORA_BINS, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) NO NetApp ONTAP AFF A300 |
Fatores-chave para consideração da implantação
-
Protocolo para vVols para conetividade de cluster ONTAP. NFS ou iSCSI são boas opções. Os níveis de desempenho são equivalentes. Nesta demonstração da solução, usamos o iSCSI como um protocolo de armazenamento para conetividade vVols ao cluster de armazenamento ONTAP sublinhado. Se a infraestrutura do VCF for compatível com os protocolos FC/FCoE, NVMe/FC também serão compatíveis com armazenamentos de dados vVols no NetApp ONTAP.
-
* Layout de armazenamento Oracle em datastores vVols.* Em nossos testes e validações, implantamos cinco datastores vVols para Oracle binary, Oracle cluster registry/vote, Oracle data e Oracle log files. É uma boa prática separar diferentes tipos de arquivos Oracle em seus próprios datastores para que o backup, a recuperação ou o clone do banco de dados possam ser gerenciados e executados com facilidade. Crie vVols dedicados para bancos de dados grandes e compartilhe vVols para bancos de dados menores ou bancos de dados com perfil QoS semelhante.
-
Redundância de armazenamento Oracle. Use
Normal Redundancy
para arquivos críticos de Registro/voto de cluster do Oracle RAC, de modo que três arquivos de votação em três grupos de falha de disco ASM forneçam proteção de cluster ideal e o Registro de cluster é espelhado entre os grupos de falha de disco ASM.External Redundancy`Use para arquivos binários, dados e log Oracle para otimizar a utilização do storage. O ONTAP RAID-DP sublinhado fornece proteção de dados quando `External Redundancy
é empregado. -
Credencial para autenticação de armazenamento ONTAP. Use apenas credenciais no nível do cluster do ONTAP para a autenticação do cluster de storage do ONTAP, incluindo a conectividade SnapCenter ao cluster de storage do ONTAP ou a conectividade da ferramenta ONTAP ao cluster de storage do ONTAP.
-
Provisione o storage do vVols datastore para a VM do banco de dados. Adicione apenas um disco de cada vez à VM do banco de dados a partir do datastore vVols. A adição de vários discos de armazenamentos de dados vVols ao mesmo tempo não é suportada neste momento.
-
Proteção de banco de dados. O NetApp fornece um pacote de software SnapCenter para backup de banco de dados, restauração com uma interface de usuário amigável. A NetApp recomenda a implementação dessa ferramenta de gerenciamento para obter backup rápido de snapshot, restauração e recuperação rápidas de banco de dados.
Implantação de solução
As seções a seguir fornecem procedimentos passo a passo para a implantação do banco de dados Oracle 19Ci no VCF com armazenamentos de dados vVols no armazenamento NetApp ONTAP em uma configuração do Oracle RAC.
Pré-requisitos para implantação
Details
A implantação requer os seguintes pré-requisitos.
-
Um VMware VCF foi configurado. Para obter informações ou instruções sobre como criar um VCF, consulte a documentação da VMware "Documentação do VMware Cloud Foundation".
-
Provisione três VMs Linux, duas VMs para o cluster de banco de dados Oracle RAC e uma VM para o controlador Ansible no domínio de workload do VCF. Provisione uma VM do servidor Windows para executar o servidor NetApp SnapCenter. Para obter informações sobre como configurar o controlador Ansible para implantação automatizada de banco de dados Oracle, consulte os seguintes recursos "Primeiros passos com a automação da solução NetApp".
-
As VMs de banco de dados do Oracle RAC devem ter provisionado pelo menos duas interfaces de rede - uma para interconexão privada do Oracle RAC e outra para aplicativos ou tráfego de dados públicos.
-
O plugin SnapCenter versão 6,0 para VMware vSphere foi implantado no VCF. Consulte os seguintes recursos para a implantação do plugin: "Plug-in do SnapCenter para documentação do VMware vSphere".
-
A ferramenta ONTAP para VMware vSphere foi implantada no VCF. Consulte os seguintes recursos para obter a ferramenta ONTAP para implantação do VMware vSphere: "Ferramentas do ONTAP para documentação do VMware vSphere"
Certifique-se de ter alocado pelo MENOS 50g GB no volume raiz da VM Oracle para ter espaço suficiente para preparar os arquivos de instalação Oracle. |
Criar perfil de capacidade de armazenamento
Details
Primeiro, crie um perfil de capacidade de armazenamento personalizado para o armazenamento ONTAP sublinhado que hospeda o armazenamento de dados vVols.
-
A partir dos atalhos do cliente vSphere, abra a ferramenta NetApp ONTAP. Certifique-se de que o cluster de armazenamento ONTAP foi adicionado
Storage Systems
como parte da implantação de ferramentas do ONTAP. -
Clique em
Storage capability profile
para adicionar um perfil personalizado para Oracle. Nomeie o perfil e adicione uma breve descrição. -
Escolher a categoria do controlador de storage: Performance, capacidade ou híbrido.
-
Selecione o protocolo.
-
Defina uma política de QoS, se desejado.
-
Atributos de armazenamento adicionais para o perfil. Certifique-se de que a criptografia esteja habilitada no controlador NetApp se você quiser ter o recurso de criptografia ou isso pode causar problemas ao aplicar o perfil.
-
Reveja o resumo e termine a criação do perfil de capacidade de armazenamento.
Crie e configure o armazenamento de dados vVols
Details
Com os pré-requisitos concluídos, faça login no VCF como um usuário admin via cliente vSphere, navegando para o domínio da carga de trabalho. Não use a opção de armazenamento VMware incorporada para criar vVols. Em vez disso, use a ferramenta NetApp ONTAP para criar vVols. A seguir demonstra os procedimentos para criar e configurar vVols.
-
O fluxo de trabalho de criação do vVols pode ser acionado a partir da interface da ferramenta ONTAP ou do cluster de domínio da carga de trabalho do VCF.
-
Preenchimento de informações gerais para datastore, incluindo destino, tipo, nome e protocolo de provisionamento.
-
Selecione o perfil de capacidade de armazenamento personalizado criado na etapa anterior, os
Storage system
eStorage VM
, em que vVols devem ser criados. -
Escolha
Create new volumes
, preencha o nome e o tamanho do volume e clique emADD
eNEXT
para ir para a página de resumo. -
Clique
Finish
para criar o datastore vVols para o Oracle binary. -
Crie datastore para o Registro de cluster Oracle ou CRS.
Você pode adicionar mais de um volume a um datastore vVols ou expandir volumes de um datastore vVols nos nós de controladora ONTAP para obter desempenho ou redundância. -
Crie datastore para dados Oracle. Idealmente, crie armazenamentos de dados separados em cada nó do controlador ONTAP e use o Oracle ASM para distribuir dados entre nós do controlador, a fim de maximizar a utilização da capacidade do cluster de storage do ONTAP.
-
Crie datastore para o log Oracle. Dada a natureza sequencial da gravação de logs do Oracle, é bom colocá-lo em um único nó de controlador ONTAP.
-
Valide os armazenamentos de dados Oracle após a implantação.
Criar política de storage de VM com base no perfil de capacidade de storage
Details
Antes de provisionar o storage do vVols datastore para a VM do banco de dados, adicione uma política de armazenamento de VM com base no perfil de capacidade de armazenamento criado na etapa anterior. A seguir estão os procedimentos.
-
Nos menus do cliente vSphere, abra
Policies and Profiles
e realceVM Storage Policies
. CliqueCreate
para abrirVM Storage Policies
o fluxo de trabalho. -
Nomeie a política de armazenamento de VM.
-
Em
Datastore specific rules
, verifiqueEnable rules for "NetAPP.clustered.Data.ONTAP.VP.vvol" storage
-
Para regras NetApp.Clustered.Data.ONTAP.VP.vvol
Placement
, selecione o perfil de capacidade de armazenamento personalizado criado na etapa anterior. -
Para regras NetApp.Clustered.Data.ONTAP.VP.vvol
Replication
, escolhaDisabled
se vVols não são replicados. -
A página de compatibilidade de storage exibe os armazenamentos de dados vVols compatíveis no ambiente VCF.
-
Revise e termine para criar a Política de armazenamento de VM.
-
Valide a Política de armazenamento de VM recém-criada.
Alocar discos para VMs RAC a partir de armazenamentos de dados vVols e configurar o armazenamento de banco de dados
Details
A partir do cliente vSphere, adicione os discos desejados dos datastores vVols à VM do banco de dados editando as configurações da VM. Em seguida, faça login na VM para formatar e montar o disco binário para montar pontos /u01. O seguinte demonstra as etapas e tarefas exatas.
-
Antes de alocar discos do datastore para a VM do banco de dados, faça login nos hosts do VMware ESXi para validar e garantir que o multi-escritor esteja habilitado (valor GBLAllowMW definido como 1) no nível ESXi.
[root@vcf-wkld-esx01:~] which esxcli /bin/esxcli [root@vcf-wkld-esx01:~] esxcli system settings advanced list -o /VMFS3/GBLAllowMW Path: /VMFS3/GBLAllowMW Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Allow multi-writer GBLs. Host Specific: false Impact: none [root@vcf-wkld-esx01:~]
-
Adicione um novo controlador SCSI dedicado para uso com discos Oracle RAC. Desativar a partilha de bus SCSI.
-
Do nó RAC 1 - ora01, adicione um disco à VM para armazenamento binário Oracle sem compartilhamento.
-
A partir do nó RAC 1, adicione três discos à VM para armazenamento Oracle RAC CRS e habilite o compartilhamento de vários gravadores.
-
A partir do nó RAC 1, adicione dois discos cada de cada datastore para dados à VM para armazenamento de dados Oracle compartilhado.
-
A partir do nó RAC 1, adicione dois discos à VM do datastore de logs para armazenamento compartilhado de arquivos de log Oracle.
-
A partir do nó RAC 2, adicione um disco à VM para armazenamento binário Oracle sem compartilhamento.
-
A partir do nó RAC 2, adicione outros discos compartilhados selecionando
Existing Hard Disks
a opção e ative o compartilhamento de vários gravadores para cada disco compartilhado. -
De VM
Edit Settings
,Advanced Parameters
, adicione Atributodisk.enableuuid
com valorTRUE
. A VM precisa estar inativa para adicionar o parâmetro avançado. A definição desta opção permite que a SnapCenter identifique com precisão as evoluções no seu ambiente. Isso deve ser feito em todos os nós RAC. -
Agora, reinicie a VM. Faça login na VM como um usuário admin via ssh para revisar as unidades de disco recém-adicionadas.
[admin@ora01 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora01 ~]$ [admin@ora02 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora02 ~]$
-
A partir de cada nó RAC, particione o disco binário Oracle (/dev/sdb) como uma partição primária e única, simplesmente aceitando as opções padrão.
sudo fdisk /dev/sdb
-
Formate os discos particionados como sistemas de arquivos xfs.
sudo mkfs.xfs /dev/sdb1
-
Monte o disco no ponto de montagem /u01.
[admin@ora01 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.7G 36K 7.7G 1% /dev tmpfs 7.8G 1.4G 6.4G 18% /dev/shm tmpfs 7.8G 34M 7.7G 1% /run tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup /dev/mapper/rhel-root 44G 29G 16G 66% / /dev/sda2 1014M 249M 766M 25% /boot /dev/sda1 599M 5.9M 593M 1% /boot/efi /dev/sdb1 50G 24G 27G 47% /u01 tmpfs 1.6G 12K 1.6G 1% /run/user/42 tmpfs 1.6G 0 1.6G 0% /run/user/54331 tmpfs 1.6G 4.0K 1.6G 1% /run/user/1000
-
Adicione pontos de montagem ao /etc/fstab para que as unidades de disco sejam montadas quando a VM for reinicializada.
sudo vi /etc/fstab
[oracle@ora_01 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Wed Oct 18 19:43:31 2023 # # Accessible filesystems, by reference, are maintained under '/dev/disk/'. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. # # After editing this file, run 'systemctl daemon-reload' to update systemd # units generated from this file. # /dev/mapper/rhel-root / xfs defaults 0 0 UUID=aff942c4-b224-4b62-807d-6a5c22f7b623 /boot xfs defaults 0 0 /dev/mapper/rhel-swap none swap defaults 0 0 /root/swapfile swap swap defaults 0 0 /dev/sdb1 /u01 xfs defaults 0 0
Implantação do Oracle RAC no VCF
Details
Recomenda-se utilizar o kit de ferramentas de automação NetApp para implantar o Oracle RAC no VCF com vVols. Leia atentamente a instrução incluída (readme) e configure arquivos de parâmetros de implantação, como arquivo de destino de implantação - hosts, arquivo de variáveis globais - vars/vars.yml e arquivo de variáveis VM DB local - host_vars/host_name.yml seguindo as instruções no kit de ferramentas. A seguir estão os procedimentos passo a passo.
-
Faça login na VM do controlador Ansible como usuário admin via ssh e clone uma cópia do kit de ferramentas de automação para implantação do Oracle RAC no VCF com vVols.
git clone https://bitbucket.ngage.netapp.com/scm/ns-bb/na_oracle_deploy_rac.git
-
Coloque os seguintes arquivos de instalação do Oracle na pasta /tmp/archive na VM do banco de dados do nó RAC 1. A pasta deve permitir todo o acesso do usuário com permissão 777.
LINUX.X64_193000_grid_home.zip p34762026_190000_Linux-x86-64.zip LINUX.X64_193000_db_home.zip p34765931_190000_Linux-x86-64.zip p6880880_190000_Linux-x86-64.zip
-
Configure a autenticação sem chave ssh entre o controlador Ansible e as VMs do banco de dados, o que requer gerar um par de chaves ssh e copiar a chave pública para o arquivo de diretório raiz do usuário admin do banco de dados. Ssh folder authorized_keys file.
ssh-keygen
-
Configure os arquivos de parâmetros do host de destino definidos pelo usuário. A seguir está um exemplo de configuração típica para o arquivo hosts de destino - hosts.
#Oracle hosts [oracle] ora01 ansible_host=10.61.180.21 ansible_ssh_private_key_file=ora01.pem ora02 ansible_host=10.61.180.22 ansible_ssh_private_key_file=ora02.pem
-
Configure os arquivos de parâmetros específicos do host local definidos pelo usuário. A seguir está um exemplo de configuração típica para o arquivo host_name.yml local - ora01.yml.
# Binary lun ora_bin: /dev/sdb # Host DB configuration ins_sid: "{{ oracle_sid }}1" asm_sid: +ASM1
-
Configure o arquivo de parâmetros globais definidos pelo usuário. A seguir está um exemplo de configuração típica para o arquivo de parâmetros globais - vars.yml
####################################################################### ### ONTAP env specific config variables ### ####################################################################### # ONTAP storage platform: on-prem, vmware-vvols ontap_platform: vmware-vvols # Prerequisite to create five vVolss in VMware vCenter # VCF_ORA_BINS - Oracle binary # VCF_ORA_CRS - Oracle cluster registry and vote # VCF_ORA_DAT1 - Oracle data on node1 # VCF_ORA_DAT2 - Oracle data on node2 # VCF_ORA_LOGS - Oracle logs on node1 or node2 # Oracle disks are added to VM from vVols: 1 binary disk, 3 CRS disks, 4 data disks, and 2 log disks. ###################################################################### ### Linux env specific config variables ### ###################################################################### redhat_sub_username: XXXXXXXX redhat_sub_password: "XXXXXXXX" # Networking configuration cluster_pub_ip: - {ip: 10.61.180.21, hostname: ora01} - {ip: 10.61.180.22, hostname: ora02} cluster_pri_ip: - {ip: 172.21.166.22, hostname: ora01-pri} - {ip: 172.21.166.24, hostname: ora02-pri} cluster_vip_ip: - {ip: 10.61.180.93, hostname: ora01-vip} - {ip: 10.61.180.94, hostname: ora02-vip} cluster_scan_name: ntap-scan cluster_scan_ip: - {ip: 10.61.180.90, hostname: ntap-scan} - {ip: 10.61.180.91, hostname: ntap-scan} - {ip: 10.61.180.92, hostname: ntap-scan} ##################################################################### ### DB env specific install and config variables ### ##################################################################### # Shared Oracle RAC storage ora_crs: - { device: /dev/sdc, name: ora_crs_01 } - { device: /dev/sdd, name: ora_crs_02 } - { device: /dev/sde, name: ora_crs_03 } ora_data: - { device: /dev/sdf, name: ora_data_01 } - { device: /dev/sdg, name: ora_data_02 } - { device: /dev/sdh, name: ora_data_03 } - { device: /dev/sdi, name: ora_data_04 } ora_logs: - { device: /dev/sdj, name: ora_logs_01 } - { device: /dev/sdk, name: ora_logs_02 } # Oracle RAC configuration oracle_sid: NTAP cluster_name: ntap-rac cluster_nodes: ora01,ora02 cluster_domain: solutions.netapp.com grid_cluster_nodes: ora01:ora01-vip:HUB,ora02:ora02-vip:HUB network_interface_list: ens33:10.61.180.0:1,ens34:172.21.166.0:5 memory_limit: 10240 # Set initial password for all required Oracle passwords. Change them after installation. initial_pwd_all: "XXXXXXXX"
-
A partir do controlador Ansible, clonado diretório home do kit de ferramentas de automação /home/admin/na_oracle_deploy_rac, execute pré-requisitos para configurar pré-requisitos.
ansible-playbook -i hosts 1-ansible_requirements.yml
-
Execute o manual de configuração do Linux.
ansible-playbook -i hosts 2-linux_config.yml -u admin -e @vars/vars.yml
-
Execute o manual de estratégia de implantação do Oracle.
ansible-playbook -i hosts 4-oracle_config.yml -u admin -e @vars/vars.yml
-
Opcionalmente, todos os playbooks acima podem ser executados a partir de uma única execução de playbooks também.
ansible-playbook -i hosts 0-all_playbook.yml -u admin -e @vars/vars.yml
Validação da implantação do Oracle RAC no VCF
Details
Esta seção fornece detalhes sobre a validação da implantação do Oracle RAC no VCF para garantir que todos os recursos do Oracle RAC estejam totalmente implantados, configurados e funcionando conforme esperado.
-
Faça login na VM RAC como usuário admin para validar a infraestrutura de grade Oracle.
[admin@ora01 ~]$ sudo su [root@ora01 admin]# su - grid [grid@ora01 ~]$ crsctl stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.LISTENER.lsnr ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.chad ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.net1.network ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.ons ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.proxy_advm OFFLINE OFFLINE ora01 STABLE OFFLINE OFFLINE ora02 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE ora01 STABLE ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE ora02 STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.VOTE.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE ora01 Started,STABLE 2 ONLINE ONLINE ora02 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.cvu 1 ONLINE ONLINE ora02 STABLE ora.ntap.db 1 ONLINE ONLINE ora01 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE 2 ONLINE ONLINE ora02 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE ora.ora01.vip 1 ONLINE ONLINE ora01 STABLE ora.ora02.vip 1 ONLINE ONLINE ora02 STABLE ora.qosmserver 1 ONLINE ONLINE ora02 STABLE ora.scan1.vip 1 ONLINE ONLINE ora01 STABLE ora.scan2.vip 1 ONLINE ONLINE ora02 STABLE ora.scan3.vip 1 ONLINE ONLINE ora02 STABLE -------------------------------------------------------------------------------- [grid@ora01 ~]$
-
Valide o Oracle ASM.
[grid@ora01 ~]$ asmcmd ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 1048576 163840 163723 0 163723 0 N DATA/ MOUNTED EXTERN N 512 512 4096 1048576 163840 163729 0 163729 0 N RECO/ MOUNTED NORMAL N 512 512 4096 4194304 30720 29732 10240 9746 0 Y VOTE/ ASMCMD> lsdsk Path AFD:ORA_CRS_01 AFD:ORA_CRS_02 AFD:ORA_CRS_03 AFD:ORA_DATA_01 AFD:ORA_DATA_02 AFD:ORA_DATA_03 AFD:ORA_DATA_04 AFD:ORA_LOGS_01 AFD:ORA_LOGS_02 ASMCMD> afd_state ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'ora01' ASMCMD>
-
Listar nós de cluster.
[grid@ora01 ~]$ olsnodes ora01 ora02
-
Validar OCR/VOTO.
[grid@ora01 ~]$ ocrcheck Status of Oracle Cluster Registry is as follows : Version : 4 Total space (kbytes) : 901284 Used space (kbytes) : 84536 Available space (kbytes) : 816748 ID : 118267044 Device/File Name : +VOTE Device/File integrity check succeeded Device/File not configured Device/File not configured Device/File not configured Device/File not configured Cluster registry integrity check succeeded Logical corruption check bypassed due to non-privileged user [grid@ora01 ~]$ crsctl query css votedisk ## STATE File Universal Id File Name Disk group -- ----- ----------------- --------- --------- 1. ONLINE 1ca3fcb0bd354f8ebf00ac97d70e0824 (AFD:ORA_CRS_01) [VOTE] 2. ONLINE 708f84d505a54f58bf41124e09a5115a (AFD:ORA_CRS_02) [VOTE] 3. ONLINE 133ecfcedb684fe6bfdc1899b90f91c7 (AFD:ORA_CRS_03) [VOTE] Located 3 voting disk(s). [grid@ora01 ~]$
-
Valide o Oracle listener.
[grid@ora01 ~]$ lsnrctl status listener LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 10:21:38 Copyright (c) 1991, 2022, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER))) STATUS of the LISTENER ------------------------ Alias LISTENER Version TNSLSNR for Linux: Version 19.0.0.0.0 - Production Start Date 14-AUG-2024 16:24:48 Uptime 1 days 17 hr. 56 min. 49 sec Trace Level off Security ON: Local OS Authentication SNMP OFF Listener Parameter File /u01/app/grid/19.0.0/network/admin/listener.ora Listener Log File /u01/app/oracle/diag/tnslsnr/ora01/listener/alert/log.xml Listening Endpoints Summary... (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=LISTENER))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.21)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.93)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=ora01.solutions.netapp.com)(PORT=5500))(Security=(my_wallet_directory=/u01/app/oracle2/product/19.0.0/NTAP/admin/NTAP/xdb_wallet))(Presentation=HTTP)(Session=RAW)) Services Summary... Service "+ASM" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_DATA" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_RECO" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_VOTE" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "1fbf0aaa1d13cb5ae06315b43d0ab734.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf142e7db2d090e06315b43d0a6894.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf203c3a46d7bae06315b43d0ae055.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAP.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAPXDB.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb1.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb2.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb3.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... The command completed successfully [grid@ora01 ~]$ [grid@ora01 ~]$ tnsping ntap-scan TNS Ping Utility for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 12:07:58 Copyright (c) 1997, 2022, Oracle. All rights reserved. Used parameter files: /u01/app/grid/19.0.0/network/admin/sqlnet.ora Used EZCONNECT adapter to resolve the alias Attempting to contact (DESCRIPTION=(CONNECT_DATA=(SERVICE_NAME=))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.90)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.91)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.92)(PORT=1521))) OK (10 msec)
-
Mude para o usuário oracle para validar o banco de dados em cluster.
[oracle@ora02 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Fri Aug 16 11:32:23 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode, log_mode from v$database; NAME OPEN_MODE LOG_MODE --------- -------------------- ------------ NTAP READ WRITE ARCHIVELOG SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> select name from v$datafile 2 union 3 select name from v$controlfile 4 union 5 select member from v$logfile; NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/sysaux.275.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/system.274.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undo_2.277.1177083853 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undotbs1.273.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/users.278.1177083901 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/sysaux.281.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/system.280.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undo_2.283.1177084061 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undotbs1.279.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/users.284.1177084103 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/sysaux.287.1177084105 NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/system.286.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undo_2.289.1177084123 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undotbs1.285.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/users.290.1177084125 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.266.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.265.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.267.1177081837 +DATA/NTAP/CONTROLFILE/current.261.1177080403 +DATA/NTAP/DATAFILE/sysaux.258.1177080245 +DATA/NTAP/DATAFILE/system.257.1177080129 +DATA/NTAP/DATAFILE/undotbs1.259.1177080311 NAME -------------------------------------------------------------------------------- +DATA/NTAP/DATAFILE/undotbs2.269.1177082203 +DATA/NTAP/DATAFILE/users.260.1177080311 +DATA/NTAP/ONLINELOG/group_1.262.1177080427 +DATA/NTAP/ONLINELOG/group_2.263.1177080427 +DATA/NTAP/ONLINELOG/group_3.270.1177083297 +DATA/NTAP/ONLINELOG/group_4.271.1177083313 +RECO/NTAP/CONTROLFILE/current.256.1177080403 +RECO/NTAP/ONLINELOG/group_1.257.1177080427 +RECO/NTAP/ONLINELOG/group_2.258.1177080427 +RECO/NTAP/ONLINELOG/group_3.259.1177083313 +RECO/NTAP/ONLINELOG/group_4.260.1177083315 33 rows selected.
-
Ou faça login no EM Express para validar o banco de dados RAC após a execução bem-sucedida do manual de estratégia.
Backup e recuperação de banco de dados do Oracle RAC no VCF com SnapCenter
Configuração do SnapCenter
Details
O SnapCenter versão 6 tem muitos aprimoramentos de recursos em relação à versão 5, incluindo suporte ao armazenamento de dados do VMware vVols. O SnapCenter confia em um plug-in do lado do host em uma VM de banco de dados para executar atividades de gerenciamento de proteção de dados com reconhecimento de aplicações. Para obter informações detalhadas sobre o plug-in do NetApp SnapCenter para Oracle, consulte esta documentação "O que você pode fazer com o Plug-in para Oracle Database". O seguinte fornece etapas de alto nível para configurar o SnapCenter versão 6 para backup e recuperação de banco de dados do Oracle RAC no VCF.
-
Baixe a versão 6 do software SnapCenter no site de suporte da NetApp: "Downloads de suporte da NetApp".
-
Faça login no SnapCenter que hospeda o Windows VM como administrador. Instalar pré-requisitos para o SnapCenter 6,0.
-
Como administrador, instale o Java JDK mais recente do "Obtenha o Java para aplicativos de desktop".
Se o servidor Windows for implantado em um ambiente de domínio, adicione um usuário de domínio ao grupo de administradores locais do servidor SnapCenter e execute a instalação do SnapCenter com o usuário do domínio. -
Faça login na IU do SnapCenter via HTTPS porta 8846 como usuário de instalação para configurar o SnapCenter para Oracle.
-
Menu de revisão
Get Started
para se atualizar no SnapCenter se você é um novo usuário. -
Atualização
Hypervisor Settings
nas definições globais. -
Adicionar cluster de armazenamento ONTAP ao
Storage Systems
com IP de gerenciamento de cluster e autenticado por ID de usuário de administrador de cluster. -
Adicione VMs de banco de dados Oracle RAC e VM de plug-in vSphere para acesso SnapCenter a VM de banco de dados
Credential
e VM de plug-in vSphere. A credencial deve ter privilégio sudo nas VMs Linux. Você pode criar credenciais diferentes para diferentes IDs de usuário de gerenciamento para as VMs. O ID do usuário de gerenciamento de VM do plugin vShpere é definido quando a VM do plugin é implantada no vCenter. -
Adicione VM de banco de dados Oracle RAC no VCF com credencial de VM de banco de
Hosts
dados criada na etapa anterior. -
Da mesma forma, adicione a VM do plug-in do NetApp VMware
Hosts
com a credencial de VM do plug-in do vSphere criada na etapa anterior. -
Finalmente, depois que o banco de dados Oracle é descoberto na VM de banco de dados DB, volte para
Settings
-Policies
criar políticas de backup de banco de dados Oracle. Idealmente, crie uma política de backup de log de arquivamento separada para permitir um intervalo de backup mais frequente para minimizar a perda de dados em caso de falha.
Certifique-se de que o nome do servidor SnapCenter possa ser resolvido para o endereço IP da VM de banco de dados e da VM do plug-in vSphere. Da mesma forma, o nome da VM do DB e o nome da VM do plugin vSphere podem ser resolvidos para o endereço IP do servidor SnapCenter. |
Backup de banco de dados
Details
O SnapCenter utiliza o snapshot de volume do ONTAP para backup, restauração ou clone de banco de dados muito mais rápidos em comparação com a metodologia tradicional baseada em RMAN. Os snapshots são consistentes com aplicações, pois o banco de dados é colocado no modo de backup Oracle antes de um snapshot.
-
Na
Resources
guia, quaisquer bancos de dados na VM são automaticamente descobertos depois que a VM é adicionada ao SnapCenter. Inicialmente, o status do banco de dados é exibido comoNot protected
. -
Clique no banco de dados para iniciar um fluxo de trabalho para ativar a proteção para o banco de dados.
-
Aplicar política de backup, configurar agendamento, se necessário.
-
Configurar notificação de trabalho de cópia de segurança, se necessário.
-
Reveja o resumo e termine para ativar a proteção do banco de dados.
-
O trabalho de backup sob demanda pode ser acionado clicando em
Back up Now
. -
O trabalho de cópia de segurança pode ser monitorizado
Monitor
no separador clicando no trabalho em execução. -
Clique no banco de dados para revisar os conjuntos de backup concluídos para o banco de dados RAC.
Restauração/recuperação de banco de dados
Details
O SnapCenter fornece várias opções de restauração e recuperação para o banco de dados do Oracle RAC a partir do backup instantâneo. Neste exemplo, demonstramos a restauração a partir de um backup instantâneo mais antigo e, em seguida, encaminhar o banco de dados para o último log disponível.
-
Primeiro, execute um backup instantâneo. Em seguida, crie uma tabela de teste e insira uma linha na tabela para validar o banco de dados recuperado da imagem de snapshot antes que a criação da tabela de teste recupere a tabela de teste.
[oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 10:31:12 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> create table test (id integer, dt timestamp, event varchar(100)); Table created. SQL> insert into test values (1, sysdate, 'validate SnapCenter rac database restore on VMware vVols storage'); 1 row created. SQL> commit; Commit complete. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL>
-
Na guia SnapCenter
Resources
, abra a página de topologia de backup do banco de dados NTAP1. Realce o conjunto de backup de dados instantâneos criado há 3 dias. CliqueRestore
em para iniciar o fluxo de trabalho de restauração-recuperação. -
Escolha restaurar escopo.
-
Escolha o escopo de recuperação para
All Logs
. -
Especifique quaisquer pré-scripts opcionais a serem executados.
-
Especifique qualquer pós-script opcional a ser executado.
-
Envie um relatório de trabalho, se desejado.
-
Reveja o resumo e clique
Finish
em para iniciar a restauração e recuperação. -
A partir do RAC DB VM ora01, valide que uma restauração/recuperação bem-sucedida do banco de dados foi avançando para o estado mais recente e recuperou a tabela de teste criada 3 dias depois.
[root@ora01 ~]# su - oracle [oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 11:51:15 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode from v$database; NAME OPEN_MODE --------- -------------------- NTAP READ WRITE SQL> sho pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL> select current_timestamp from dual; CURRENT_TIMESTAMP --------------------------------------------------------------------------- 19-AUG-24 11.55.20.079686 AM -04:00 SQL> exit Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0
Isso conclui a demonstração do backup, restauração e recuperação do SnapCenter do banco de dados RAC no VCF com vVols.
Onde encontrar informações adicionais
Para saber mais sobre as informações descritas neste documento, consulte os seguintes documentos e/ou sites: