TR-4997: Implementación y protección de Oracle RAC en VCF con vVols
Allen Cao, Niyaz Mohamed, NetApp
La solución proporciona una descripción general y detalles para la implementación y protección de Oracle en VMware Cloud Foundation (VCF) con vSphere Virtual Volumes (vVols) como almacenamiento de base de datos principal y base de datos Oracle en configuración Real Application Clusters (RAC).
Objetivo
VMware vSphere Virtual Volumes (vVols) es un marco de integración y administración de SAN/NAS que expone discos virtuales como objetos de almacenamiento nativos y permite operaciones basadas en matrices a nivel de disco virtual. En otras palabras, vVols hace que los dispositivos SAN/NAS sean compatibles con las máquinas virtuales y desbloquea la capacidad de aprovechar los servicios de datos basados en matrices con un enfoque centrado en la máquina virtual en la granularidad de un solo disco virtual. vVols permite a los clientes aprovechar las capacidades únicas de sus inversiones de almacenamiento actuales y realizar la transición sin interrupciones a un modelo operativo más simple y eficiente, optimizado para entornos virtuales que funcionan en todos los tipos de almacenamiento.
En"TR-4996" Demostramos la implementación y protección de una única base de datos Oracle en VCF con vVols. Esta documentación demuestra la implementación y la protección de una base de datos Oracle RAC en un entorno VMware Cloud Foundation con vVols como almacenamiento de base de datos principal en un clúster de almacenamiento NetApp ONTAP . La base de datos Oracle RAC está configurada como si estuviera implementada en sistemas de archivos locales en un sistema de almacenamiento local. Este informe técnico se centra en los pasos para crear vVols en VCF para la implementación de Oracle RAC. También demostramos la implementación de la base de datos Oracle RAC en VCF en vVols con el kit de herramientas de automatización de NetApp y la protección de la base de datos RAC con la herramienta de interfaz de usuario SnapCenter de NetApp .
Esta solución aborda los siguientes casos de uso:
-
Implementación de la base de datos Oracle RAC en VCF con almacén de datos vVols en NetApp ONTAP AFF como almacenamiento de base de datos principal
-
Copia de seguridad y restauración de bases de datos de Oracle en VCF con almacén de datos vVols mediante la herramienta de interfaz de usuario SnapCenter de NetApp
Audiencia
Esta solución está destinada a las siguientes personas:
-
Un administrador de bases de datos que desea implementar Oracle RAC en VCF con un almacén de datos vVols en NetApp ONTAP AFF como almacenamiento de base de datos principal
-
Un arquitecto de soluciones de base de datos que desea probar cargas de trabajo de Oracle RAC en VCF con un almacén de datos vVols en el almacenamiento NetApp ONTAP AFF
-
Un administrador de almacenamiento que desee implementar y administrar una base de datos Oracle RAC implementada en VCF con un almacén de datos vVols en el almacenamiento NetApp ONTAP AFF
-
Un propietario de una aplicación que desea crear una base de datos Oracle RAC en VCF con un almacén de datos vVol
Entorno de prueba y validación de soluciones
La prueba y validación de esta solución se realizó en un entorno de laboratorio en VCF con un almacén de datos vVols en un almacenamiento NetApp ONTAP AFF que podría no coincidir con el entorno de implementación final. Para más información, consulte la sección Factores clave a considerar en la implementación .
Arquitectura
Componentes de hardware y software
Hardware |
||
NetApp ONTAP AFF A300 |
Versión 9.14.1P4 |
Estante DS224 con 24 discos NVMe, capacidad total 35,2 TiB |
Clúster de VMware VSphere |
Versión 8.02 |
12 CPU x Intel® Xeon® Gold 5218 CPU a 2,30 GHz, 8 nodos (4 dominios de administración y 4 dominios de carga de trabajo) |
Software |
||
Red Hat Linux |
Núcleo RHEL-8.6, 4.18.0-372.9.1.el8.x86_64 |
Alojamiento de servidores Oracle DB, suscripción RedHat implementada para pruebas |
Servidor de Windows |
Estándar 2022, 10.0.20348, compilación 20348 |
Alojamiento del servidor SnapCenter |
Centos Linux |
Versión 8.5.2111 de CentOS Linux |
Hospedaje del controlador Ansible |
Infraestructura de red de Oracle |
Versión 19.18 |
Parche RU aplicado p34762026_190000_Linux-x86-64.zip |
Base de datos Oracle |
Versión 19.18 |
Parche RU aplicado p34765931_190000_Linux-x86-64.zip |
Oracle OPatch |
Versión 12.2.0.1.36 |
Último parche p6880880_190000_Linux-x86-64.zip |
Servidor SnapCenter |
Versión 6.0 |
Implementación de grupos de trabajo |
Plugin de SnapCenter para VMware vSphere |
Versión 6.0 |
Implementado como una máquina virtual ova en un clúster vSphere |
Herramienta ONTAP para VMware vSphere |
Versión 9.13 |
Implementado como una máquina virtual ova en un clúster vSphere |
Abrir JDK |
Versión java-11-openjdk-11.0.23.0.9-3.el8.x86_64 |
Requisito del complemento SnapCenter en las máquinas virtuales de base de datos |
Configuración de la base de datos Oracle RAC en VCF
Nodo RAC |
Base de datos |
Almacenamiento de base de datos |
ora01 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
Almacenes de datos vVols (VCF_ORA_BINS, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) en NetApp ONTAP AFF A300 |
ora02 |
NTAP(NTAP_pdb1,NTAP_pdb2,NTAP_pdb3) |
Almacenes de datos vVols (VCF_ORA_BINS, VCF_ORA_CRS, VCF_ORA_DAT1, VCF_ORA_DAT2, VCF_ORA_LOGS) en NetApp ONTAP AFF A300 |
Factores clave a considerar en la implementación
-
Protocolo para conectividad de vVols al clúster ONTAP . NFS o iSCSI son buenas opciones. Los niveles de rendimiento son equivalentes. En esta demostración de solución, utilizamos iSCSI como protocolo de almacenamiento para la conectividad de vVols al clúster de almacenamiento ONTAP subrayado. Si la infraestructura VCF lo admite, los protocolos FC/FCoE y NVMe/FC también son compatibles con los almacenes de datos vVols en NetApp ONTAP.
-
Disposición de almacenamiento de Oracle en almacenes de datos vVols . En nuestras pruebas y validaciones, implementamos cinco almacenes de datos vVols para binarios de Oracle, registro/votación de clúster de Oracle, datos de Oracle y archivos de registro de Oracle. Es una buena práctica separar los distintos tipos de archivos de Oracle en sus propios almacenes de datos para que la copia de seguridad, la recuperación o la clonación de la base de datos se puedan gestionar y ejecutar fácilmente. Cree vVols dedicados para bases de datos grandes y comparta vVols para bases de datos más pequeñas o bases de datos con un perfil de QoS similar.
-
Redundancia de almacenamiento de Oracle. Usar
Normal Redundancy
para archivos de votación/registro de clúster Oracle RAC críticos, de modo que tres archivos de votación en tres grupos de errores de discos ASM proporcionen protección óptima del clúster y el registro del clúster se refleje entre los grupos de errores de discos ASM. UsarExternal Redundancy
para archivos binarios, de datos y de registro de Oracle para optimizar la utilización del almacenamiento. El ONTAP RAID-DP subrayado proporciona protección de datos cuandoExternal Redundancy
está empleado. -
Credenciales para autenticación de almacenamiento ONTAP . Utilice únicamente credenciales de nivel de clúster de ONTAP para la autenticación del clúster de almacenamiento de ONTAP , incluida la conectividad de SnapCenter con el clúster de almacenamiento de ONTAP o la conectividad de la herramienta ONTAP con el clúster de almacenamiento de ONTAP .
-
Aprovisionamiento de almacenamiento desde el almacén de datos vVols a la máquina virtual de base de datos. Agregue solo un disco a la vez a la máquina virtual de base de datos desde el almacén de datos vVols . No se admite en este momento agregar varios discos desde almacenes de datos vVols al mismo tiempo.
-
Protección de base de datos. NetApp ofrece un paquete de SnapCenter software para realizar copias de seguridad y restaurar bases de datos con una interfaz de usuario fácil de usar. NetApp recomienda implementar una herramienta de gestión de este tipo para lograr copias de seguridad SnapShot rápidas y una rápida recuperación y restauración de bases de datos.
Implementación de la solución
Las siguientes secciones proporcionan procedimientos paso a paso para la implementación de la base de datos Oracle 19c en VCF con almacenes de datos vVols en el almacenamiento NetApp ONTAP en una configuración Oracle RAC.
Requisitos previos para la implementación
Details
La implementación requiere los siguientes requisitos previos.
-
Se ha configurado un VMware VCF. Para obtener información o instrucciones sobre cómo crear un VCF, consulte la documentación de VMware."Documentación de VMware Cloud Foundation" .
-
Aprovisione tres máquinas virtuales Linux, dos máquinas virtuales para el clúster de base de datos Oracle RAC y una máquina virtual para el controlador Ansible dentro del dominio de carga de trabajo VCF. Aprovisione una máquina virtual de servidor Windows para ejecutar el servidor NetApp SnapCenter . Para obtener información sobre cómo configurar el controlador Ansible para la implementación automatizada de la base de datos Oracle, consulte los siguientes recursos"Introducción a la automatización de soluciones de NetApp " .
-
Las máquinas virtuales de la base de datos Oracle RAC deben tener aprovisionadas al menos dos interfaces de red: una para la interconexión privada de Oracle RAC y otra para aplicaciones o tráfico de datos públicos.
-
La versión 6.0 del complemento SnapCenter para VMware vSphere se ha implementado en VCF. Consulte los siguientes recursos para la implementación del complemento:"Documentación del SnapCenter Plug-in for VMware vSphere" .
-
La herramienta ONTAP para VMware vSphere se ha implementado en VCF. Consulte los siguientes recursos para la herramienta ONTAP para la implementación de VMware vSphere:"Documentación de ONTAP tools for VMware vSphere"
|
Asegúrese de haber asignado al menos 50G en el volumen raíz de Oracle VM para tener espacio suficiente para almacenar los archivos de instalación de Oracle. |
Crear un perfil de capacidad de almacenamiento
Details
Primero, cree un perfil de capacidad de almacenamiento personalizado para el almacenamiento ONTAP subrayado que aloja el almacén de datos vVols .
-
Desde los accesos directos del cliente vSphere, abra la herramienta NetApp ONTAP . Asegúrese de que se haya agregado el clúster de almacenamiento ONTAP a
Storage Systems
como parte de la implementación de la herramienta ONTAP . -
Hacer clic en
Storage capability profile
para agregar un perfil personalizado para Oracle. Nombra el perfil y agrega una breve descripción. -
Elija la categoría del controlador de almacenamiento: rendimiento, capacidad o híbrido.
-
Seleccione el protocolo.
-
Defina una política de QoS si lo desea.
-
Atributos de almacenamiento adicionales para el perfil. Asegúrese de que el cifrado esté habilitado en el controlador de NetApp si desea tener la capacidad de cifrado o puede causar problemas al aplicar el perfil.
-
Revise el resumen y finalice la creación del perfil de capacidad de almacenamiento.
Crear y configurar el almacén de datos vVols
Details
Una vez completados los requisitos previos, inicie sesión en VCF como usuario administrador a través del cliente vSphere y navegue hasta el dominio de carga de trabajo. No utilice la opción de almacenamiento integrada de VMware para crear vVols. En su lugar, utilice la herramienta NetApp ONTAP para crear vVols. A continuación se muestran los procedimientos para crear y configurar vVols.
-
El flujo de trabajo de creación de vVols se puede activar desde la interfaz de la herramienta ONTAP o desde el clúster de dominio de carga de trabajo VCF.
-
Completar información general del almacén de datos, incluido el destino de aprovisionamiento, el tipo, el nombre y el protocolo.
-
Seleccione el perfil de capacidad de almacenamiento personalizado creado en el paso anterior.
Storage system
, yStorage VM
, donde se crearán los vVols . -
Elegir
Create new volumes
, complete el nombre y el tamaño del volumen y haga clic enADD
entoncesNEXT
para pasar a la página de resumen. -
Hacer clic
Finish
para crear un almacén de datos vVols para el binario de Oracle. -
Crear un almacén de datos para el registro de clúster de Oracle o CRS.
Puede agregar más de un volumen a un almacén de datos vVols o distribuir volúmenes de un almacén de datos vVols en nodos del controlador ONTAP para mejorar el rendimiento o la redundancia. -
Crear un almacén de datos para datos de Oracle. Lo ideal es crear almacenes de datos separados en cada nodo del controlador ONTAP y utilizar Oracle ASM para distribuir datos entre los nodos del controlador para maximizar la utilización de la capacidad del clúster de almacenamiento ONTAP .
-
Crear un almacén de datos para el registro de Oracle. Dada la naturaleza secuencial de la escritura del registro de Oracle, es bueno colocarlo en un solo nodo controlador ONTAP .
-
Validar los almacenes de datos de Oracle después de la implementación.
Crear una política de almacenamiento de VM basada en el perfil de capacidad de almacenamiento
Details
Antes de aprovisionar almacenamiento desde el almacén de datos vVols a la máquina virtual de base de datos, agregue una política de almacenamiento de máquina virtual basada en el perfil de capacidad de almacenamiento creado en el paso anterior. A continuación se detallan los procedimientos.
-
Desde los menús del cliente vSphere, abra
Policies and Profiles
y resaltarVM Storage Policies
. Hacer clicCreate
abrirVM Storage Policies
flujo de trabajo. -
Nombre la política de almacenamiento de la máquina virtual.
-
En
Datastore specific rules
, controlarEnable rules for "NetAPP.clustered.Data.ONTAP.VP.vvol" storage
-
Para reglas ONTAP de NetApp .clustered.Data.ONTAP
Placement
, seleccione el perfil de capacidad de almacenamiento personalizado creado en el paso anterior. -
Para reglas ONTAP de NetApp .clustered.Data.ONTAP
Replication
, elegirDisabled
Si los vVols no se replican. -
La página de compatibilidad de almacenamiento muestra los almacenes de datos vVols compatibles en el entorno VCF.
-
Revisar y finalizar para crear la Política de Almacenamiento de VM.
-
Valide la política de almacenamiento de VM recién creada.
Asignar discos a máquinas virtuales RAC desde almacenes de datos vVols y configurar el almacenamiento de bases de datos
Details
Desde el cliente vSphere, agregue los discos deseados de los almacenes de datos vVols a la máquina virtual de base de datos editando la configuración de la máquina virtual. Luego, inicie sesión en la VM para formatear y montar el disco binario en los puntos de montaje /u01. A continuación se muestran los pasos y tareas exactos.
-
Antes de asignar discos desde el almacén de datos a la máquina virtual de la base de datos, inicie sesión en los hosts VMware ESXi para validar y garantizar que la función de escritura múltiple esté habilitada (valor GBLAllowMW establecido en 1) en el nivel ESXi.
[root@vcf-wkld-esx01:~] which esxcli /bin/esxcli [root@vcf-wkld-esx01:~] esxcli system settings advanced list -o /VMFS3/GBLAllowMW Path: /VMFS3/GBLAllowMW Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Allow multi-writer GBLs. Host Specific: false Impact: none [root@vcf-wkld-esx01:~]
-
Agregue un nuevo controlador SCSI dedicado para usar con discos Oracle RAC. Deshabilitar el uso compartido del bus SCSI.
-
Desde el nodo RAC 1 - ora01, agregue un disco a la VM para el almacenamiento binario de Oracle sin compartir.
-
Desde el nodo RAC 1, agregue tres discos a la VM para el almacenamiento de Oracle RAC CRS y habilite el uso compartido entre múltiples escritores.
-
Desde el nodo RAC 1, agregue dos discos de cada almacén de datos para los datos a la VM para el almacenamiento de datos compartidos de Oracle.
-
Desde el nodo RAC 1, agregue dos discos a la VM desde el almacén de datos de registros para el almacenamiento compartido de archivos de registro de Oracle.
-
Desde el nodo RAC 2, agregue un disco a la VM para el almacenamiento binario de Oracle sin compartir.
-
Desde el nodo RAC 2, agregue otros discos compartidos seleccionando
Existing Hard Disks
opción y habilitar el uso compartido de múltiples escritores para cada disco compartido. -
Desde VM
Edit Settings
,Advanced Parameters
, añadir atributodisk.enableuuid
con valorTRUE
. La máquina virtual debe estar inactiva para agregar el parámetro avanzado. Al configurar esta opción, SnapCenter podrá identificar con precisión el vVol en su entorno. Esto debe hacerse en todos los nodos RAC. -
Ahora, reinicie la VM. Inicie sesión en la máquina virtual como usuario administrador a través de ssh para revisar las unidades de disco recientemente agregadas.
[admin@ora01 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora01 ~]$ [admin@ora02 ~]$ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 50G 0 disk ├─sda1 8:1 0 600M 0 part /boot/efi ├─sda2 8:2 0 1G 0 part /boot └─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 43.4G 0 lvm / └─rhel-swap 253:1 0 5G 0 lvm [SWAP] sdb 8:16 0 50G 0 disk sdc 8:32 0 10G 0 disk sdd 8:48 0 10G 0 disk sde 8:64 0 10G 0 disk sdf 8:80 0 40G 0 disk sdg 8:96 0 40G 0 disk sdh 8:112 0 40G 0 disk sdi 8:128 0 40G 0 disk sdj 8:144 0 80G 0 disk sdk 8:160 0 80G 0 disk sr0 11:0 1 1024M 0 rom [admin@ora02 ~]$
-
Desde cada nodo RAC, particione el disco binario de Oracle (/dev/sdb) como una partición primaria y única simplemente aceptando las opciones predeterminadas.
sudo fdisk /dev/sdb
-
Formatee los discos particionados como sistemas de archivos xfs.
sudo mkfs.xfs /dev/sdb1
-
Monte el disco en el punto de montaje /u01.
[admin@ora01 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.7G 36K 7.7G 1% /dev tmpfs 7.8G 1.4G 6.4G 18% /dev/shm tmpfs 7.8G 34M 7.7G 1% /run tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup /dev/mapper/rhel-root 44G 29G 16G 66% / /dev/sda2 1014M 249M 766M 25% /boot /dev/sda1 599M 5.9M 593M 1% /boot/efi /dev/sdb1 50G 24G 27G 47% /u01 tmpfs 1.6G 12K 1.6G 1% /run/user/42 tmpfs 1.6G 0 1.6G 0% /run/user/54331 tmpfs 1.6G 4.0K 1.6G 1% /run/user/1000
-
Agregue puntos de montaje a /etc/fstab para que las unidades de disco se monten cuando la VM se reinicie.
sudo vi /etc/fstab
[oracle@ora_01 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Wed Oct 18 19:43:31 2023 # # Accessible filesystems, by reference, are maintained under '/dev/disk/'. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. # # After editing this file, run 'systemctl daemon-reload' to update systemd # units generated from this file. # /dev/mapper/rhel-root / xfs defaults 0 0 UUID=aff942c4-b224-4b62-807d-6a5c22f7b623 /boot xfs defaults 0 0 /dev/mapper/rhel-swap none swap defaults 0 0 /root/swapfile swap swap defaults 0 0 /dev/sdb1 /u01 xfs defaults 0 0
Implementación de Oracle RAC en VCF
Details
Se recomienda aprovechar el kit de herramientas de automatización de NetApp para implementar Oracle RAC en VCF con vVols. Lea atentamente las instrucciones incluidas (READme) y configure los archivos de parámetros de implementación, como el archivo de destino de implementación: hosts, el archivo de variables globales: vars/vars.yml, y el archivo de variables de la máquina virtual de base de datos local: host_vars/host_name.yml siguiendo las instrucciones del kit de herramientas. A continuación se muestran los procedimientos paso a paso.
-
Inicie sesión en la máquina virtual del controlador Ansible como usuario administrador a través de ssh y clone una copia del kit de herramientas de automatización para la implementación de Oracle RAC en VCF con vVols.
git clone https://bitbucket.ngage.netapp.com/scm/ns-bb/na_oracle_deploy_rac.git
-
Guarde los siguientes archivos de instalación de Oracle en la carpeta /tmp/archive en la máquina virtual de la base de datos del nodo 1 de RAC. La carpeta debe permitir el acceso de todos los usuarios con permiso 777.
LINUX.X64_193000_grid_home.zip p34762026_190000_Linux-x86-64.zip LINUX.X64_193000_db_home.zip p34765931_190000_Linux-x86-64.zip p6880880_190000_Linux-x86-64.zip
-
Configurar la autenticación sin clave ssh entre el controlador Ansible y las máquinas virtuales de la base de datos, lo que requiere generar un par de claves ssh y copiar la clave pública en el directorio raíz del usuario administrador de las máquinas virtuales de la base de datos, carpeta .ssh, archivo autorizado_keys.
ssh-keygen
-
Configure los archivos de parámetros del host de destino definidos por el usuario. A continuación se muestra un ejemplo de configuración típica para el archivo de hosts de destino: hosts.
#Oracle hosts [oracle] ora01 ansible_host=10.61.180.21 ansible_ssh_private_key_file=ora01.pem ora02 ansible_host=10.61.180.22 ansible_ssh_private_key_file=ora02.pem
-
Configure los archivos de parámetros específicos del host local definidos por el usuario. A continuación se muestra un ejemplo de configuración típica para el archivo host_name.yml local: ora01.yml.
# Binary lun ora_bin: /dev/sdb # Host DB configuration ins_sid: "{{ oracle_sid }}1" asm_sid: +ASM1
-
Configure el archivo de parámetros globales definidos por el usuario. A continuación se muestra un ejemplo de configuración típica para el archivo de parámetros globales: vars.yml
####################################################################### ### ONTAP env specific config variables ### ####################################################################### # ONTAP storage platform: on-prem, vmware-vvols ontap_platform: vmware-vvols # Prerequisite to create five vVolss in VMware vCenter # VCF_ORA_BINS - Oracle binary # VCF_ORA_CRS - Oracle cluster registry and vote # VCF_ORA_DAT1 - Oracle data on node1 # VCF_ORA_DAT2 - Oracle data on node2 # VCF_ORA_LOGS - Oracle logs on node1 or node2 # Oracle disks are added to VM from vVols: 1 binary disk, 3 CRS disks, 4 data disks, and 2 log disks. ###################################################################### ### Linux env specific config variables ### ###################################################################### redhat_sub_username: XXXXXXXX redhat_sub_password: "XXXXXXXX" # Networking configuration cluster_pub_ip: - {ip: 10.61.180.21, hostname: ora01} - {ip: 10.61.180.22, hostname: ora02} cluster_pri_ip: - {ip: 172.21.166.22, hostname: ora01-pri} - {ip: 172.21.166.24, hostname: ora02-pri} cluster_vip_ip: - {ip: 10.61.180.93, hostname: ora01-vip} - {ip: 10.61.180.94, hostname: ora02-vip} cluster_scan_name: ntap-scan cluster_scan_ip: - {ip: 10.61.180.90, hostname: ntap-scan} - {ip: 10.61.180.91, hostname: ntap-scan} - {ip: 10.61.180.92, hostname: ntap-scan} ##################################################################### ### DB env specific install and config variables ### ##################################################################### # Shared Oracle RAC storage ora_crs: - { device: /dev/sdc, name: ora_crs_01 } - { device: /dev/sdd, name: ora_crs_02 } - { device: /dev/sde, name: ora_crs_03 } ora_data: - { device: /dev/sdf, name: ora_data_01 } - { device: /dev/sdg, name: ora_data_02 } - { device: /dev/sdh, name: ora_data_03 } - { device: /dev/sdi, name: ora_data_04 } ora_logs: - { device: /dev/sdj, name: ora_logs_01 } - { device: /dev/sdk, name: ora_logs_02 } # Oracle RAC configuration oracle_sid: NTAP cluster_name: ntap-rac cluster_nodes: ora01,ora02 cluster_domain: solutions.netapp.com grid_cluster_nodes: ora01:ora01-vip:HUB,ora02:ora02-vip:HUB network_interface_list: ens33:10.61.180.0:1,ens34:172.21.166.0:5 memory_limit: 10240 # Set initial password for all required Oracle passwords. Change them after installation. initial_pwd_all: "XXXXXXXX"
-
Desde el controlador Ansible, el directorio de inicio del kit de herramientas de automatización clonado /home/admin/na_oracle_deploy_rac, ejecute el manual de requisitos previos para configurar los requisitos previos de Ansible.
ansible-playbook -i hosts 1-ansible_requirements.yml
-
Ejecutar el libro de jugadas de configuración de Linux.
ansible-playbook -i hosts 2-linux_config.yml -u admin -e @vars/vars.yml
-
Ejecutar el manual de implementación de Oracle.
ansible-playbook -i hosts 4-oracle_config.yml -u admin -e @vars/vars.yml
-
De manera opcional, todos los playbooks anteriores también se pueden ejecutar desde una única ejecución de playbook.
ansible-playbook -i hosts 0-all_playbook.yml -u admin -e @vars/vars.yml
Validación de la implementación de Oracle RAC en VCF
Details
Esta sección proporciona detalles sobre la validación de la implementación de Oracle RAC en VCF para garantizar que todos los recursos de Oracle RAC estén completamente implementados, configurados y funcionando como se espera.
-
Inicie sesión en RAC VM como usuario administrador para validar la infraestructura de la red Oracle.
[admin@ora01 ~]$ sudo su [root@ora01 admin]# su - grid [grid@ora01 ~]$ crsctl stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.LISTENER.lsnr ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.chad ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.net1.network ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.ons ONLINE ONLINE ora01 STABLE ONLINE ONLINE ora02 STABLE ora.proxy_advm OFFLINE OFFLINE ora01 STABLE OFFLINE OFFLINE ora02 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE ora01 STABLE ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE ora02 STABLE ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE ora02 STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.VOTE.dg(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE ora01 Started,STABLE 2 ONLINE ONLINE ora02 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE ora01 STABLE 2 ONLINE ONLINE ora02 STABLE ora.cvu 1 ONLINE ONLINE ora02 STABLE ora.ntap.db 1 ONLINE ONLINE ora01 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE 2 ONLINE ONLINE ora02 Open,HOME=/u01/app/o racle2/product/19.0. 0/NTAP,STABLE ora.ora01.vip 1 ONLINE ONLINE ora01 STABLE ora.ora02.vip 1 ONLINE ONLINE ora02 STABLE ora.qosmserver 1 ONLINE ONLINE ora02 STABLE ora.scan1.vip 1 ONLINE ONLINE ora01 STABLE ora.scan2.vip 1 ONLINE ONLINE ora02 STABLE ora.scan3.vip 1 ONLINE ONLINE ora02 STABLE -------------------------------------------------------------------------------- [grid@ora01 ~]$
-
Validar Oracle ASM.
[grid@ora01 ~]$ asmcmd ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 1048576 163840 163723 0 163723 0 N DATA/ MOUNTED EXTERN N 512 512 4096 1048576 163840 163729 0 163729 0 N RECO/ MOUNTED NORMAL N 512 512 4096 4194304 30720 29732 10240 9746 0 Y VOTE/ ASMCMD> lsdsk Path AFD:ORA_CRS_01 AFD:ORA_CRS_02 AFD:ORA_CRS_03 AFD:ORA_DATA_01 AFD:ORA_DATA_02 AFD:ORA_DATA_03 AFD:ORA_DATA_04 AFD:ORA_LOGS_01 AFD:ORA_LOGS_02 ASMCMD> afd_state ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'ora01' ASMCMD>
-
Enumerar los nodos del clúster.
[grid@ora01 ~]$ olsnodes ora01 ora02
-
Validar OCR/VOTE.
[grid@ora01 ~]$ ocrcheck Status of Oracle Cluster Registry is as follows : Version : 4 Total space (kbytes) : 901284 Used space (kbytes) : 84536 Available space (kbytes) : 816748 ID : 118267044 Device/File Name : +VOTE Device/File integrity check succeeded Device/File not configured Device/File not configured Device/File not configured Device/File not configured Cluster registry integrity check succeeded Logical corruption check bypassed due to non-privileged user [grid@ora01 ~]$ crsctl query css votedisk ## STATE File Universal Id File Name Disk group -- ----- ----------------- --------- --------- 1. ONLINE 1ca3fcb0bd354f8ebf00ac97d70e0824 (AFD:ORA_CRS_01) [VOTE] 2. ONLINE 708f84d505a54f58bf41124e09a5115a (AFD:ORA_CRS_02) [VOTE] 3. ONLINE 133ecfcedb684fe6bfdc1899b90f91c7 (AFD:ORA_CRS_03) [VOTE] Located 3 voting disk(s). [grid@ora01 ~]$
-
Validar el escucha de Oracle.
[grid@ora01 ~]$ lsnrctl status listener LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 10:21:38 Copyright (c) 1991, 2022, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER))) STATUS of the LISTENER ------------------------ Alias LISTENER Version TNSLSNR for Linux: Version 19.0.0.0.0 - Production Start Date 14-AUG-2024 16:24:48 Uptime 1 days 17 hr. 56 min. 49 sec Trace Level off Security ON: Local OS Authentication SNMP OFF Listener Parameter File /u01/app/grid/19.0.0/network/admin/listener.ora Listener Log File /u01/app/oracle/diag/tnslsnr/ora01/listener/alert/log.xml Listening Endpoints Summary... (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=LISTENER))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.21)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.93)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=ora01.solutions.netapp.com)(PORT=5500))(Security=(my_wallet_directory=/u01/app/oracle2/product/19.0.0/NTAP/admin/NTAP/xdb_wallet))(Presentation=HTTP)(Session=RAW)) Services Summary... Service "+ASM" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_DATA" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_RECO" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "+ASM_VOTE" has 1 instance(s). Instance "+ASM1", status READY, has 1 handler(s) for this service... Service "1fbf0aaa1d13cb5ae06315b43d0ab734.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf142e7db2d090e06315b43d0a6894.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "1fbf203c3a46d7bae06315b43d0ae055.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAP.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "NTAPXDB.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb1.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb2.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... Service "ntap_pdb3.solutions.netapp.com" has 1 instance(s). Instance "NTAP1", status READY, has 1 handler(s) for this service... The command completed successfully [grid@ora01 ~]$ [grid@ora01 ~]$ tnsping ntap-scan TNS Ping Utility for Linux: Version 19.0.0.0.0 - Production on 16-AUG-2024 12:07:58 Copyright (c) 1997, 2022, Oracle. All rights reserved. Used parameter files: /u01/app/grid/19.0.0/network/admin/sqlnet.ora Used EZCONNECT adapter to resolve the alias Attempting to contact (DESCRIPTION=(CONNECT_DATA=(SERVICE_NAME=))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.90)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.91)(PORT=1521))(ADDRESS=(PROTOCOL=tcp)(HOST=10.61.180.92)(PORT=1521))) OK (10 msec)
-
Cambie al usuario Oracle para validar la base de datos en clúster.
[oracle@ora02 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Fri Aug 16 11:32:23 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode, log_mode from v$database; NAME OPEN_MODE LOG_MODE --------- -------------------- ------------ NTAP READ WRITE ARCHIVELOG SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> select name from v$datafile 2 union 3 select name from v$controlfile 4 union 5 select member from v$logfile; NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/sysaux.275.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/system.274.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undo_2.277.1177083853 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/undotbs1.273.1177083797 +DATA/NTAP/1FBF0AAA1D13CB5AE06315B43D0AB734/DATAFILE/users.278.1177083901 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/sysaux.281.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/system.280.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undo_2.283.1177084061 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/undotbs1.279.1177083903 +DATA/NTAP/1FBF142E7DB2D090E06315B43D0A6894/DATAFILE/users.284.1177084103 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/sysaux.287.1177084105 NAME -------------------------------------------------------------------------------- +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/system.286.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undo_2.289.1177084123 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/undotbs1.285.1177084105 +DATA/NTAP/1FBF203C3A46D7BAE06315B43D0AE055/DATAFILE/users.290.1177084125 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.266.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.265.1177081837 +DATA/NTAP/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.267.1177081837 +DATA/NTAP/CONTROLFILE/current.261.1177080403 +DATA/NTAP/DATAFILE/sysaux.258.1177080245 +DATA/NTAP/DATAFILE/system.257.1177080129 +DATA/NTAP/DATAFILE/undotbs1.259.1177080311 NAME -------------------------------------------------------------------------------- +DATA/NTAP/DATAFILE/undotbs2.269.1177082203 +DATA/NTAP/DATAFILE/users.260.1177080311 +DATA/NTAP/ONLINELOG/group_1.262.1177080427 +DATA/NTAP/ONLINELOG/group_2.263.1177080427 +DATA/NTAP/ONLINELOG/group_3.270.1177083297 +DATA/NTAP/ONLINELOG/group_4.271.1177083313 +RECO/NTAP/CONTROLFILE/current.256.1177080403 +RECO/NTAP/ONLINELOG/group_1.257.1177080427 +RECO/NTAP/ONLINELOG/group_2.258.1177080427 +RECO/NTAP/ONLINELOG/group_3.259.1177083313 +RECO/NTAP/ONLINELOG/group_4.260.1177083315 33 rows selected.
-
O inicie sesión en EM Express para validar la base de datos RAC después de la ejecución exitosa del libro de jugadas.
Copia de seguridad y recuperación de bases de datos Oracle RAC en VCF con SnapCenter
Configuración de SnapCenter
Details
La versión 6 de SnapCenter tiene muchas mejoras de funciones con respecto a la versión 5, incluido soporte para el almacén de datos VMware vVols . SnapCenter se basa en un complemento del lado del host en una máquina virtual de base de datos para realizar actividades de gestión de protección de datos conscientes de la aplicación. Para obtener información detallada sobre el complemento NetApp SnapCenter para Oracle, consulte esta documentación"¿Qué puede hacer con el complemento para Oracle Database?" . A continuación, se proporcionan pasos de alto nivel para configurar SnapCenter versión 6 para la copia de seguridad y recuperación de la base de datos Oracle RAC en VCF.
-
Descargue la versión 6 del SnapCenter software desde el sitio de soporte de NetApp :"Descargas de soporte de NetApp" .
-
Inicie sesión en el SnapCenter que aloja la máquina virtual Windows como administrador. Requisitos previos de instalación para SnapCenter 6.0.
-
Como administrador, instale el último JDK de Java desde"Obtenga Java para aplicaciones de escritorio" .
Si el servidor Windows se implementa en un entorno de dominio, agregue un usuario de dominio al grupo de administradores locales del servidor SnapCenter y ejecute la instalación de SnapCenter con el usuario de dominio. -
Inicie sesión en la interfaz de usuario de SnapCenter a través del puerto HTTPS 8846 como usuario de instalación para configurar SnapCenter para Oracle.
-
Revisar
Get Started
Menú para familiarizarse con SnapCenter si es un usuario nuevo. -
Actualizar
Hypervisor Settings
en entornos globales. -
Agregar clúster de almacenamiento ONTAP a
Storage Systems
con IP de administración de clúster y autenticado a través del ID de usuario administrador del clúster. -
Agregue máquinas virtuales de base de datos Oracle RAC y máquinas virtuales del complemento vSphere
Credential
para el acceso de SnapCenter a la máquina virtual de base de datos y a la máquina virtual del complemento vSphere. La credencial debe tener privilegios de sudo en las máquinas virtuales Linux. Puede crear diferentes credenciales para diferentes ID de usuario de administración para las máquinas virtuales. El ID de usuario de administración de la máquina virtual del complemento vShpere se define cuando la máquina virtual del complemento se implementa en vCenter. -
Agregue la máquina virtual de base de datos Oracle RAC en VCF a
Hosts
con las credenciales de DB VM creadas en el paso anterior. -
De manera similar, agregue el complemento VMware de NetApp a la máquina virtual.
Hosts
con la credencial de VM del complemento vSphere creada en el paso anterior. -
Finalmente, después de que se descubre la base de datos Oracle en la máquina virtual DB, volvemos a
Settings
-Policies
para crear políticas de respaldo de bases de datos de Oracle. Lo ideal es crear una política de respaldo de registro de archivo independiente para permitir intervalos de respaldo más frecuentes y minimizar la pérdida de datos en caso de una falla.
|
Asegúrese de que el nombre del servidor SnapCenter pueda resolverse en la dirección IP de la máquina virtual de base de datos y de la máquina virtual del complemento vSphere. De igual manera, el nombre de la máquina virtual de la base de datos y el nombre de la máquina virtual del complemento vSphere se pueden resolver a la dirección IP desde el servidor SnapCenter . |
Copia de seguridad de la base de datos
Details
SnapCenter aprovecha la instantánea de volumen ONTAP para realizar copias de seguridad, restauraciones o clones de bases de datos mucho más rápido en comparación con la metodología tradicional basada en RMAN. Las instantáneas son consistentes con la aplicación ya que la base de datos se coloca en modo de copia de seguridad de Oracle antes de una instantánea.
-
Desde
Resources
pestaña, cualquier base de datos en la VM se descubre automáticamente después de que la VM se agrega a SnapCenter. Inicialmente, el estado de la base de datos se muestra comoNot protected
. -
Haga clic en la base de datos para iniciar un flujo de trabajo para habilitar la protección de la base de datos.
-
Aplicar la política de respaldo, configurar la programación si es necesario.
-
Configure la notificación del trabajo de respaldo si es necesario.
-
Revise el resumen y finalice para habilitar la protección de la base de datos.
-
Se puede activar un trabajo de respaldo a pedido haciendo clic en
Back up Now
. -
El trabajo de respaldo se puede monitorear en el
Monitor
pestaña haciendo clic en el trabajo en ejecución. -
Haga clic en la base de datos para revisar los conjuntos de copias de seguridad completados para la base de datos RAC.
Restauración/recuperación de bases de datos
Details
SnapCenter proporciona una serie de opciones de restauración y recuperación para la base de datos Oracle RAC a partir de una copia de seguridad instantánea. En este ejemplo, demostramos cómo restaurar desde una copia de seguridad de instantánea anterior y luego avanzar la base de datos hasta el último registro disponible.
-
Primero, ejecute una copia de seguridad instantánea. Luego, cree una tabla de prueba e inserte una fila en la tabla para validar la base de datos recuperada de la imagen instantánea antes de que la creación de la tabla de prueba recupere la tabla de prueba.
[oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 10:31:12 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> show pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> create table test (id integer, dt timestamp, event varchar(100)); Table created. SQL> insert into test values (1, sysdate, 'validate SnapCenter rac database restore on VMware vVols storage'); 1 row created. SQL> commit; Commit complete. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL>
-
Desde SnapCenter
Resources
Pestaña, abra la página de topología de respaldo de la base de datos NTAP1. Resalte el conjunto de copias de seguridad de datos de instantáneas creado hace 3 días. Hacer clic enRestore
para iniciar el flujo de trabajo de restauración-recuperación. -
Seleccione el ámbito de restauración.
-
Elija el alcance de recuperación para
All Logs
. -
Especifique cualquier script previo opcional para ejecutar.
-
Especifique cualquier script posterior opcional para ejecutar.
-
Envíe un informe de trabajo si lo desea.
-
Revise el resumen y haga clic en
Finish
para iniciar la restauración y recuperación. -
Desde RAC DB VM ora01, valide que una restauración/recuperación exitosa de la base de datos se haya trasladado a su estado más reciente y haya recuperado la tabla de prueba creada 3 días después.
[root@ora01 ~]# su - oracle [oracle@ora01 ~]$ sqlplus / as sysdba SQL*Plus: Release 19.0.0.0.0 - Production on Mon Aug 19 11:51:15 2024 Version 19.18.0.0.0 Copyright (c) 1982, 2022, Oracle. All rights reserved. Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0 SQL> select name, open_mode from v$database; NAME OPEN_MODE --------- -------------------- NTAP READ WRITE SQL> sho pdbs CON_ID CON_NAME OPEN MODE RESTRICTED ---------- ------------------------------ ---------- ---------- 2 PDB$SEED READ ONLY NO 3 NTAP_PDB1 READ WRITE NO 4 NTAP_PDB2 READ WRITE NO 5 NTAP_PDB3 READ WRITE NO SQL> alter session set container=ntap_pdb1; Session altered. SQL> select * from test; ID ---------- DT --------------------------------------------------------------------------- EVENT -------------------------------------------------------------------------------- 1 19-AUG-24 10.36.04.000000 AM validate SnapCenter rac database restore on VMware vVols storage SQL> select current_timestamp from dual; CURRENT_TIMESTAMP --------------------------------------------------------------------------- 19-AUG-24 11.55.20.079686 AM -04:00 SQL> exit Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production Version 19.18.0.0.0
Esto completa la demostración de la copia de seguridad, restauración y recuperación de SnapCenter de la base de datos Oracle RAC en VCF con vVols.
Dónde encontrar información adicional
Para obtener más información sobre la información descrita en este documento, revise los siguientes documentos y/o sitios web: