La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Tr-4979 : Oracle simplifié et autogéré dans VMware Cloud sur AWS avec FSX ONTAP monté sur l'invité

10/10/2024 Contributeurs

Allen Cao, Niyaz Mohamed, NetApp

Cette solution fournit une vue d'ensemble et des détails sur le déploiement et la protection d'Oracle dans VMware Cloud dans AWS avec FSX ONTAP comme stockage de base de données primaire et une base de données Oracle configurée dans le redémarrage autonome à l'aide d'asm en tant que gestionnaire de volumes.

Objectif

Les entreprises utilisent Oracle sur VMware dans des data centers privés depuis des décennies. VMware Cloud (VMC) sur AWS est une solution simple qui vous permet d'intégrer le logiciel haute performance Software-Defined Data Center (SDDC) de VMware à l'infrastructure dédiée, élastique et bare-Metal d'AWS Cloud. AWS FSX ONTAP offre un stockage Premium à VMC SDDC et une Data Fabric qui permet aux clients d'exécuter des applications stratégiques, telles qu'Oracle dans les environnements de cloud privé, public et hybride basés sur vSphere®, avec un accès optimisé aux services AWS. Que ce soit pour une charge de travail Oracle existante ou nouvelle, VMC sur AWS offre un environnement Oracle familier, simplifié et autogéré sur VMware avec tous les avantages du cloud AWS, tout en reportant la gestion et l'optimisation de la plateforme à VMware.

Cette documentation présente le déploiement et la protection d'une base de données Oracle dans un environnement VMC avec Amazon FSX ONTAP comme stockage de base de données primaire. La base de données Oracle peut être déployée sur VMC sur le stockage FSX en tant que LUN montées directement sur l'invité d'une VM ou en tant que disques de datastore VMware VMDK montés sur NFS. Ce rapport technique porte sur le déploiement de bases de données Oracle sous forme de stockage FSX directement monté par l'invité sur les machines virtuelles du cluster VMC avec le protocole iSCSI et Oracle ASM. Nous démontrons également comment utiliser l'outil d'interface utilisateur NetApp SnapCenter pour sauvegarder, restaurer et cloner une base de données Oracle à des fins de développement/test ou pour d'autres cas d'utilisation dans le cadre d'un fonctionnement efficace des bases de données dans le VMC sur AWS.

Cette solution répond aux cas d'utilisation suivants :

Déploiement de bases de données Oracle dans VMC sur AWS avec Amazon FSX ONTAP comme stockage de base de données primaire
Sauvegardez et restaurez vos bases de données Oracle dans VMC sur AWS à l'aide de l'outil NetApp SnapCenter
Clone de base de données Oracle pour le développement/test ou pour d'autres utilisations de VMC sur AWS à l'aide de l'outil NetApp SnapCenter

Public

Cette solution est destinée aux personnes suivantes :

Administrateur de bases de données qui souhaite déployer Oracle dans VMC sur AWS avec Amazon FSX ONTAP
Architecte de solutions de bases de données qui souhaite tester les workloads Oracle dans VMC sur le cloud AWS
Administrateur du stockage qui souhaite déployer et gérer une base de données Oracle déployée sur VMC sur AWS avec Amazon FSX ONTAP
Propriétaire d'applications qui souhaite créer une base de données Oracle dans VMC sur le cloud AWS

Environnement de test et de validation de la solution

Le test et la validation de cette solution ont été réalisés dans un environnement de laboratoire avec VMC sur AWS qui ne correspond peut-être pas à l'environnement de déploiement final. Pour plus d'informations, reportez-vous à la section Facteurs clés à prendre en compte lors du déploiement.

Architecture

Cette image fournit une vue détaillée de la configuration du déploiement Oracle dans le cloud public AWS avec iSCSI et ASM.

Composants matériels et logiciels

Matériel

Stockage ONTAP FSX

Version actuelle proposée par AWS

Un cluster HA FSX ONTAP dans le même VPC et la même zone de disponibilité que VMC

Cluster SDDC VMC

Amazon EC2 i3.Metal à un seul nœud/processeur Intel Xeon E5-2686, 36 cœurs/512 Go de RAM

Stockage VSAN 10.37 To

Logiciel

Red Hat Linux

Noyau RHEL-8.6, 4.18.0-372.9.1.el8.x86_64

Déploiement de l'abonnement Red Hat pour les tests

Serveur Windows

2022 Standard, 10.0.20348 année de construction 20348

Hébergement du serveur SnapCenter

Infrastructure Oracle Grid

Version 19.18

Patch RU appliqué p34762026_190000_Linux-x86-64.zip

Base de données Oracle

Version 19.18

Patch RU appliqué p34765931_190000_Linux-x86-64.zip

OPICH Oracle

Version 12.2.0.1.36

Dernier correctif p6880880_190000_Linux-x86-64.zip

Serveur SnapCenter

Version 4.9P1

Déploiement de groupes de travail

Sauvegarde et restauration BlueXP pour les VM

Version 1.0

Déployée en tant que VM plug-in ova vSphere

VMware vSphere

Version 8.0.1.00300

VMware Tools, version : 11365 - Linux, 12352 - Windows

Ouvrez JDK

Version Java-1.8.0-openjdk.x86_64

Plug-in SnapCenter requis sur les VM de base de données

Configuration de la base de données Oracle dans VMC sur AWS

Serveur

Base de données

Stockage DB

ora_01

cdb1(cdb1_pdb1,cdb1_pdb2,cdb1_pdb3)

Datastore VMDK sur FSX ONTAP

ora_01

cdb2(cdb2_pdb)

Datastore VMDK sur FSX ONTAP

ora_02

cdb3(cdb3_pdb1,cdb3_pdb2,cdb3_pdb3)

FSX ONTAP monté directement sur l'invité

ora_02

cdb4(cdb4_pdb)

FSX ONTAP monté directement sur l'invité

Facteurs clés à prendre en compte lors du déploiement

Connectivité FSX à VMC. Lorsque vous déployez votre SDDC sur VMware Cloud on AWS, il est créé dans un compte AWS et un VPC dédié à votre entreprise et géré par VMware. Vous devez également connecter le SDDC à un compte AWS qui vous appartient, appelé compte AWS du client. Cette connexion permet à votre SDDC d'accéder aux services AWS appartenant à votre compte client. FSX ONTAP est un service AWS déployé dans votre compte client. Une fois que le SDDC VMC est connecté à votre compte client, le stockage FSX est disponible pour les machines virtuelles du SDDC VMC pour un montage invité direct.
Déploiement de clusters HA de stockage FSX à une ou plusieurs zones. Lors de ces tests et validations, nous avons déployé un cluster FSX HA dans une zone de disponibilité AWS unique. NetApp recommande également de déployer FSX ONTAP et VMware Cloud sur AWS dans la même zone de disponibilité pour améliorer les performances et éviter les frais de transfert de données entre les zones de disponibilité.
Dimensionnement du cluster de stockage FSX. Un système de fichiers de stockage Amazon FSX ONTAP fournit jusqu'à 160,000 000 IOPS SSD brutes, un débit jusqu'à 4 Gbit/s et une capacité maximale de 192 Tio. Cependant, vous pouvez dimensionner le cluster en termes d'IOPS provisionnées, de débit et de limite du stockage (au moins 1,024 Gio) en fonction de vos besoins réels au moment du déploiement. La capacité peut être ajustée dynamiquement à la volée sans affecter la disponibilité des applications.
Disposition des données et des journaux Oracle. Dans le cadre de nos tests et de nos validations, nous avons déployé deux groupes de disques ASM respectivement pour les données et les journaux. Au sein du groupe de disques ASM +DATA, nous avons provisionné quatre LUN dans un volume de données. Au sein du groupe de disques asm +LOGS, nous avons provisionné deux LUN dans un volume de journal. En général, plusieurs LUN disposées dans un volume Amazon FSX ONTAP améliorent les performances.
Configuration iSCSI. les VM de base de données du SDDC VMC se connectent au stockage FSX avec le protocole iSCSI. Il est important d'évaluer les besoins en débit d'E/S maximal de la base de données Oracle en analysant soigneusement le rapport Oracle AWR afin de déterminer les besoins en termes d'application et de débit du trafic iSCSI. NetApp recommande également d'allouer quatre connexions iSCSI aux deux terminaux iSCSI FSX avec la configuration correcte des chemins d'accès multiples.
Niveau de redondance Oracle ASM à utiliser pour chaque groupe de disques Oracle ASM que vous créez. comme FSX ONTAP met déjà en miroir le stockage au niveau du cluster FSX, vous devez utiliser la redondance externe, ce qui signifie que l'option ne permet pas à Oracle ASM de mettre en miroir le contenu du groupe de disques.
Sauvegarde de la base de données. NetApp fournit une suite logicielle SnapCenter pour la sauvegarde, la restauration et le clonage de la base de données avec une interface utilisateur conviviale. NetApp recommande de mettre en œuvre cet outil de gestion afin de réaliser rapidement (moins d'une minute) des sauvegardes Snapshot, des restaurations rapides (en minutes) des bases de données et des clones de base de données.

Déploiement de la solution

Les sections suivantes présentent des procédures détaillées pour le déploiement d'Oracle 19c dans VMC sur AWS avec stockage FSX ONTAP directement monté sur DB VM dans une configuration de redémarrage à nœud unique avec Oracle ASM comme gestionnaire de volumes de base de données.

Conditions préalables au déploiement

Details

Le déploiement nécessite les conditions préalables suivantes.

Un data Center Software-defined (SDDC) basé sur VMware Cloud on AWS a été créé. Pour obtenir des instructions détaillées sur la création d'un SDDC dans VMC, reportez-vous à la documentation VMware "Mise en route de VMware Cloud sur AWS"
Un compte AWS a été configuré et les segments de réseau et de VPC nécessaires ont été créés dans votre compte AWS. Le compte AWS est lié à votre SDDC VMC.
À partir de la console AWS EC2, déploiement de clusters haute disponibilité de stockage Amazon FSX ONTAP pour héberger les volumes de base de données Oracle. Si vous ne connaissez pas bien le déploiement du stockage FSX, consultez la documentation "Création de systèmes de fichiers FSX ONTAP" pour obtenir des instructions détaillées.
L'étape ci-dessus peut être effectuée à l'aide de la boîte à outils d'automatisation Terraform suivante, qui crée une instance EC2 en tant qu'hôte de secours pour SDDC dans l'accès VMC via SSH et un système de fichiers FSX. Lisez attentivement les instructions et modifiez les variables en fonction de votre environnement avant de les exécuter.
```
git clone https://github.com/NetApp-Automation/na_aws_fsx_ec2_deploy.git
```
Créez des machines virtuelles dans VMware SDDC sur AWS pour héberger votre environnement Oracle à déployer dans VMC. Dans notre démonstration, nous avons créé deux VM Linux en tant que serveurs BDD Oracle, un serveur Windows pour le serveur SnapCenter et un serveur Linux en option en tant que contrôleur Ansible pour automatiser l'installation ou la configuration Oracle, le cas échéant. Voici un instantané de l'environnement de laboratoire pour la validation de la solution.
NetApp fournit également plusieurs kits d'outils d'automatisation pour exécuter le déploiement et la configuration d'Oracle, le cas échéant. Reportez-vous à la section "Kits d'outils d'automatisation DB" pour en savoir plus.

Assurez-vous d'avoir alloué au moins 50G dans le volume racine d'Oracle VM afin de disposer d'un espace suffisant pour préparer les fichiers d'installation d'Oracle.

Configuration du noyau DB VM

Details

Une fois les conditions requises provisionnées, connectez-vous à la machine virtuelle Oracle en tant qu'utilisateur admin via SSH et effectuez cette opération avec l'utilisateur root pour configurer le noyau Linux pour l'installation d'Oracle. Les fichiers d'installation Oracle peuvent être stockés dans un compartiment AWS S3 et transférés vers la machine virtuelle.

Créez un répertoire de transfert /tmp/archive et définissez le 777 permission.
```
mkdir /tmp/archive
```
```
chmod 777 /tmp/archive
```

Téléchargez et placez les fichiers d'installation binaires Oracle et les autres fichiers rpm requis sur le système /tmp/archive répertoire.

Voir la liste suivante des fichiers d'installation à indiquer dans /tmp/archive Sur la VM de la base de données.

[admin@ora_02 ~]$ ls -l /tmp/archive/
total 10539364
-rw-rw-r--. 1 admin  admin         19112 Oct  4 17:04 compat-libcap1-1.10-7.el7.x86_64.rpm
-rw-rw-r--. 1 admin  admin    3059705302 Oct  4 17:10 LINUX.X64_193000_db_home.zip
-rw-rw-r--. 1 admin  admin    2889184573 Oct  4 17:11 LINUX.X64_193000_grid_home.zip
-rw-rw-r--. 1 admin  admin        589145 Oct  4 17:04 netapp_linux_unified_host_utilities-7-1.x86_64.rpm
-rw-rw-r--. 1 admin  admin         31828 Oct  4 17:04 oracle-database-preinstall-19c-1.0-2.el8.x86_64.rpm
-rw-rw-r--. 1 admin  admin    2872741741 Oct  4 17:12 p34762026_190000_Linux-x86-64.zip
-rw-rw-r--. 1 admin  admin    1843577895 Oct  4 17:13 p34765931_190000_Linux-x86-64.zip
-rw-rw-r--. 1 admin  admin     124347218 Oct  4 17:13 p6880880_190000_Linux-x86-64.zip
-rw-rw-r--. 1 admin  admin        257136 Oct  4 17:04 policycoreutils-python-utils-2.9-9.el8.noarch.rpm
[admin@ora_02 ~]$

Installez le RPM de préinstallation d'Oracle 19c, qui répond à la plupart des exigences de configuration du noyau.
```
yum install /tmp/archive/oracle-database-preinstall-19c-1.0-2.el8.x86_64.rpm
```
Téléchargez et installez les éléments manquants compat-libcap1 Sous Linux 8.
```
yum install /tmp/archive/compat-libcap1-1.10-7.el7.x86_64.rpm
```

Depuis NetApp, téléchargez et installez les utilitaires d'hôtes NetApp.

yum install /tmp/archive/netapp_linux_unified_host_utilities-7-1.x86_64.rpm

Installer policycoreutils-python-utils.

yum install /tmp/archive/policycoreutils-python-utils-2.9-9.el8.noarch.rpm

Installez la version 1.8 du JDK ouvert.
```
yum install java-1.8.0-openjdk.x86_64
```
Installez les utilitaires d'initiateur iSCSI.
```
yum install iscsi-initiator-utils
```
Installez sg3_utils.
```
yum install sg3_utils
```
Installez device-mapper-multipath.
```
yum install device-mapper-multipath
```

Désactivez les hugepages transparentes dans le système actuel.

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

Ajoutez les lignes suivantes dans /etc/rc.local pour désactiver transparent_hugepage après le redémarrage.

vi /etc/rc.local

  # Disable transparent hugepages
          if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
            echo never > /sys/kernel/mm/transparent_hugepage/enabled
          fi
          if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
            echo never > /sys/kernel/mm/transparent_hugepage/defrag
          fi

Désactivez selinux en changeant SELINUX=enforcing à SELINUX=disabled. Vous devez redémarrer l'hôte pour que la modification soit effective.
```
vi /etc/sysconfig/selinux
```

Ajoutez les lignes suivantes à limit.conf pour définir la limite du descripteur de fichier et la taille de la pile.

vi /etc/security/limits.conf

*               hard    nofile          65536
*               soft    stack           10240

Ajoutez un espace de swap à la VM de base de données si aucun espace de swap n'est configuré avec cette instruction : "Comment allouer de la mémoire pour qu'elle fonctionne en tant qu'espace d'échange dans une instance Amazon EC2 en utilisant un fichier d'échange ?" La quantité exacte d'espace à ajouter dépend de la taille de la RAM jusqu'à 16 G.
Changer node.session.timeo.replacement_timeout dans le iscsi.conf fichier de configuration de 120 à 5 secondes.
```
vi /etc/iscsi/iscsid.conf
```
Activez et démarrez le service iSCSI sur l'instance EC2.
```
systemctl enable iscsid
```
```
systemctl start iscsid
```
Récupérez l'adresse de l'initiateur iSCSI à utiliser pour le mappage de LUN de base de données.
```
cat /etc/iscsi/initiatorname.iscsi
```
Ajoutez les groupes asm pour l'utilisateur de gestion asm (oracle).
```
groupadd asmadmin
```
```
groupadd asmdba
```
```
groupadd asmoper
```
Modifiez l'utilisateur oracle pour ajouter des groupes asm en tant que groupes secondaires (l'utilisateur oracle doit avoir été créé après l'installation du RPM de préinstallation d'Oracle).
```
usermod -a -G asmadmin oracle
```
```
usermod -a -G asmdba oracle
```
```
usermod -a -G asmoper oracle
```
Arrêtez et désactivez le pare-feu Linux s'il est actif.
```
systemctl stop firewalld
```
```
systemctl disable firewalld
```
Activez le sudo sans mot de passe pour l'utilisateur admin en décotant les commentaires # %wheel ALL=(ALL) NOPASSWD: ALL ligne dans le fichier /etc/sudoers. Modifiez l'autorisation de fichier pour effectuer la modification.
```
chmod 640 /etc/sudoers
```
```
vi /etc/sudoers
```
```
chmod 440 /etc/sudoers
```
Redémarrez l'instance EC2.

Provisionnez et mappez les LUN FSX ONTAP vers la VM de base de données

Details

Provisionnez trois volumes à partir de la ligne de commande en vous connectant au cluster FSX en tant qu'utilisateur fsxadmin via ssh et l'IP de gestion du cluster FSX. Créez des LUN au sein des volumes pour héberger les fichiers binaires, de données et de journaux de la base de données Oracle.

Connectez-vous au cluster FSX via SSH en tant qu'utilisateur fsxadmin.
```
ssh fsxadmin@10.49.0.74
```

Exécutez la commande suivante pour créer un volume pour le binaire Oracle.

vol create -volume ora_02_biny -aggregate aggr1 -size 50G -state online  -type RW -snapshot-policy none -tiering-policy snapshot-only

Exécutez la commande suivante pour créer un volume pour les données Oracle.

vol create -volume ora_02_data -aggregate aggr1 -size 100G -state online  -type RW -snapshot-policy none -tiering-policy snapshot-only

Exécutez la commande suivante pour créer un volume pour les journaux Oracle.

vol create -volume ora_02_logs -aggregate aggr1 -size 100G -state online  -type RW -snapshot-policy none -tiering-policy snapshot-only

Validez les volumes créés.

vol show ora*

Résultat de la commande :

FsxId0c00cec8dad373fd1::> vol show ora*
Vserver   Volume       Aggregate    State      Type       Size  Available Used%
--------- ------------ ------------ ---------- ---- ---------- ---------- -----
nim       ora_02_biny  aggr1        online     RW         50GB    22.98GB   51%
nim       ora_02_data  aggr1        online     RW        100GB    18.53GB   80%
nim       ora_02_logs  aggr1        online     RW         50GB     7.98GB   83%

Créez une LUN binaire dans le volume binaire de la base de données.

lun create -path /vol/ora_02_biny/ora_02_biny_01 -size 40G -ostype linux

Créez des LUN de données au sein du volume de données de la base de données.

lun create -path /vol/ora_02_data/ora_02_data_01 -size 20G -ostype linux

lun create -path /vol/ora_02_data/ora_02_data_02 -size 20G -ostype linux

lun create -path /vol/ora_02_data/ora_02_data_03 -size 20G -ostype linux

lun create -path /vol/ora_02_data/ora_02_data_04 -size 20G -ostype linux

Créez des LUN de journal dans le volume des journaux de base de données.

lun create -path /vol/ora_02_logs/ora_02_logs_01 -size 40G -ostype linux

lun create -path /vol/ora_02_logs/ora_02_logs_02 -size 40G -ostype linux

Créez un groupe initiateur pour l'instance EC2 avec l'initiateur extrait de l'étape 14 de la configuration du noyau EC2 ci-dessus.
```
igroup create -igroup ora_02 -protocol iscsi -ostype linux -initiator iqn.1994-05.com.redhat:f65fed7641c2
```

Mappez les LUN sur le groupe initiateur créé ci-dessus. Incrémenter l'ID de LUN de manière séquentielle pour chaque LUN supplémentaire.

lun map -path /vol/ora_02_biny/ora_02_biny_01 -igroup ora_02 -vserver svm_ora -lun-id 0
lun map -path /vol/ora_02_data/ora_02_data_01 -igroup ora_02 -vserver svm_ora -lun-id 1
lun map -path /vol/ora_02_data/ora_02_data_02 -igroup ora_02 -vserver svm_ora -lun-id 2
lun map -path /vol/ora_02_data/ora_02_data_03 -igroup ora_02 -vserver svm_ora -lun-id 3
lun map -path /vol/ora_02_data/ora_02_data_04 -igroup ora_02 -vserver svm_ora -lun-id 4
lun map -path /vol/ora_02_logs/ora_02_logs_01 -igroup ora_02 -vserver svm_ora -lun-id 5
lun map -path /vol/ora_02_logs/ora_02_logs_02 -igroup ora_02 -vserver svm_ora -lun-id 6

Validez le mappage de LUN.

mapping show

Cela devrait revenir :

FsxId0c00cec8dad373fd1::> mapping show
  (lun mapping show)
Vserver    Path                                      Igroup   LUN ID  Protocol
---------- ----------------------------------------  -------  ------  --------
nim        /vol/ora_02_biny/ora_02_u01_01            ora_02        0  iscsi
nim        /vol/ora_02_data/ora_02_u02_01            ora_02        1  iscsi
nim        /vol/ora_02_data/ora_02_u02_02            ora_02        2  iscsi
nim        /vol/ora_02_data/ora_02_u02_03            ora_02        3  iscsi
nim        /vol/ora_02_data/ora_02_u02_04            ora_02        4  iscsi
nim        /vol/ora_02_logs/ora_02_u03_01            ora_02        5  iscsi
nim        /vol/ora_02_logs/ora_02_u03_02            ora_02        6  iscsi

Configuration du stockage de la BD VM

Details

Importez et configurez maintenant le stockage FSX ONTAP pour l'infrastructure de réseau Oracle et l'installation de base de données sur la machine virtuelle de base de données VMC.

Connectez-vous à la VM de base de données via SSH en tant qu'utilisateur admin à l'aide de Putty à partir du serveur Jump de Windows.
Découvrez les terminaux iSCSI FSX en utilisant l'une ou l'autre des adresses IP iSCSI du SVM. Modifiez l'adresse de votre portail spécifique à votre environnement.
```
sudo iscsiadm iscsiadm --mode discovery --op update --type sendtargets --portal 10.49.0.12
```

Établissez des sessions iSCSI en vous connectant à chaque cible.

sudo iscsiadm --mode node -l all

Le résultat attendu de la commande est :

[ec2-user@ip-172-30-15-58 ~]$ sudo iscsiadm --mode node -l all
Logging in to [iface: default, target: iqn.1992-08.com.netapp:sn.1f795e65c74911edb785affbf0a2b26e:vs.3, portal: 10.49.0.12,3260]
Logging in to [iface: default, target: iqn.1992-08.com.netapp:sn.1f795e65c74911edb785affbf0a2b26e:vs.3, portal: 10.49.0.186,3260]
Login to [iface: default, target: iqn.1992-08.com.netapp:sn.1f795e65c74911edb785affbf0a2b26e:vs.3, portal: 10.49.0.12,3260] successful.
Login to [iface: default, target: iqn.1992-08.com.netapp:sn.1f795e65c74911edb785affbf0a2b26e:vs.3, portal: 10.49.0.186,3260] successful.

Afficher et valider une liste de sessions iSCSI actives.

sudo iscsiadm --mode session

Retournez les sessions iSCSI.

[ec2-user@ip-172-30-15-58 ~]$ sudo iscsiadm --mode session
tcp: [1] 10.49.0.186:3260,1028 iqn.1992-08.com.netapp:sn.545a38bf06ac11ee8503e395ab90d704:vs.3 (non-flash)
tcp: [2] 10.49.0.12:3260,1029 iqn.1992-08.com.netapp:sn.545a38bf06ac11ee8503e395ab90d704:vs.3 (non-flash)

Vérifiez que les LUN ont été importées dans l'hôte.

sudo sanlun lun show

Cette action renvoie une liste des LUN Oracle à partir de FSX.

[admin@ora_02 ~]$ sudo sanlun lun show
controller(7mode/E-Series)/                                                  device          host                  lun
vserver(cDOT/FlashRay)        lun-pathname                                   filename        adapter    protocol   size    product
-------------------------------------------------------------------------------------------------------------------------------
nim                           /vol/ora_02_logs/ora_02_u03_02                 /dev/sdo        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_logs/ora_02_u03_01                 /dev/sdn        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_04                 /dev/sdm        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_03                 /dev/sdl        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_02                 /dev/sdk        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_01                 /dev/sdj        host34     iSCSI      20g     cDOT
nim                           /vol/ora_02_biny/ora_02_u01_01                 /dev/sdi        host34     iSCSI      40g     cDOT
nim                           /vol/ora_02_logs/ora_02_u03_02                 /dev/sdh        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_logs/ora_02_u03_01                 /dev/sdg        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_04                 /dev/sdf        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_03                 /dev/sde        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_02                 /dev/sdd        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_data/ora_02_u02_01                 /dev/sdc        host33     iSCSI      20g     cDOT
nim                           /vol/ora_02_biny/ora_02_u01_01                 /dev/sdb        host33     iSCSI      40g     cDOT

Configurer le multipath.conf fichier avec les entrées par défaut et liste noire suivantes.

sudo vi /etc/multipath.conf

Ajouter les entrées suivantes :

defaults {
    find_multipaths yes
    user_friendly_names yes
}

blacklist {
    devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
    devnode "^hd[a-z]"
    devnode "^cciss.*"
}

Démarrez le service multivoie.

sudo systemctl start multipathd

Les périphériques à chemins d'accès multiples apparaissent désormais dans le /dev/mapper répertoire.

[ec2-user@ip-172-30-15-58 ~]$ ls -l /dev/mapper
total 0
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e68512d -> ../dm-0
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685141 -> ../dm-1
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685142 -> ../dm-2
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685143 -> ../dm-3
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685144 -> ../dm-4
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685145 -> ../dm-5
lrwxrwxrwx 1 root root       7 Mar 21 20:13 3600a09806c574235472455534e685146 -> ../dm-6
crw------- 1 root root 10, 236 Mar 21 18:19 control

Connectez-vous au cluster FSX ONTAP en tant qu'utilisateur fsxadmin via SSH pour récupérer le numéro serial-hex de chaque LUN commençant par 6c574xxx…, le numéro HEX commence par 3600a0980, qui est l'ID du fournisseur AWS.

lun show -fields serial-hex

et retournez comme suit :

FsxId02ad7bf3476b741df::> lun show -fields serial-hex
vserver path                            serial-hex
------- ------------------------------- ------------------------
svm_ora /vol/ora_02_biny/ora_02_biny_01 6c574235472455534e68512d
svm_ora /vol/ora_02_data/ora_02_data_01 6c574235472455534e685141
svm_ora /vol/ora_02_data/ora_02_data_02 6c574235472455534e685142
svm_ora /vol/ora_02_data/ora_02_data_03 6c574235472455534e685143
svm_ora /vol/ora_02_data/ora_02_data_04 6c574235472455534e685144
svm_ora /vol/ora_02_logs/ora_02_logs_01 6c574235472455534e685145
svm_ora /vol/ora_02_logs/ora_02_logs_02 6c574235472455534e685146
7 entries were displayed.

Mettez à jour le /dev/multipath.conf fichier pour ajouter un nom convivial pour le périphérique à chemins d'accès multiples.

sudo vi /etc/multipath.conf

avec les entrées suivantes :

multipaths {
        multipath {
                wwid            3600a09806c574235472455534e68512d
                alias           ora_02_biny_01
        }
        multipath {
                wwid            3600a09806c574235472455534e685141
                alias           ora_02_data_01
        }
        multipath {
                wwid            3600a09806c574235472455534e685142
                alias           ora_02_data_02
        }
        multipath {
                wwid            3600a09806c574235472455534e685143
                alias           ora_02_data_03
        }
        multipath {
                wwid            3600a09806c574235472455534e685144
                alias           ora_02_data_04
        }
        multipath {
                wwid            3600a09806c574235472455534e685145
                alias           ora_02_logs_01
        }
        multipath {
                wwid            3600a09806c574235472455534e685146
                alias           ora_02_logs_02
        }
}

Redémarrez le service multivoie pour vérifier que les périphériques sous /dev/mapper Ont été modifiés en noms de LUN et non en ID HEX série.

sudo systemctl restart multipathd

Fait /dev/mapper pour revenir comme suit :

[ec2-user@ip-172-30-15-58 ~]$ ls -l /dev/mapper
total 0
crw------- 1 root root 10, 236 Mar 21 18:19 control
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_biny_01 -> ../dm-0
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_data_01 -> ../dm-1
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_data_02 -> ../dm-2
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_data_03 -> ../dm-3
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_data_04 -> ../dm-4
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_logs_01 -> ../dm-5
lrwxrwxrwx 1 root root       7 Mar 21 20:41 ora_02_logs_02 -> ../dm-6

Partitionnez la LUN binaire avec une seule partition principale.
```
sudo fdisk /dev/mapper/ora_02_biny_01
```
Formatez la LUN binaire partitionnée avec un système de fichiers XFS.
```
sudo mkfs.xfs /dev/mapper/ora_02_biny_01p1
```

Montez la LUN binaire sur /u01.

sudo mkdir /u01

sudo mount -t xfs /dev/mapper/ora_02_biny_01p1 /u01

Changer /u01 propriété du point de montage pour l'utilisateur oracle et son groupe principal associé.
```
sudo chown oracle:oinstall /u01
```
Recherchez l'UUI de la LUN binaire.
```
sudo blkid /dev/mapper/ora_02_biny_01p1
```

Ajoutez un point de montage à /etc/fstab.

sudo vi /etc/fstab

Ajoutez la ligne suivante.

UUID=d89fb1c9-4f89-4de4-b4d9-17754036d11d       /u01    xfs     defaults,nofail 0       2

En tant qu'utilisateur root, ajoutez la règle udev pour les périphériques Oracle.

vi /etc/udev/rules.d/99-oracle-asmdevices.rules

Inclure les entrées suivantes :

ENV{DM_NAME}=="ora*", GROUP:="oinstall", OWNER:="oracle", MODE:="660"

En tant qu'utilisateur root, rechargez les règles udev.
```
udevadm control --reload-rules
```
En tant qu'utilisateur root, déclenchez les règles udev.
```
udevadm trigger
```
En tant qu'utilisateur root, rechargez multipathd.
```
systemctl restart multipathd
```
Redémarrez l'hôte d'instance EC2.

Installation de l'infrastructure réseau Oracle

Details

Connectez-vous à la VM de base de données en tant qu'utilisateur admin via SSH et activez l'authentification par mot de passe en effectuant les opérations sans commentaire PasswordAuthentication yes puis commenter PasswordAuthentication no.
```
sudo vi /etc/ssh/sshd_config
```
Redémarrez le service sshd.
```
sudo systemctl restart sshd
```
Réinitialisez le mot de passe de l'utilisateur Oracle.
```
sudo passwd oracle
```
Connectez-vous en tant qu'utilisateur propriétaire du logiciel Oracle Restart (oracle). Créez un répertoire Oracle comme suit :
```
mkdir -p /u01/app/oracle
```
```
mkdir -p /u01/app/oraInventory
```
Modifiez le paramètre d'autorisation de répertoire.
```
chmod -R 775 /u01/app
```

Créez un répertoire racine de grille et modifiez-le.

mkdir -p /u01/app/oracle/product/19.0.0/grid

cd /u01/app/oracle/product/19.0.0/grid

Décompressez les fichiers d'installation de la grille.
```
unzip -q /tmp/archive/LINUX.X64_193000_grid_home.zip
```
Dans la page d'accueil de la grille, supprimez le OPatch répertoire.
```
rm -rf OPatch
```
À partir de la grille d'accueil, décompressez p6880880_190000_Linux-x86-64.zip.
```
unzip -q /tmp/archive/p6880880_190000_Linux-x86-64.zip
```
A partir de la page d'accueil de la grille, réviser cv/admin/cvu_config, supprimer et remplacer CV_ASSUME_DISTID=OEL5 avec CV_ASSUME_DISTID=OL7.
```
vi cv/admin/cvu_config
```

Préparer un gridsetup.rsp pour une installation silencieuse et placez le fichier rsp dans le /tmp/archive répertoire. Le fichier rsp doit couvrir les sections A, B et G avec les informations suivantes :

INVENTORY_LOCATION=/u01/app/oraInventory
oracle.install.option=HA_CONFIG
ORACLE_BASE=/u01/app/oracle
oracle.install.asm.OSDBA=asmdba
oracle.install.asm.OSOPER=asmoper
oracle.install.asm.OSASM=asmadmin
oracle.install.asm.SYSASMPassword="SetPWD"
oracle.install.asm.diskGroup.name=DATA
oracle.install.asm.diskGroup.redundancy=EXTERNAL
oracle.install.asm.diskGroup.AUSize=4
oracle.install.asm.diskGroup.disks=/dev/mapper/ora_02_data_01,/dev/mapper/ora_02_data_02,/dev/mapper/ora_02_data_03,/dev/mapper/ora_02_data_04
oracle.install.asm.diskGroup.diskDiscoveryString=/dev/mapper/*
oracle.install.asm.monitorPassword="SetPWD"
oracle.install.asm.configureAFD=true

Connectez-vous à l'instance EC2 en tant qu'utilisateur root et définissez-la ORACLE_HOME et ORACLE_BASE.

export ORACLE_HOME=/u01/app/oracle/product/19.0.0/

export ORACLE_BASE=/tmp

cd /u01/app/oracle/product/19.0.0/grid/bin

Initialiser les périphériques de disque pour une utilisation avec le pilote de filtre Oracle ASM.

 ./asmcmd afd_label DATA01 /dev/mapper/ora_02_data_01 --init

 ./asmcmd afd_label DATA02 /dev/mapper/ora_02_data_02 --init

 ./asmcmd afd_label DATA03 /dev/mapper/ora_02_data_03 --init

 ./asmcmd afd_label DATA04 /dev/mapper/ora_02_data_04 --init

 ./asmcmd afd_label LOGS01 /dev/mapper/ora_02_logs_01 --init

 ./asmcmd afd_label LOGS02 /dev/mapper/ora_02_logs_02 --init

Installer cvuqdisk-1.0.10-1.rpm.

rpm -ivh /u01/app/oracle/product/19.0.0/grid/cv/rpm/cvuqdisk-1.0.10-1.rpm

Non défini $ORACLE_BASE.
```
unset ORACLE_BASE
```
Connectez-vous à l'instance EC2 en tant qu'utilisateur Oracle et extrayez le correctif dans /tmp/archive dossier.
```
unzip -q /tmp/archive/p34762026_190000_Linux-x86-64.zip -d /tmp/archive
```
Depuis GRID home /u01/app/oracle/product/19.0.0/grid et en tant qu'utilisateur oracle, lancez gridSetup.sh pour l'installation de l'infrastructure de grille.
```
 ./gridSetup.sh -applyRU /tmp/archive/34762026/ -silent -responseFile /tmp/archive/gridsetup.rsp
```

En tant qu'utilisateur root, exécutez le(s) script(s) suivant(s) :

/u01/app/oraInventory/orainstRoot.sh

/u01/app/oracle/product/19.0.0/grid/root.sh

En tant qu'utilisateur root, rechargez le multipathd.
```
systemctl restart multipathd
```

En tant qu'utilisateur Oracle, exécutez la commande suivante pour terminer la configuration :

/u01/app/oracle/product/19.0.0/grid/gridSetup.sh -executeConfigTools -responseFile /tmp/archive/gridsetup.rsp -silent

En tant qu'utilisateur Oracle, créez le groupe de disques DES JOURNAUX.

bin/asmca -silent -sysAsmPassword 'yourPWD' -asmsnmpPassword 'yourPWD' -createDiskGroup -diskGroupName LOGS -disk 'AFD:LOGS*' -redundancy EXTERNAL -au_size 4

En tant qu'utilisateur Oracle, validez les services GRID après l'installation de la configuration.

bin/crsctl stat res -t

[oracle@ora_02 grid]$ bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.LISTENER.lsnr
               ONLINE  INTERMEDIATE ora_02                   Not All Endpoints Re
                                                             gistered,STABLE
ora.LOGS.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.asm
               ONLINE  ONLINE       ora_02                   Started,STABLE
ora.ons
               OFFLINE OFFLINE      ora_02                   STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.cssd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.driver.afd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.evmd
      1        ONLINE  ONLINE       ora_02                   STABLE
--------------------------------------------------------------------------------

État du pilote du filtre Valiate ASM.

[oracle@ora_02 grid]$ export ORACLE_HOME=/u01/app/oracle/product/19.0.0/grid
[oracle@ora_02 grid]$ export ORACLE_SID=+ASM
[oracle@ora_02 grid]$ export PATH=$PATH:$ORACLE_HOME/bin
[oracle@ora_02 grid]$ asmcmd
ASMCMD> lsdg
State    Type    Rebal  Sector  Logical_Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
MOUNTED  EXTERN  N         512             512   4096  4194304     81920    81780                0           81780              0             N  DATA/
MOUNTED  EXTERN  N         512             512   4096  4194304     40960    40852                0           40852              0             N  LOGS/
ASMCMD> afd_state
ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'ora_02'
ASMCMD> exit
[oracle@ora_02 grid]$

Validez l'état du service HA.

[oracle@ora_02 bin]$ ./crsctl check has
CRS-4638: Oracle High Availability Services is online

Installation de la base de données Oracle

Details

Connectez-vous en tant qu'utilisateur Oracle et annulez la configuration $ORACLE_HOME et $ORACLE_SID s'il est défini.
```
unset ORACLE_HOME
```
```
unset ORACLE_SID
```
Créez le répertoire racine de la base de données Oracle et remplacez-le par celui-ci.
```
mkdir /u01/app/oracle/product/19.0.0/cdb3
```
```
cd /u01/app/oracle/product/19.0.0/cdb3
```
Décompressez les fichiers d'installation de la base de données Oracle.
```
unzip -q /tmp/archive/LINUX.X64_193000_db_home.zip
```
Dans la base de données d'accueil, supprimez le OPatch répertoire.
```
rm -rf OPatch
```
À partir de la base de données d'accueil, décompressez p6880880_190000_Linux-x86-64.zip.
```
unzip -q /tmp/archive/p6880880_190000_Linux-x86-64.zip
```
A partir de DB Home, réviser cv/admin/cvu_config et retirez le commentaire et remplacez CV_ASSUME_DISTID=OEL5 avec CV_ASSUME_DISTID=OL7.
```
vi cv/admin/cvu_config
```

À partir du /tmp/archive Décompressez le correctif DB 19.18 RU.

unzip -q /tmp/archive/p34765931_190000_Linux-x86-64.zip -d /tmp/archive

Préparez le fichier rsp d'installation silencieuse DB dans /tmp/archive/dbinstall.rsp répertoire avec les valeurs suivantes :

oracle.install.option=INSTALL_DB_SWONLY
UNIX_GROUP_NAME=oinstall
INVENTORY_LOCATION=/u01/app/oraInventory
ORACLE_HOME=/u01/app/oracle/product/19.0.0/cdb3
ORACLE_BASE=/u01/app/oracle
oracle.install.db.InstallEdition=EE
oracle.install.db.OSDBA_GROUP=dba
oracle.install.db.OSOPER_GROUP=oper
oracle.install.db.OSBACKUPDBA_GROUP=oper
oracle.install.db.OSDGDBA_GROUP=dba
oracle.install.db.OSKMDBA_GROUP=dba
oracle.install.db.OSRACDBA_GROUP=dba
oracle.install.db.rootconfig.executeRootScript=false

A partir de cdb3 home /u01/app/oracle/product/19.0.0/cdb3, exécutez l'installation silencieuse de la base de données logicielle uniquement.
```
 ./runInstaller -applyRU /tmp/archive/34765931/ -silent -ignorePrereqFailure -responseFile /tmp/archive/dbinstall.rsp
```
En tant qu'utilisateur root, exécutez le root.sh script après l'installation du logiciel uniquement.
```
/u01/app/oracle/product/19.0.0/db1/root.sh
```

En tant qu'utilisateur oracle, créez le dbca.rsp fichier avec les entrées suivantes :

gdbName=cdb3.demo.netapp.com
sid=cdb3
createAsContainerDatabase=true
numberOfPDBs=3
pdbName=cdb3_pdb
useLocalUndoForPDBs=true
pdbAdminPassword="yourPWD"
templateName=General_Purpose.dbc
sysPassword="yourPWD"
systemPassword="yourPWD"
dbsnmpPassword="yourPWD"
datafileDestination=+DATA
recoveryAreaDestination=+LOGS
storageType=ASM
diskGroupName=DATA
characterSet=AL32UTF8
nationalCharacterSet=AL16UTF16
listeners=LISTENER
databaseType=MULTIPURPOSE
automaticMemoryManagement=false
totalMemory=8192

En tant qu'utilisateur oracle, lancez la création de base de données avec dbca.
```
bin/dbca -silent -createDatabase -responseFile /tmp/archive/dbca.rsp
```
résultat :

Prepare for db operation
7% complete
Registering database with Oracle Restart
11% complete
Copying database files
33% complete
Creating and starting Oracle instance
35% complete
38% complete
42% complete
45% complete
48% complete
Completing Database Creation
53% complete
55% complete
56% complete
Creating Pluggable Databases
60% complete
64% complete
69% complete
78% complete
Executing Post Configuration Actions
100% complete
Database creation complete. For details check the logfiles at:
 /u01/app/oracle/cfgtoollogs/dbca/cdb3.
Database Information:
Global Database Name:cdb3.vmc.netapp.com
System Identifier(SID):cdb3
Look at the log file "/u01/app/oracle/cfgtoollogs/dbca/cdb3/cdb3.log" for further details.

Répétez les mêmes procédures à partir de l'étape 2 pour créer une base de données de conteneur cdb4 dans un fichier séparé ORACLE_HOME /u01/app/oracle/product/19.0.0/cdb4 avec un seul PDB.

En tant qu'utilisateur Oracle, validez les services Oracle Restart HA après la création de la base de données pour vous assurer que toutes les bases de données (cdb3, cdb4) sont enregistrées avec les services HA.

/u01/app/oracle/product/19.0.0/grid/crsctl stat res -t

résultat :

[oracle@ora_02 bin]$ ./crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.LISTENER.lsnr
               ONLINE  INTERMEDIATE ora_02                   Not All Endpoints Re
                                                             gistered,STABLE
ora.LOGS.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.asm
               ONLINE  ONLINE       ora_02                   Started,STABLE
ora.ons
               OFFLINE OFFLINE      ora_02                   STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.cdb3.db
      1        ONLINE  ONLINE       ora_02                   Open,HOME=/u01/app/o
                                                             racle/product/19.0.0
                                                             /cdb3,STABLE
ora.cdb4.db
      1        ONLINE  ONLINE       ora_02                   Open,HOME=/u01/app/o
                                                             racle/product/19.0.0
                                                             /cdb4,STABLE
ora.cssd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.driver.afd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.evmd
      1        ONLINE  ONLINE       ora_02                   STABLE
--------------------------------------------------------------------------------

Définissez l'utilisateur Oracle .bash_profile.

vi ~/.bash_profile

Ajouter les entrées suivantes :

export ORACLE_HOME=/u01/app/oracle/product/19.0.0/db3
export ORACLE_SID=db3
export PATH=$PATH:$ORACLE_HOME/bin
alias asm='export ORACLE_HOME=/u01/app/oracle/product/19.0.0/grid;export ORACLE_SID=+ASM;export PATH=$PATH:$ORACLE_HOME/bin'
alias cdb3='export ORACLE_HOME=/u01/app/oracle/product/19.0.0/cdb3;export ORACLE_SID=cdb3;export PATH=$PATH:$ORACLE_HOME/bin'
alias cdb4='export ORACLE_HOME=/u01/app/oracle/product/19.0.0/cdb4;export ORACLE_SID=cdb4;export PATH=$PATH:$ORACLE_HOME/bin'

Validez le CDB/PDB créé pour cdb3.

cdb3

[oracle@ora_02 ~]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Oct 9 08:19:20 2023
Version 19.18.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.18.0.0.0

SQL> select name, open_mode from v$database;

NAME      OPEN_MODE
--------- --------------------
CDB3      READ WRITE

SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 CDB3_PDB1                      READ WRITE NO
         4 CDB3_PDB2                      READ WRITE NO
         5 CDB3_PDB3                      READ WRITE NO
SQL>

SQL> select name from v$datafile;

NAME
--------------------------------------------------------------------------------
+DATA/CDB3/DATAFILE/system.257.1149420273
+DATA/CDB3/DATAFILE/sysaux.258.1149420317
+DATA/CDB3/DATAFILE/undotbs1.259.1149420343
+DATA/CDB3/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.266.1149421085
+DATA/CDB3/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.267.1149421085
+DATA/CDB3/DATAFILE/users.260.1149420343
+DATA/CDB3/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.268.1149421085
+DATA/CDB3/06FB206DF15ADEE8E065025056B66295/DATAFILE/system.272.1149422017
+DATA/CDB3/06FB206DF15ADEE8E065025056B66295/DATAFILE/sysaux.273.1149422017
+DATA/CDB3/06FB206DF15ADEE8E065025056B66295/DATAFILE/undotbs1.271.1149422017
+DATA/CDB3/06FB206DF15ADEE8E065025056B66295/DATAFILE/users.275.1149422033

NAME
--------------------------------------------------------------------------------
+DATA/CDB3/06FB21766256DF9AE065025056B66295/DATAFILE/system.277.1149422033
+DATA/CDB3/06FB21766256DF9AE065025056B66295/DATAFILE/sysaux.278.1149422033
+DATA/CDB3/06FB21766256DF9AE065025056B66295/DATAFILE/undotbs1.276.1149422033
+DATA/CDB3/06FB21766256DF9AE065025056B66295/DATAFILE/users.280.1149422049
+DATA/CDB3/06FB22629AC1DFD7E065025056B66295/DATAFILE/system.282.1149422049
+DATA/CDB3/06FB22629AC1DFD7E065025056B66295/DATAFILE/sysaux.283.1149422049
+DATA/CDB3/06FB22629AC1DFD7E065025056B66295/DATAFILE/undotbs1.281.1149422049
+DATA/CDB3/06FB22629AC1DFD7E065025056B66295/DATAFILE/users.285.1149422063

19 rows selected.

SQL>

Validez le CDB/PDB créé pour cdb4.

cdb4

[oracle@ora_02 ~]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Mon Oct 9 08:20:26 2023
Version 19.18.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.18.0.0.0

SQL> select name, open_mode from v$database;

NAME      OPEN_MODE
--------- --------------------
CDB4      READ WRITE

SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 CDB4_PDB                       READ WRITE NO
SQL>

SQL> select name from v$datafile;

NAME
--------------------------------------------------------------------------------
+DATA/CDB4/DATAFILE/system.286.1149424943
+DATA/CDB4/DATAFILE/sysaux.287.1149424989
+DATA/CDB4/DATAFILE/undotbs1.288.1149425015
+DATA/CDB4/86B637B62FE07A65E053F706E80A27CA/DATAFILE/system.295.1149425765
+DATA/CDB4/86B637B62FE07A65E053F706E80A27CA/DATAFILE/sysaux.296.1149425765
+DATA/CDB4/DATAFILE/users.289.1149425015
+DATA/CDB4/86B637B62FE07A65E053F706E80A27CA/DATAFILE/undotbs1.297.1149425765
+DATA/CDB4/06FC3070D5E12C23E065025056B66295/DATAFILE/system.301.1149426581
+DATA/CDB4/06FC3070D5E12C23E065025056B66295/DATAFILE/sysaux.302.1149426581
+DATA/CDB4/06FC3070D5E12C23E065025056B66295/DATAFILE/undotbs1.300.1149426581
+DATA/CDB4/06FC3070D5E12C23E065025056B66295/DATAFILE/users.304.1149426597

11 rows selected.

Connectez-vous à chaque cdb en tant que sysdba avec sqlplus et définissez la taille de destination de la restauration de la base de données sur la taille du groupe de disques +LOGS pour les deux cdbs.
```
alter system set db_recovery_file_dest_size = 40G scope=both;
```
Connectez-vous à chaque cdb en tant que sysdba avec sqlplus et activez le mode journal d'archivage avec les jeux de commandes suivants dans l'ordre.
```
sqlplus /as sysdba
```
```
shutdown immediate;
```
```
startup mount;
```
```
alter database archivelog;
```
```
alter database open;
```

Le déploiement de redémarrage d'Oracle 19c version 19.18 est terminé sur un stockage Amazon FSX ONTAP et une machine virtuelle de base de données VMC. Si vous le souhaitez, NetApp vous recommande de déplacer le fichier de contrôle Oracle et les fichiers journaux en ligne vers le groupe de disques +LOGS.

Sauvegarde, restauration et clonage Oracle avec SnapCenter

Configuration SnapCenter

Details

SnapCenter s'appuie sur un plug-in côté hôte sur la machine virtuelle de base de données pour effectuer des activités de gestion de la protection des données intégrant la cohérence applicative. Pour plus d'informations sur le plug-in NetApp SnapCenter pour Oracle, reportez-vous à cette documentation "Quelles sont les possibilités possibles grâce au plug-in pour Oracle Database". Vous trouverez ci-dessous des étapes générales de configuration de SnapCenter pour la sauvegarde, la restauration et le clonage de bases de données Oracle.

Téléchargez la dernière version du logiciel SnapCenter sur le site de support NetApp : "Téléchargements de support NetApp".

En tant qu'administrateur, installez le JDK Java le plus récent à partir de "Obtenir Java pour les applications de bureau" Sur l'hôte Windows du serveur SnapCenter.

Si le serveur Windows est déployé dans un environnement de domaine, ajoutez un utilisateur de domaine au groupe d'administrateurs locaux du serveur SnapCenter et exécutez l'installation SnapCenter avec l'utilisateur de domaine.

Connectez-vous à l'interface utilisateur SnapCenter via le port HTTPS 8846 en tant qu'utilisateur d'installation pour configurer SnapCenter pour Oracle.
Mise à jour Hypervisor Settings dans les paramètres globaux.
Créez des règles de sauvegarde de base de données Oracle. Dans l'idéal, créez une stratégie de sauvegarde de journal d'archivage distincte pour permettre des intervalles de sauvegarde plus fréquents afin de minimiser la perte de données en cas de panne.
Ajouter un serveur de base de données Credential Pour l'accès SnapCenter à DB VM. Les informations d'identification doivent avoir le privilège sudo sur une machine virtuelle Linux ou un privilège d'administrateur sur une machine virtuelle Windows.
Ajoutez le cluster de stockage FSX ONTAP à Storage Systems Avec IP de gestion de cluster et authentifié via l'ID utilisateur fsxadmin.
Ajouter la machine virtuelle de base de données Oracle dans VMC à Hosts avec les informations d'identification du serveur créées à l'étape précédente 6.

Assurez-vous que le nom du serveur SnapCenter peut être résolu sur l'adresse IP à partir de la VM DB et que le nom de la VM DB peut être résolu sur l'adresse IP à partir du serveur SnapCenter.

Sauvegarde de la base de données

Details

SnapCenter exploite la copie Snapshot de volume FSX ONTAP pour une sauvegarde, une restauration ou un clonage de base de données beaucoup plus rapide qu'avec la méthodologie RMAN classique. Les snapshots sont cohérents au niveau des applications, car la base de données est placée en mode de sauvegarde Oracle avant un snapshot.

À partir du Resources Toutes les bases de données de la machine virtuelle sont découvertes automatiquement après l'ajout de la machine virtuelle à SnapCenter. Initialement, l'état de la base de données s'affiche comme Not protected.
Créez un groupe de ressources pour sauvegarder la base de données dans un regroupement logique tel que par DB VM, etc Dans cet exemple, nous avons créé un groupe ora_02_data pour effectuer une sauvegarde complète des bases de données en ligne pour toutes les bases de données sur VM ora_02. Le groupe de ressources ora_02_log effectue la sauvegarde des journaux archivés uniquement sur la machine virtuelle. La création d'un groupe de ressources définit également un programme d'exécution de la sauvegarde.
La sauvegarde du groupe de ressources peut également être déclenchée manuellement en cliquant sur Back up Now et l'exécution de la sauvegarde avec la stratégie définie dans le groupe de ressources.
La procédure de sauvegarde peut être surveillée sur le Monitor en cliquant sur le travail en cours.
Après une sauvegarde réussie, l'état de la base de données indique l'état de la tâche et l'heure de sauvegarde la plus récente.
Cliquez sur base de données pour consulter les jeux de sauvegarde de chaque base de données.

Restauration de la base de données

Details

SnapCenter propose un certain nombre d'options de restauration et de récupération pour les bases de données Oracle à partir de la sauvegarde de snapshots. Dans cet exemple, nous démontrons une restauration à un point dans le temps pour récupérer une table supprimée par erreur. Sur la machine virtuelle ora_02, deux bases de données cdb3, cdb4 partagent les mêmes groupes de disques +DATA et +LOGS. La restauration d'une base de données n'a aucun impact sur la disponibilité de l'autre base de données.

Tout d'abord, créez une table de test et insérez une ligne dans la table pour valider une restauration à un point dans le temps.

[oracle@ora_02 ~]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Fri Oct 6 14:15:21 2023
Version 19.18.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.18.0.0.0

SQL> select name, open_mode from v$database;

NAME      OPEN_MODE
--------- --------------------
CDB3      READ WRITE

SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 CDB3_PDB1                      READ WRITE NO
         4 CDB3_PDB2                      READ WRITE NO
         5 CDB3_PDB3                      READ WRITE NO
SQL>


SQL> alter session set container=cdb3_pdb1;

Session altered.

SQL> create table test (id integer, dt timestamp, event varchar(100));

Table created.

SQL> insert into test values(1, sysdate, 'test oracle recovery on guest mounted fsx storage to VMC guest vm ora_02');

1 row created.

SQL> commit;

Commit complete.

SQL> select * from test;

        ID
----------
DT
---------------------------------------------------------------------------
EVENT
--------------------------------------------------------------------------------
         1
06-OCT-23 03.18.24.000000 PM
test oracle recovery on guest mounted fsx storage to VMC guest vm ora_02


SQL> select current_timestamp from dual;

CURRENT_TIMESTAMP
---------------------------------------------------------------------------
06-OCT-23 03.18.53.996678 PM -07:00

Nous exécutons manuellement une sauvegarde Snapshot à partir de SnapCenter. Déposez ensuite la table.

SQL> drop table test;

Table dropped.

SQL> commit;

Commit complete.

SQL> select current_timestamp from dual;

CURRENT_TIMESTAMP
---------------------------------------------------------------------------
06-OCT-23 03.26.30.169456 PM -07:00

SQL> select * from test;
select * from test
              *
ERROR at line 1:
ORA-00942: table or view does not exist

A partir du jeu de sauvegarde créé à partir de la dernière étape, notez le numéro SCN de la sauvegarde du journal. Cliquez sur Restore pour lancer le workflow de restauration/restauration.
Choisissez la portée de la restauration.
Choisissez l'étendue de la récupération jusqu'au SCN du journal à partir de la dernière sauvegarde complète de la base de données.
Spécifiez les pré-scripts facultatifs à exécuter.
Spécifiez tout script après exécution facultatif.
Envoyez un rapport de travail si vous le souhaitez.
Passez en revue le résumé et cliquez sur Finish pour lancer la restauration et la récupération.
Dans le contrôle grille de redémarrage d'Oracle, nous constatons que, alors que cdb3 est en cours de restauration et que cdb4 de récupération est en ligne et disponible.
De Monitor ouvrez le travail pour vérifier les détails.

À partir de la VM ora_02 de la base de données, vérifiez que la table supprimée est restaurée après une restauration réussie.

[oracle@ora_02 bin]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Fri Oct 6 17:01:28 2023
Version 19.18.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.18.0.0.0

SQL> select name, open_mode from v$database;

NAME      OPEN_MODE
--------- --------------------
CDB3      READ WRITE

SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 CDB3_PDB1                      READ WRITE NO
         4 CDB3_PDB2                      READ WRITE NO
         5 CDB3_PDB3                      READ WRITE NO
SQL> alter session set container=CDB3_PDB1;

Session altered.

SQL> select * from test;

        ID
----------
DT
---------------------------------------------------------------------------
EVENT
--------------------------------------------------------------------------------
         1
06-OCT-23 03.18.24.000000 PM
test oracle recovery on guest mounted fsx storage to VMC guest vm ora_02


SQL> select current_timestamp from dual;

CURRENT_TIMESTAMP
---------------------------------------------------------------------------
06-OCT-23 05.02.20.382702 PM -07:00

SQL>

Clone de base de données

Details

Dans cet exemple, les mêmes jeux de sauvegarde sont utilisés pour cloner une base de données sur la même machine virtuelle dans un RÉPERTOIRE ORACLE_HOME différent. Les procédures s'appliquent également au clonage d'une base de données de la sauvegarde sur une machine virtuelle séparée dans VMC, si nécessaire.

Ouvrez la liste de sauvegarde cdb3 de la base de données. Dans une sauvegarde de données de votre choix, cliquez sur Clone pour lancer le flux de travail de clonage de base de données.
Nommer le SID de la base de données clone.
Sélectionnez une machine virtuelle dans VMC comme hôte de base de données cible. Une version Oracle identique doit avoir été installée et configurée sur l'hôte.
Sélectionnez le RÉPERTOIRE ORACLE_HOME, l'utilisateur et le groupe appropriés sur l'hôte cible. Conserver les informations d'identification par défaut.
Modifiez les paramètres de la base de données de clonage pour répondre aux exigences de configuration ou de ressources de la base de données de clonage.
Choisir la portée de la restauration. Until Cancel récupère le clone jusqu'au dernier fichier journal disponible dans le jeu de sauvegarde.
Passez en revue le récapitulatif et lancez la tâche de clonage.
Surveiller l'exécution de la tâche de clonage à partir de Monitor onglet.
La base de données clonée est immédiatement enregistrée dans SnapCenter.

À partir de DB VM ora_02, la base de données clonée est également enregistrée dans le contrôle de grille de redémarrage d'Oracle et la table de test supprimée est récupérée dans la base de données clonée cdb3tst, comme indiqué ci-dessous.

[oracle@ora_02 ~]$ /u01/app/oracle/product/19.0.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.LISTENER.lsnr
               ONLINE  INTERMEDIATE ora_02                   Not All Endpoints Re
                                                             gistered,STABLE
ora.LOGS.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.SC_2090922_CDB3TST.dg
               ONLINE  ONLINE       ora_02                   STABLE
ora.asm
               ONLINE  ONLINE       ora_02                   Started,STABLE
ora.ons
               OFFLINE OFFLINE      ora_02                   STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.cdb3.db
      1        ONLINE  ONLINE       ora_02                   Open,HOME=/u01/app/o
                                                             racle/product/19.0.0
                                                             /cdb3,STABLE
ora.cdb3tst.db
      1        ONLINE  ONLINE       ora_02                   Open,HOME=/u01/app/o
                                                             racle/product/19.0.0
                                                             /cdb4,STABLE
ora.cdb4.db
      1        ONLINE  ONLINE       ora_02                   Open,HOME=/u01/app/o
                                                             racle/product/19.0.0
                                                             /cdb4,STABLE
ora.cssd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.driver.afd
      1        ONLINE  ONLINE       ora_02                   STABLE
ora.evmd
      1        ONLINE  ONLINE       ora_02                   STABLE
--------------------------------------------------------------------------------

[oracle@ora_02 ~]$ export ORACLE_HOME=/u01/app/oracle/product/19.0.0/cdb4
[oracle@ora_02 ~]$ export ORACLE_SID=cdb3tst
[oracle@ora_02 ~]$ sqlplus / as sysdba

SQL*Plus: Release 19.0.0.0.0 - Production on Sat Oct 7 08:04:51 2023
Version 19.18.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.18.0.0.0

SQL> select name, open_mode from v$database;

NAME      OPEN_MODE
--------- --------------------
CDB3TST   READ WRITE

SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 CDB3_PDB1                      READ WRITE NO
         4 CDB3_PDB2                      READ WRITE NO
         5 CDB3_PDB3                      READ WRITE NO
SQL> alter session set container=CDB3_PDB1;

Session altered.

SQL> select * from test;

        ID
----------
DT
---------------------------------------------------------------------------
EVENT
--------------------------------------------------------------------------------
         1
06-OCT-23 03.18.24.000000 PM
test oracle recovery on guest mounted fsx storage to VMC guest vm ora_02


SQL>

Cette étape complète la démonstration de la sauvegarde, de la restauration et du clonage SnapCenter de la base de données Oracle dans VMC SDDC sur AWS.

Où trouver des informations complémentaires

Pour en savoir plus sur les informations fournies dans ce document, consultez ces documents et/ou sites web :

Documentation VMware Cloud on AWS

"https://docs.vmware.com/en/VMware-Cloud-on-AWS/index.html"
Installation d'Oracle Grid Infrastructure pour un serveur autonome avec une nouvelle installation de base de données

"https://docs.oracle.com/en/database/oracle/oracle-database/19/ladbi/installing-oracle-grid-infrastructure-for-a-standalone-server-with-a-new-database-installation.html#GUID-0B1CEE8C-C893-46AA-8A6A-7B5FAAEC72B3"
Installation et configuration d'Oracle Database à l'aide des fichiers réponses

"https://docs.oracle.com/en/database/oracle/oracle-database/19/ladbi/installing-and-configuring-oracle-database-using-response-files.html#GUID-D53355E9-E901-4224-9A2A-B882070EDDF7"
Amazon FSX ONTAP

"https://aws.amazon.com/fsx/netapp-ontap/"

Tr-4979 : Oracle simplifié et autogéré dans VMware Cloud sur AWS avec FSX ONTAP monté sur l'invité

Creating your file...

Objectif

Public

Environnement de test et de validation de la solution

Architecture

Composants matériels et logiciels

Configuration de la base de données Oracle dans VMC sur AWS

Facteurs clés à prendre en compte lors du déploiement

Déploiement de la solution

Conditions préalables au déploiement

Configuration du noyau DB VM

Provisionnez et mappez les LUN FSX ONTAP vers la VM de base de données

Configuration du stockage de la BD VM

Installation de l'infrastructure réseau Oracle

Installation de la base de données Oracle

Sauvegarde, restauration et clonage Oracle avec SnapCenter

Configuration SnapCenter

Sauvegarde de la base de données

Restauration de la base de données

Clone de base de données

Où trouver des informations complémentaires