Oracle RAC: operación diaria y escenarios de fallo

Operación diaria y respuesta a incidencias de un cluster Oracle RAC (Grid Infrastructure 19c) instalado y en funcionamiento: comprobación de estado, diagnóstico de node eviction, parada de un nodo por mantenimiento, parada y arranque planificados de todo el cluster, adición y eliminación de nodos, gestión de servicios (preferred/available, AC/TAC), cambio de SCAN/VIP/puerto/interconnect, backup y restauración de OCR/OLR, traslado de los archivos OCR y voting. No es una guía de instalación (primero, instalación de RAC); para parches, RAC rolling patch; para tareas de disk groups, operación diaria de ASM. Cada escenario sigue el orden diagnóstico → red de seguridad → aplicación → verificación → tareas posteriores.

Topología: RAC existente de 2–8 nodos (Grid Infrastructure 19c; diferencias de 23ai/26ai en las notas)

Escenarios

• Comprobación de estado del cluster (diaria / antes del mantenimiento) — No modifica nada: se comprueban la pila de Clusterware, los recursos, OCR/voting, ASM, el interconnect, la hora y las alertas recientes. Selecciónelo en la comprobación diaria, antes de cada mantenimiento y parche, y como primera acción cuando llega una queja.
• Un nodo fue expulsado del cluster o se reinició por sí solo (diagnóstico de eviction) — Solo lectura: selecciónelo si un nodo se reinició de forma inesperada o fue expulsado del cluster. Con el alert log de Clusterware, ocssd.trc, los logs del sistema operativo y los valores de misscount/disktimeout se determina si la causa raíz es la red, el disco o el sistema operativo.
• Detener un nodo por mantenimiento y volver a iniciarlo — Selecciónelo si en un nodo se va a aplicar un parche del sistema operativo o se va a hacer mantenimiento del kernel o del hardware. Los demás nodos siguen funcionando; los servicios de la instancia de ese nodo se trasladan y las sesiones se cierran al final del tiempo de drain.
• Parada y arranque planificados de todo el cluster — Selecciónelo cuando todos los nodos deban detenerse a la vez, por ejemplo en un mantenimiento de la SAN o del centro de datos. Interrupción total: todas las bases de datos, ASM y Clusterware se detienen en todos los nodos.
• Añadir un nodo nuevo al cluster — Selecciónelo cuando un servidor nuevo se vaya a incorporar al cluster (aumento de capacidad, renovación de hardware). Sin interrupción: comprobaciones previas (cluvfy), Grid home (addnode.sh), DB home y la nueva instancia (dbca -addInstance).
• Eliminar un nodo del cluster — Selecciónelo cuando un servidor se vaya a retirar del cluster de forma permanente (devolución, fallo de hardware). Se elimina la instancia, se quitan el DB home y el Grid home de ese nodo y el nodo se elimina del cluster; los demás nodos siguen abiertos.
• Añadir, modificar, trasladar o eliminar un servicio — Selecciónelo para definir el servicio al que se conecta la aplicación, cambiar su ubicación (preferred/available) o su configuración de failover (TAF/Application Continuity), o trasladar un servicio en ejecución a otra instancia. La base de datos permanece abierta.
• Cambio de SCAN, VIP, puerto del listener o interconnect — Selecciónelo si van a cambiar el nombre o las IP del SCAN, la VIP de un nodo, el puerto del listener o la red privada (interconnect). El cambio del interconnect requiere detener todo el cluster; los demás provocan una breve interrupción de las conexiones.
• Realizar el backup de OCR y OLR y comprobar los backups — Sin interrupción: backup manual de OCR, backup de OLR en cada nodo y copia de los backups fuera de los discos del cluster. Selecciónelo antes de cualquier operación de riesgo, como un parche, la adición o eliminación de nodos o un cambio de red.
• OCR dañado o disk group CRS perdido: restaurar desde el backup — Selecciónelo si ocrcheck muestra daños, si CRSD no se inicia (errores PROT-/PROC-) o si el disk group CRS se ha perdido por completo. Se detiene todo el cluster; el OCR se restaura desde el backup en modo exclusivo y, si se perdió el disk group, se vuelven a crear el disk group, los archivos voting y el spfile de ASM.
• Clusterware no se inicia en un nodo: OLR dañado — Selecciónelo si, con los demás nodos en funcionamiento, crsctl start crs no consigue iniciar OHASD en un solo nodo y ocrcheck -local devuelve un error de OLR. Solo se ve afectado ese nodo: el OLR se restaura desde el backup.
• Trasladar los archivos OCR y voting a otro disk group — Sin interrupción: ocrconfig -add/-delete y crsctl replace votedisk. Selecciónelo en un cambio de almacenamiento (SAN), para aumentar la redundancia del disk group CRS o para escribir el OCR también en un segundo disk group.

Antes de empezar

• En todos los nodos hay acceso root y login shell con los usuarios grid/oracle (sudo -iu grid); los perfiles de grid y oracle cargan el entorno del Grid home/DB home.
• Antes de empezar, el cluster está en buen estado: CRS online en todos los nodos y ningún recurso detenido que deba estar abierto. Si no es así, resuelva antes el problema con la comprobación de estado.
• La ventana de mantenimiento y el registro de cambios están aprobados; los equipos de aplicación están informados; se ha activado el blackout en el sistema de monitorización. …Esta operación provoca una interrupción total.…
• Existen un backup RMAN actualizado de la base de datos y backups de los archived logs… (añadir o eliminar una instancia modifica el redo thread y el undo tablespace)….
• Existe un backup de OCR (…) guardado fuera de los discos del cluster o se conoce la ruta del backup automático en un disk group intacto. …Para el disk group CRS hay preparados suficientes discos vacíos, visibles en todos los nodos, para la redundancia ….…
• El nodo nuevo (…) tiene la misma versión de sistema operativo y el mismo kernel que los nodos existentes; se ha realizado la preparación del sistema operativo de la instalación de RAC y la preparación del almacenamiento; los nombres de las interfaces pública y privada coinciden; los LUN compartidos se han presentado también a este nodo; la dirección VIP … está libre.
• Se conoce la hora aproximada del incidente. Si AHF (TFA) está instalado, la recopilación de diagnóstico se hace con un solo comando; si no, los logs se revisan manualmente.

Fases de la guía

• Comprobación de estado del cluster — Comprobar la pila de Clusterware en todos los nodos · Listar el estado de los recursos · Comprobar el estado de la base de datos, los servicios y los listeners · Comprobar la integridad de OCR, voting y OLR · Comprobar ASM y la ocupación de los disk groups · Comprobar la configuración de red y la sincronización horaria …
• Detener todo el cluster — Registrar el estado antes de detener · Realizar un backup manual de OCR (red de seguridad) · Detener todas las bases de datos · Detener Clusterware en todos los nodos · Detener OHASD (…) · Realizar el trabajo de mantenimiento
• Iniciar todo el cluster — Iniciar Clusterware (…) · Esperar a que todos los nodos se incorporen al cluster · Verificar que las bases de datos se han abierto · Comparar los recursos después del arranque
• Preparación del nodo nuevo y comprobaciones previas — Registrar la configuración actual del cluster · Verificar la preparación del sistema operativo del nodo nuevo · Añadir el nodo nuevo a /etc/hosts (…) · Ampliar la equivalencia SSH del usuario grid al nodo nuevo · Ampliar la equivalencia SSH del usuario oracle al nodo nuevo · Enviar el RPM cvuqdisk al nodo nuevo …
• Ampliación de Grid Infrastructure al nodo nuevo — Realizar un backup manual de OCR (red de seguridad) · Ampliar el Grid home al nodo nuevo (addnode.sh) · Ejecutar orainstRoot.sh (nodo nuevo) · Ejecutar root.sh (nodo nuevo) · Configurar el entorno de grid en el nodo nuevo · Verificar el nodo nuevo en el cluster
• DB home y nueva instancia — Ampliar el DB home al nodo nuevo · Ejecutar el root.sh del DB home (nodo nuevo) · Configurar el entorno de oracle en el nodo nuevo · Añadir la nueva instancia (dbca -addInstance) · Añadir la nueva instancia a la configuración de los servicios · Verificar la nueva instancia
• Después de añadir el nodo — Realizar el backup del OLR del nodo nuevo · Realizar el backup de OCR de la nueva configuración · Actualizar la monitorización, los backups y las tareas de operación
• Eliminación de la instancia y del DB home — Vaciar los servicios de … (la instancia permanece abierta) · Eliminar la instancia (dbca -deleteInstance) · Reducir el inventario del DB home al nodo de destino (…) · Eliminar el DB home (deinstall -local) (…) · Actualizar el inventario del DB home en los nodos restantes
• Eliminación de Clusterware del nodo de destino — Comprobar el estado de pin y, si es necesario, deshacerlo · Eliminar el Grid home (deinstall -local) (…) · Eliminar el nodo de la definición del cluster · Verificar la eliminación y quitar la VIP residual
• Después de eliminar el nodo — Realizar el backup de OCR de la nueva configuración · Limpiar los restos y actualizar los registros
• Servicio: diagnóstico — Mostrar la configuración actual de los servicios
• Servicio: aplicación — Añadir el servicio e iniciarlo · Cambiar la ubicación y la configuración del servicio · Iniciar el servicio según la nueva ubicación · Trasladar el servicio a otra instancia · Detener y eliminar el servicio
• Servicio: verificación — Verificar que el servicio aparece en la base de datos y en el listener
• Cambio de red: diagnóstico y red de seguridad — Registrar la configuración de red actual · Realizar un backup manual de OCR (red de seguridad) · Realizar una copia del perfil GPnP (…)
• Cambiar el nombre / las IP del SCAN — Verificar la nueva resolución del SCAN · Volver a crear las SCAN VIP y los listeners con los nuevos valores · Actualizar el parámetro remote_listener de la base de datos · Verificar la conexión a través del SCAN
• Backup de OCR y OLR — Mostrar los backups de OCR existentes y su ubicación · Realizar un backup manual de OCR · Copiar el último backup manual fuera del cluster y verificarlo · Realizar un backup manual del OLR (…) · Realizar también el backup del spfile y del archivo de contraseñas de ASM
• Restauración de OCR: diagnóstico — Comprobar el estado del OCR y de Clusterware · Comprobar el disk group y los discos desde ASM · Verificar el backup que se va a restaurar
• Restauración de OCR: aplicación — Detener Clusterware (…) · Iniciar Clusterware en modo exclusivo en el nodo 1 · Abrir ASM con un archivo de parámetros temporal (si se perdió el spfile) · Volver a crear el disk group … · Restaurar el OCR desde el backup · Volver a crear los archivos voting …
• Restauración de OCR: verificación y tareas posteriores — Verificar el cluster y el OCR · Comprobar los cambios posteriores al backup · Realizar un nuevo backup de OCR y eliminar la causa raíz