Oracle GoldenGate: täglicher Betrieb und Störungsszenarien (Microservices 21c / 23ai)

Runbook für den täglichen Betrieb und die Störungsbehebung einer installierten GoldenGate-Microservices-Replikation (zur Installation siehe den GoldenGate-Installationsguide). Wenn du nicht sicher bist, was zu tun ist, beginne mit „Zustands- und Lag-Prüfung“: Die reine Lesediagnose führt dich zum passenden Szenario — Extract und Replicat ABEND (Report, Discard, OGG-xxxxx-Fehler), eine befüllte Tabelle in die Replikation aufnehmen (konsistente SCN + AFTERCSN), eine Tabelle herausnehmen, Resync einer einzelnen Tabelle, Trail-Bereinigung (Purge Trail), Extract ab einer SCN neu positionieren, Versions-Upgrade/Patch sowie Extract nach einem Data-Guard-Switchover/Failover auf der Quelle weiterbetreiben. Jedes Szenario folgt dem Muster Diagnose → Sicherheitsnetz → Durchführung → Verifizierung.

Topologie: Quellserver (Quell-Deployment, Integrated Extract, Distribution Path) + Zielserver (Ziel-Deployment, Parallel Replicat)

Szenarien

• Zustands- und Lag-Prüfung (läuft alles?) — Nur lesend: Service Manager und Microservices, INFO ALL, Lag, STATS, Heartbeat-Verzögerung, Capture-Status in der Datenbank und ggserr.log; es wird nichts geändert. Wenn du nicht sicher bist, was zu tun ist, beginne hier.
• Extract ABENDED (mit Fehler gestoppt) — Der Extract auf der Quelle ist ABENDED oder startet ständig neu: Anhand des OGG-xxxxx-Fehlers in der Report-Datei wird die Ursache gefunden (Verbindung, fehlendes Archive Log, Log Mining, Berechtigung, Platte) und behoben, und der Extract wird an der Stelle gestartet, an der er stehen geblieben ist. Die Quelldatenbank ist nicht betroffen; der Lag wächst.
• Replicat ABENDED (Anwenden auf das Ziel schlägt fehl) — Der Replicat auf dem Ziel konnte eine Transaktion nicht anwenden: Aus Report- und Discard-Datei werden Tabelle, Operation und Fehler ermittelt; die Daten werden korrigiert oder vorübergehend per REPERROR übersprungen, und der Replicat wird an der Stelle gestartet, an der er stehen geblieben ist. Das Ziel bleibt geöffnet; der Lag wächst.
• Befüllte Tabelle in die Replikation aufnehmen (Initial Load + AFTERCSN) — Nimmt eine vorhandene, bereits befüllte Tabelle ohne Downtime in eine laufende Replikation auf: ADD TRANDATA, expdp/impdp zu einer konsistenten SCN und ein eigener Replicat, der nur die Änderungen dieser Tabelle nach dieser SCN anwendet (AFTERCSN). Die übrigen Tabellen werden weiter repliziert.
• Tabelle aus der Replikation herausnehmen — Die Tabelle wird nicht mehr repliziert: TABLEEXCLUDE im Extract (oder die TABLE-Zeile entfernen), MAPEXCLUDE im Replicat, bei Bedarf DELETE TRANDATA. Die Prozesse werden kurz neu gestartet.
• Einzelne Tabelle neu synchronisieren (Resync) — Die Daten einer Tabelle auf dem Ziel weichen von der Quelle ab (manuelle Änderung, übersprungener Fehler, unvollständiger Initial Load): Die Tabelle wird zu einer konsistenten SCN neu aus der Quelle geladen, und ein temporärer Replicat wendet die Änderungen nach dieser SCN an. Die übrigen Tabellen sind nicht betroffen.
• Trail-Dateien füllen die Platte: Bereinigung (Purge Trail) — Das Trail-Verzeichnis wächst oder die Platte ist fast voll: Du siehst, welche Dateien gerade gelesen werden; ein Purge-Trail-Task (das Gegenstück zu PURGEOLDEXTRACTS in Classic) wird mit USECHECKPOINTS definiert; im Notfall werden bereits gelesene Dateien manuell gelöscht.
• Extract ab einer bestimmten SCN neu positionieren — Es gibt eine SCN, ab der der Extract neu beginnen soll (Trail-Verlust, falscher Startpunkt, Zurücksetzen auf dem Ziel): Er wird mit ALTER EXTRACT … SCN und ETROLLOVER ab einer neuen Trail-Datei gestartet. Dieselben Daten können ein zweites Mal am Ziel ankommen.
• GoldenGate-Versions-Upgrade / Patch (Microservices) — Wechsel auf ein neues GoldenGate-Release oder einen Patch: Out-of-Place (neues Home installieren, Service Manager und Deployments per REST ins neue Home übernehmen) oder In-Place mit OPatch. Extract/Replicat stehen kurz; Rollback heißt Rückkehr zum alten Home.
• Extract nach einem Data-Guard-Switchover/Failover auf der Quelle weiterbetreiben — Auf der Quelldatenbank gab es einen Switchover oder Failover; der Extract muss sich mit der neuen Primary verbinden und ab seinem Checkpoint weiterlaufen: Geprüft werden Verbindung (Credential-Alias/Service), Capture-Status, HANDLEDLFAILOVER und eine mögliche Datenabweichung.

Vor dem Start

• GoldenGate Microservices ist wie im Installationsguide installiert: auf der Quelle im Deployment … der Integrated Extract … und der Distribution Path …, auf dem Ziel im Deployment … der Parallel Replicat …; Credential-Aliase ggsrc/ggsrc_pdb (Quelle) und ggtgt (Ziel).
• Du hast das oggadmin-Passwort beider Deployments (die Schritte fragen es ab; es wird nicht in Skripte geschrieben).… Für den Initial Load liegen das SYSTEM-Passwort in beiden PDBs und das Directory OGG_DP aus der Installation (…) bereit.…
• Der systemd-Service des Service Manager (OracleGoldenGate) läuft auf beiden Servern.
• Ein Change-Eintrag bzw. Wartungsfenster ist eröffnet: …Extract, Distribution Path und Replicat stehen während des Upgrades; der Lag wächst und baut sich nach Abschluss wieder ab…wird der Extract zurückgesetzt, können dieselben Transaktionen ein zweites Mal am Ziel ankommen; mit dem Anwendungsverantwortlichen ist ein Plan für Kollisionen abgestimmt…mit REPERROR übersprungene Operationen fehlen auf dem Ziel; der Fachverantwortliche hat zugestimmt…die Prozesse werden kurz neu gestartet….

Phasen der Anleitung

• Status: Prozesse, Lag und Services (nur lesend) — Service Manager und Microservice-Ports prüfen · Quellprozesse, Extract-Lag und Distribution Path anzeigen (Quelle) · Zielprozesse und Replicat-Lag anzeigen (Ziel) · End-to-End-Verzögerung mit dem Heartbeat messen (Ziel) · Capture-Status und benötigte Archive Logs in der Quelldatenbank prüfen (Quelle) · Fehlerlog durchsuchen (Quelle) …
• 1. Diagnose: Warum ist der Extract gestoppt? — Extract-Status und Fehler im Report anzeigen (Quelle) · Capture-Status und Archive Logs in der Datenbank prüfen (Quelle)
• 2. Sicherheitsnetz — Parameter-, Checkpoint- und Report-Dateien sichern (Quelle)
• 3. Durchführung: Ursache beheben und Extract starten — Fehlende Archive Logs aus dem RMAN-Backup zurücksichern (Quelle) · Ursache beheben · Extract starten und beobachten (Quelle)
• 4. Verifizierung und Nacharbeit — Prüfen, ob der Lag abgebaut wird (Quelle) · Grundursache verhindern (Quelle)
• 1. Diagnose: Bei welcher Operation ist der Replicat stehen geblieben? — Replicat-Status, Report und Discard-Datei anzeigen (Ziel) · Fehlerhafte Zeile auf Ziel und Quelle vergleichen
• 2. Sicherheitsnetz — Parameter-, Checkpoint- und Report-Dateien sichern (Ziel)
• 3. Durchführung: Daten korrigieren und Replicat starten — Daten auf dem Ziel korrigieren · Fehler vorübergehend in die Discard-Datei umleiten: REPERROR (Ziel) · Replicat starten (Ziel)
• 4. Verifizierung und Nacharbeit — Prüfen, ob der Replicat vorankommt (Ziel) · Vorübergehendes REPERROR entfernen (Ziel)
• 1. Diagnose: Ist die Tabelle für die Replikation geeignet? — Tabelle auf der Quelle untersuchen (Quelle) · Status des Supplemental Logging anzeigen (Quelle) · Tabelle auf dem Ziel prüfen (Ziel)
• 2. Sicherheitsnetz — Parameter- und Checkpoint-Dateien sichern (Quelle) · Parameter- und Checkpoint-Dateien sichern (Ziel) · Zieltabelle sichern (Ziel)
• 3. Durchführung: Tabelle laden und mit eigenem Replicat starten — Supplemental Logging auf Tabellenebene aktivieren (Quelle) · Tabelle aus dem Haupt-Replicat ausschließen: MAPEXCLUDE (Ziel) · Explizite MAP-Zeile der Tabelle aus dem Haupt-Replicat entfernen (Ziel) · Tabelle in den Extract aufnehmen (Quelle) · Neuen Replicat nur für diese Tabelle hinzufügen (Ziel) · Tabelle zu einer konsistenten SCN exportieren (Quelle) …
• 4. Verifizierung und Nacharbeit — Zeilenanzahl vergleichen (Quelle) · Zeilenanzahl und neuen Replicat prüfen (Ziel)
• 1. Diagnose: Wo ist die Tabelle definiert? — Position der Tabelle in den Parameterdateien und ihr Supplemental Logging anzeigen (Quelle) · Mapping der Tabelle im Replicat anzeigen (Ziel)
• 2. Sicherheitsnetz — Parameter- und Checkpoint-Dateien sichern (Quelle) · Parameter- und Checkpoint-Dateien sichern (Ziel)
• 3. Durchführung: Tabelle aus Extract und Replicat herausnehmen — Tabelle aus dem Extract herausnehmen (Quelle) · Warten, bis die restlichen Datensätze im Trail angewendet sind (Ziel) · Tabelle aus dem Replicat herausnehmen (Ziel) · MAP-Zeile der Tabelle entfernen (Ziel) · Supplemental Logging auf Tabellenebene entfernen (Quelle)
• 4. Verifizierung — Prüfen, ob die Tabelle nicht mehr verarbeitet wird (Quelle)
• 1. Diagnose: Wie viel Platz belegen die Trails, und wer liest sie? — Trail-Verzeichnis und -Dateien anzeigen (Quelle) · Trail-Verzeichnis und die Leseposition des Replicat anzeigen (Ziel)
• 2. Durchführung: Purge-Trail-Task definieren — Purge-Trail-Task im Quell-Deployment definieren · Purge-Trail-Task im Ziel-Deployment definieren
• 3. Notfall: gelesene Trail-Dateien manuell löschen — Gelesene Trail-Dateien löschen
• 1. Diagnose: Lässt sich zur SCN zurückkehren? — Aktuelle Position des Extract anzeigen (Quelle) · Erste SCN des Capture und Archive Logs prüfen (Quelle)
• 2. Sicherheitsnetz — Parameter-, Checkpoint- und Report-Dateien sichern (Quelle)
• 3. Durchführung: Extract auf die SCN positionieren — Extract stoppen, auf die SCN positionieren und ab einer neuen Trail-Datei starten (Quelle)
• 4. Verifizierung — Prüfen, ob der Extract ab der neuen Position vorankommt (Quelle) · Kollisionen auf dem Ziel beobachten (Ziel)
• 1. Diagnose: aktuelle Version und Vorbereitung — Aktuelle Version, Patches und Prozesse festhalten (Quelle) · Aktuelle Version, Patches und Prozesse festhalten (Ziel)
• 2. Sicherheitsnetz — Deployment- und Service-Manager-Verzeichnisse sichern (Quelle) · Deployment- und Service-Manager-Verzeichnisse sichern (Ziel)
• 3. Durchführung: Prozesse stoppen und Upgrade ausführen — Prozesse sauber stoppen (Quelle) · Prozesse sauber stoppen (Ziel) · Neues GoldenGate Home installieren (Quelle) · Neues GoldenGate Home installieren (Ziel) · Service Manager und Deployment ins neue Home übernehmen (Quelle) · Patch mit OPatch einspielen (Quelle) …
• 4. Verifizierung — Prozesse starten und Version prüfen (Quelle) · Prozesse starten und Version prüfen (Ziel) · Rollback (falls nötig)
• 1. Diagnose: die neue Primary und die Verbindung des Extract — Rolle und Capture-Status der neuen Primary prüfen (neue Primary) · Extract-Status und Credential-Aliase anzeigen (Quelle)
• 2. Sicherheitsnetz — Parameter-, Checkpoint- und Report-Dateien sichern (Quelle)