ノードエビクション/予期しないノード再起動の原因を診断

コマンド

# 1) When, which node, evicted by whom: CRS alert log (on every node)
grep -E "CRS-1601|CRS-1607|CRS-1608|CRS-1609|CRS-1610|CRS-1611|CRS-1612|CRS-8011" \
  $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/alert.log
# 2) CSS details: was the network heartbeat or the disk heartbeat lost
grep -iE "evict|misscount|heartbeat|disk HB|network HB" \
  $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/ocssd.trc | tail -100
# 3) Who triggered the reboot (cssdagent/cssdmonitor):
ls -lt $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/ohasd_cssd*.trc
# 4) OS resources at the time of the event (Cluster Health Monitor):
oclumon dumpnodeview -allnodes -s "2026-01-15 03:10:00" -e "2026-01-15 03:20:00"
# 5) Diagnostic collection from all nodes (AHF/TFA):
tfactl diagcollect -crs -os -last 4h
# 6) OS side: /var/log/messages, journalctl -k (OOM, NIC, multipath, I/O errors)

概要

ノードエビクションの連鎖を順に追う: CRSアラートログのCRS-16xxメッセージ、ocssd.trcのハートビート喪失、CHMのOSメトリック、TFAで収集した全ノードのログ。

使用する場面

ノードが予期せず再起動した、またはクラスタからエビクトされたときの根本原因分析(RCA)とOracle Support SRのために。

注意

全ノードから、イベント発生時刻を含むログを収集する。トレースファイルはローテーションされ、証拠が失われる可能性がある。ノード間でタイムゾーンが同じであることを確認する(CTSS/NTP)。証拠を収集する前にmisscountの引上げなどの「修正」を適用しない。