high_disk_watermark_exceeded: Превышен high disk watermark [90%] / превышен flood stage disk watermark [95%]

Что это значит?

Использование диска узла превысило порог high watermark (по умолчанию 90%) или flood stage (по умолчанию 95%). При превышении high watermark Elasticsearch пытается перенести шарды с этого узла на другие; при превышении flood stage переводит индексы в режим только для чтения.

Почему возникает?

Диск заполняется: постоянно растущие индексы журналов/метрик, никогда не удаляемые старые индексы, неочищенный репозиторий snapshots, диск недостаточного размера или переполнение одного узла из-за несбалансированного распределения шардов.

Как исправить

Проверьте использование диска: GET _cat/allocation?v. Удалите старые индексы или сделайте snapshot и удалите их, увеличьте диск. Пороги можно временно повысить (осторожно; в 8.x задавайте все три вместе из-за проверки max_headroom): PUT _cluster/settings {"persistent":{"cluster.routing.allocation.disk.watermark.low":"88%","cluster.routing.allocation.disk.watermark.high":"93%","cluster.routing.allocation.disk.watermark.flood_stage":"96%"}}. После устранения проблемы верните значения по умолчанию, задав тем же параметрам null (transient-настройки устарели; не используйте их). Постоянное решение: управление жизненным циклом с ILM, регулярная очистка индексов и планирование ёмкости. Если индексы стали только для чтения из-за flood stage, снимите блокировку отдельно.