ElasticSearch-Problem - Speicher läuft voll

Technische Grundlagen
1

Guten Morgen zusammen,

nachdem der Client (1.19.1) sich nicht starten ließ ergab ein Blick ins verinice-server.log, dass die ElasticSearch Probleme hat:

2021-03-11 06:53:07,551 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#3]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:53:37,551 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#2]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:54:07,552 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#4]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:54:37,551 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#2]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:55:07,551 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#3]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:55:37,552 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#1]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:56:07,552 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#3]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:56:37,553 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#2]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node
2021-03-11 06:57:07,553 WARN  [elasticsearch[elasticsearch-HWS01025][management][T#3]] (DiskThresholdDecider.java:149)     - [elasticsearch-HWS01025] high disk watermark [10%] exceeded on [XZ2NUqOJRBS-Syinbc1N7A][elasticsearch-HWS01025] free: 3.9gb[8.9%], shards will be relocated away from this node

Natürlich könnte ich den Speicherplatz vergrößern, das löst aber nicht das Problem dass 50GB bereits voll sind. Den Ursprung kann ich noch nicht finden. Hat jemand Rat?

Viele Grüße Stefanie Langer

2

Ebenfalls einen guten Morgen,

diese Fehlermeldung heisst nicht unbedingt, dass ElasticSearch voll läuft. Es kann auch etwas anderes auf der gleichen Platte sein.

Das würde ich auch vorschlagen. Das ist erstmal der beste Ansatz.

Ansonsten könnte man versuchen den Suchindex komplett zu löschen und neu zu erstellen.
Das hier wären die einzelnen Schritte dafür:

Stoppen Sie zunächst den Applikationsserver:


CentOS 7:

systemctl stop tomcat

CentOS 6:

service tomcat6 stop


Löschen Sie dann den Ordnerinhalt des Suchindex:


CentOS 7:

cd /usr/share/tomcat/webapps/veriniceserver/WEB-INF/elasticsearch/data/

rm -rf *


CentOS 6:

cd /usr/share/tomcat6/webapps/veriniceserver/WEB-INF/elasticsearch/data/

rm -rf *


Nun starten Sie den Tomcat wieder:



CentOS 7:
systemctl start tomcat

CentOS 6:

service tomcat6 start

Falls Sie es nicht anders eingestellt haben, wird der Suchindex nun nach dem Start neu erstellt. Das kann je nach System und Datenmenge ein paar Minuten bis Stunden dauern.

1 „Gefällt mir“
3

Moin Herr Westendorf,

den Ordnerinhalt des Suchindex zu löschen habe ich bereits gemacht, leider wird der Speicher der VM kontinuierlich vollgeschrieben und ich möchte dafür die Ursache beheben.

Durch die standardisierte Vergabe von VMs in unserem Unternehmen ist es mir aktuell nicht möglich den Speicherplatz zu erhöhen. Haben Sie noch weitere Tipps, wie man dem „Speicherfraß“ begegnen kann?

Viele Grüße, Stefanie Langer

4

Ne spontan fällt mir nichts mehr ein. Ich glaube das muss mal jemand genauer ansehen, füllen Sie doch bitte einmal das Supportformular aus: https://verinice.com/support/supportanfrage/

Mit freundlichen Grüßen,
Finn Westendorf

2 „Gefällt mir“
5

Supportanfrage gestellt, Anruf erhalten, Problem gelöst :partying_face: :clap:t2:

Erstmal vielen Dank für den tollen Service!

Für andere Hilfesuchende:

  • der Cronjob zur Datenbanksicherung war so eingestellt, dass 2-stündlich gesichert wurde, der entsprechende Löschjob mit 31 Tagen recht selten.
  • Aufgrund der Datenmenge in Verinice waren auch die Dumps sehr groß und sorgten durch kontinuierliche Speicherung dafür, dass die Festplatte kurz vor dem Aufgeben war.
  • Lösung: (Mutiges) Löschen aller alten, abgebrochenen und unvollständigen Dumps (/var/lib/pgsql/backups/verinice); anpassen der Cronjobs auf eine geringe Speicherhäufigkeit und häufigeres Löschen ( vim /usr/local/bin/remove-old-veriniceDBDumps.sh).
2 „Gefällt mir“