scheissekonfiguriert.de

28. März 2026

Terabyte Logfile

Ein Server meldet, dass der Plattenplatz langsam knapp wird. Mal nachgucken.

$ uptime
 20:37:30 up 42 days,  3:13,  1 user,  load average: 3,32, 3,48, 3,49

Was läuft denn da?

$ ps xaur
USER         PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
woffs    3293833  0.0  0.0  10936  3344 pts/0    R+   20:37   0:00 ps xaur

Nichts? Vielleicht doch:

$ ps xauf
USER      PID %CPU %MEM    VSZ   RSS TTY      STAT START TIME      COMMAND
[...]
user  2479846 99.7  1.0 7174920 179816 ?      Sl   Mär13 20949:32      \_ /usr/lib/jvm/java-11-openjdk-amd64
[...]
user  1897044 99.6  1.0 7174920 176380 ?      Sl   Mär20 10887:54      \_ /usr/lib/jvm/java-11-openjdk-amd64
[...]
user  2308714 99.3  1.3 7174920 220108 ?      Sl   06:35 836:40      \_ /usr/lib/jvm/java-11-openjdk-amd64/bi

Das sind Importer für Daten, die jede Woche einlaufen. Die haben sich wohl aufgehängt. Schaun wir mal, wo der Platzverbrauch herkommt. Da ist was:

$ du -h /srv/importer/importer_* | sort -h
[...]
1,9G	/srv/importer/importer_26.03.27_06+35+49_2308672
24G	/srv/importer/importer_26.03.20_06+36+23_1897002
46G	/srv/importer/importer_26.03.13_06+37+12_2479804

Der muss ja ganz schön was schreiben, 20GB je Woche. Schaun wir mal rein:

$ ls -lhs /srv/importer/importer_26.03.13_06+37+12_2479804
insgesamt 46G
46G -rw-r--r-- 1 user group 5,7T 27. Mär 20:38 job.log
18K drwxr-xr-x 2 user group   94 13. Mär 06:37 spxml2612.run

WTF! Das ist eine 5,7-Terabyte-Logdatei, die nur wegen ZFS-Compression auf 46GB runterkomprimiert.

$ tail /srv/importer/importer_26.03.13_06+37+12_2479804/job.log
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>
[error] #25 invalid element in text: <ul/>

Ok, das loopt und loggt terabyteweise.

$ sudo kill 2308714 1897044 2479846