inodeが大量に発生しDISKへ書き込みができないときの調査

DISKの空きはあるが書き込みができないというとき

状況

空き容量はあるが、inodeが100%

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              20G  8.6G  9.8G  47% /

$ df -i
Filesystem             Inodes    IUsed IFree IUse% Mounted on
/dev/sda2             1281120  1281120     0  100% /

調査

もっと柔軟な調査方法がるかもしれないが、地道にやるのが手っ取り早いかも

$ find / -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -nr | head
 614211 root
  66521 usr
   9806 var
   5383 tmp
   5291 lib
   1172 etc
    261 lib64
    150 sbin
     88 bin
     82 home

rootなので、たぶんroot宛てのメールが大量に溜まっているのだろう

$ ls -ltr /root/Maildir/new/ | tail
-rw------- 1 root root      645  5月  6 11:41 2022 1651804875.V802I6f3e6M692350.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804875.V802I6f3e5M820216.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804875.V802I6f3e4M56831.hoge-sv
-rw------- 1 root root      643  5月  6 11:41 2022 1651804876.V802I6f3e9M427689.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804876.V802I6f3e8M648230.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804877.V802I6f3eaM761443.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804881.V802I6f3ecM706526.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804881.V802I6f3ebM335385.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804883.V802I6f3eeM315599.hoge-sv
-rw------- 1 root root      645  5月  6 11:41 2022 1651804883.V802I6f3edM258674.hoge-sv

ビンゴ

おわりに

今回はあえて無理やり表現を100%にしたが、実際は50%でアラート飛ばしてるので実害はなし。

メールがrootに大量に溜まった原因はアメリカからのSMTP587への攻撃で、エラーメールが大量にrootに溜まったせい。FWでブロックして抑えたあと、bounceメールを全部削除して対応完了。