conf.d/health.d/disks.conf

   1 # -----------------------------------------------------------------------------
   2 # low disk space
   3
   4 # checking the latest collected values
   5 # raise an alarm if the disk is low on
   6 # available disk space
   7
   8 template: disk_full_percent
   9       on: disk.space
  10     calc: $used * 100 / ($avail + $used)
  11    every: 1m
  12     warn: $this > 80
  13     crit: $this > 95
  14    units: %
  15     info: current disk space usage
  16
  17
  18 # -----------------------------------------------------------------------------
  19 # disk fill rate
  20
  21 # calculate the rate the disk fills
  22 # use as base, the available space change
  23 # during the last 30 minutes
  24
  25 # this is just a calculation - it has no alarm
  26 # we will use it in the next template to find
  27 # the hours remaining
  28
  29 template: disk_fill_rate
  30       on: disk.space
  31   lookup: max -1s at -30m unaligned of avail
  32     calc: ($this - $avail) / (($now - $after) / 60)
  33    every: 15s
  34    units: GB/min
  35     info: average rate the disk fills up (positive), or frees up (negative) space, for the last 30 minutes
  36
  37
  38 # calculate the hours remaining
  39 # if the disk continues to fill
  40 # in this rate
  41
  42 template: disk_full_after_hours
  43       on: disk.space
  44     calc: $avail / ($disk_fill_rate * 60)
  45    every: 10s
  46     warn: $this > 0 and $this < 48
  47     crit: $this > 0 and $this < 24
  48    units: hours
  49     info: estimated time the disk will run out of space, if the system continues to add data with the rate of the last 30 minutes
  50
  51
  52 # -----------------------------------------------------------------------------
  53 # disk congestion
  54
  55 # raise an alarm if the disk is congested
  56 # by calculating the average disk utilization
  57 # for the last 10 minutes
  58
  59 template: 10min_disk_utilization
  60       on: disk.util
  61   lookup: average -10m unaligned
  62    every: 1m
  63    green: 90
  64      red: 98
  65     warn: $this > $green
  66     crit: $this > $red
  67    units: %
  68     info: the percentage of time the disk was busy, during the last 10 minutes
  69
  70
  71 # raise an alarm if the disk backlog
  72 # is above 1000ms (1s) per second
  73 # for 10 minutes
  74 # (i.e. the disk cannot catch up)
  75
  76 template: 10min_disk_backlog
  77       on: disk.backlog
  78   lookup: average -10m unaligned
  79    every: 1m
  80    green: 1000
  81      red: 2000
  82     warn: $this > $green
  83     crit: $this > $red
  84    units: ms
  85     info: average of the kernel estimated disk backlog, for the last 10 minutes