python.d/haproxy.chart.py

   1 # -*- coding: utf-8 -*-
   2 # Description: haproxy netdata python.d module
   3 # Author: l2isbad
   4
   5 from base import UrlService, SocketService
   6
   7 # default module values (can be overridden per job in `config`)
   8 # update_every = 2
   9 priority = 60000
  10 retries = 60
  11
  12 # charts order (can be overridden if you want less charts, or different order)
  13 ORDER = ['fbin', 'fbout', 'fscur', 'fqcur', 'bbin', 'bbout', 'bscur', 'bqcur', 'health_sdown', 'health_bdown']
  14 CHARTS = {
  15     'fbin': {
  16         'options': [None, "Kilobytes in", "kilobytes in/s", 'Frontend', 'haproxy_f.bin', 'line'],
  17         'lines': [
  18         ]},
  19     'fbout': {
  20         'options': [None, "Kilobytes out", "kilobytes out/s", 'Frontend', 'haproxy_f.bout', 'line'],
  21         'lines': [
  22         ]},
  23     'fscur': {
  24         'options': [None, "Sessions active", "sessions", 'Frontend', 'haproxy_f.scur', 'line'],
  25         'lines': [
  26         ]},
  27     'fqcur': {
  28         'options': [None, "Session in queue", "sessions", 'Frontend', 'haproxy_f.qcur', 'line'],
  29         'lines': [
  30         ]},
  31     'bbin': {
  32         'options': [None, "Kilobytes in", "kilobytes in/s", 'Backend', 'haproxy_b.bin', 'line'],
  33         'lines': [
  34         ]},
  35     'bbout': {
  36         'options': [None, "Kilobytes out", "kilobytes out/s", 'Backend', 'haproxy_b.bout', 'line'],
  37         'lines': [
  38         ]},
  39     'bscur': {
  40         'options': [None, "Sessions active", "sessions", 'Backend', 'haproxy_b.scur', 'line'],
  41         'lines': [
  42         ]},
  43     'bqcur': {
  44         'options': [None, "Sessions in queue", "sessions", 'Backend', 'haproxy_b.qcur', 'line'],
  45         'lines': [
  46         ]},
  47     'health_sdown': {
  48         'options': [None, "Number of servers in backend in DOWN state", "failed servers", 'Health', 'haproxy_hs.down', 'line'],
  49         'lines': [
  50         ]},
  51     'health_bdown': {
  52         'options': [None, "Is backend alive? 1 = DOWN", "failed backend", 'Health', 'haproxy_hb.down', 'line'],
  53         'lines': [
  54         ]}
  55 }
  56
  57
  58 class Service(UrlService, SocketService):
  59     def __init__(self, configuration=None, name=None):
  60         SocketService.__init__(self, configuration=configuration, name=name)
  61         self.user = self.configuration.get('user')
  62         self.password = self.configuration.get('pass')
  63         self.request = 'show stat\n'
  64         self.poll_method = (UrlService, SocketService)
  65         self.order = ORDER
  66         self.order_front = [_ for _ in ORDER if _.startswith('f')]
  67         self.order_back = [_ for _ in ORDER if _.startswith('b')]
  68         self.definitions = CHARTS
  69         self.charts = True
  70
  71     def check(self):
  72         if self.configuration.get('url'):
  73             self.poll_method = self.poll_method[0]
  74             url = self.configuration.get('url')
  75             if not url.endswith(';csv;norefresh'):
  76                 self.error('Bad url(%s). Must be http://<ip.address>:<port>/<url>;csv;norefresh' % url)
  77                 return False
  78         elif self.configuration.get('socket'):
  79             self.poll_method = self.poll_method[1]
  80         else:
  81             self.error('No configuration is specified')
  82             return False
  83
  84         if self.poll_method.check(self):
  85             self.info('Plugin was started succesfully. We are using %s.' % self.poll_method.__name__)
  86             return True
  87
  88     def create_charts(self, front_ends, back_ends):
  89         for _ in range(len(front_ends)):
  90             self.definitions['fbin']['lines'].append(['_'.join(['fbin', front_ends[_]['# pxname']]), front_ends[_]['# pxname'], 'incremental', 1, 1024])
  91             self.definitions['fbout']['lines'].append(['_'.join(['fbout', front_ends[_]['# pxname']]), front_ends[_]['# pxname'], 'incremental', 1, 1024])
  92             self.definitions['fscur']['lines'].append(['_'.join(['fscur', front_ends[_]['# pxname']]), front_ends[_]['# pxname'], 'absolute'])
  93             self.definitions['fqcur']['lines'].append(['_'.join(['fqcur', front_ends[_]['# pxname']]), front_ends[_]['# pxname'], 'absolute'])
  94
  95         for _ in range(len(back_ends)):
  96             self.definitions['bbin']['lines'].append(['_'.join(['bbin', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'incremental', 1, 1024])
  97             self.definitions['bbout']['lines'].append(['_'.join(['bbout', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'incremental', 1, 1024])
  98             self.definitions['bscur']['lines'].append(['_'.join(['bscur', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'absolute'])
  99             self.definitions['bqcur']['lines'].append(['_'.join(['bqcur', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'absolute'])
 100             self.definitions['health_sdown']['lines'].append(['_'.join(['hsdown', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'absolute'])
 101             self.definitions['health_bdown']['lines'].append(['_'.join(['hbdown', back_ends[_]['# pxname']]), back_ends[_]['# pxname'], 'absolute'])
 102
 103     def _get_data(self):
 104         """
 105         Format data received from http request
 106         :return: dict
 107         """
 108         try:
 109             raw_data = self.poll_method._get_raw_data(self).splitlines()
 110         except Exception as e:
 111             self.error(str(e))
 112             return None
 113
 114         all_instances = [dict(zip(raw_data[0].split(','), raw_data[_].split(','))) for _ in range(1, len(raw_data))]
 115
 116         back_ends = list(filter(is_backend, all_instances))
 117         front_ends = list(filter(is_frontend, all_instances))
 118         servers = list(filter(is_server, all_instances))
 119
 120         if self.charts:
 121             self.create_charts(front_ends, back_ends)
 122             self.charts = False
 123
 124         to_netdata = dict()
 125
 126         for frontend in front_ends:
 127             for _ in self.order_front:
 128                 to_netdata.update({'_'.join([_, frontend['# pxname']]): int(frontend[_[1:]]) if frontend.get(_[1:]) else 0})
 129
 130         for backend in back_ends:
 131             for _ in self.order_back:
 132                 to_netdata.update({'_'.join([_, backend['# pxname']]): int(backend[_[1:]]) if backend.get(_[1:]) else 0})
 133
 134         for _ in range(len(back_ends)):
 135             to_netdata.update({'_'.join(['hsdown', back_ends[_]['# pxname']]):
 136                            len([server for server in servers if is_server_down(server, back_ends, _)])})
 137             to_netdata.update({'_'.join(['hbdown', back_ends[_]['# pxname']]): 1 if is_backend_down(back_ends, _) else 0})
 138
 139         return to_netdata
 140
 141     def _check_raw_data(self, data):
 142         """
 143         Check if all data has been gathered from socket
 144         :param data: str
 145         :return: boolean
 146         """
 147         return not bool(data)
 148
 149 def is_backend(backend):
 150     try:
 151         return backend['svname'] == 'BACKEND' and backend['# pxname'] != 'stats'
 152     except Exception:
 153         return False
 154
 155 def is_frontend(frontend):
 156     try:
 157         return frontend['svname'] == 'FRONTEND' and frontend['# pxname'] != 'stats'
 158     except Exception:
 159         return False
 160
 161 def is_server(server):
 162     try:
 163         return not server['svname'].startswith(('FRONTEND', 'BACKEND'))
 164     except Exception:
 165         return False
 166
 167 def is_server_down(server, back_ends, _):
 168     try:
 169         return server['# pxname'] == back_ends[_]['# pxname'] and server['status'] == 'DOWN'
 170     except Exception:
 171         return False
 172
 173 def is_backend_down(back_ends, _):
 174     try:
 175         return back_ends[_]['status'] == 'DOWN'
 176     except Exception:
 177         return False