python.d/redis.chart.py

   1 # -*- coding: utf-8 -*-
   2 # Description: redis netdata python.d module
   3 # Author: Pawel Krupa (paulfantom)
   4
   5 from base import SocketService
   6
   7 # default module values (can be overridden per job in `config`)
   8 #update_every = 2
   9 priority = 60000
  10 retries = 60
  11
  12 # default job configuration (overridden by python.d.plugin)
  13 # config = {'local': {
  14 #             'update_every': update_every,
  15 #             'retries': retries,
  16 #             'priority': priority,
  17 #             'host': 'localhost',
  18 #             'port': 6379,
  19 #             'unix_socket': None
  20 #          }}
  21
  22 ORDER = ['operations', 'hit_rate', 'memory', 'keys', 'net', 'connections', 'clients', 'slaves', 'persistence']
  23
  24 CHARTS = {
  25     'operations': {
  26         'options': [None, 'Redis Operations', 'operations/s', 'operations', 'redis.operations', 'line'],
  27         'lines': [
  28             ['total_commands_processed', 'commands', 'incremental'],
  29             ['instantaneous_ops_per_sec', 'operations', 'absolute']
  30         ]},
  31     'hit_rate': {
  32         'options': [None, 'Redis Hit rate', 'percent', 'hits', 'redis.hit_rate', 'line'],
  33         'lines': [
  34             ['hit_rate', 'rate', 'absolute']
  35         ]},
  36     'memory': {
  37         'options': [None, 'Redis Memory utilization', 'kilobytes', 'memory', 'redis.memory', 'line'],
  38         'lines': [
  39             ['used_memory', 'total', 'absolute', 1, 1024],
  40             ['used_memory_lua', 'lua', 'absolute', 1, 1024]
  41         ]},
  42     'net': {
  43         'options': [None, 'Redis Bandwidth', 'kilobits/s', 'network', 'redis.net', 'area'],
  44         'lines': [
  45             ['total_net_input_bytes', 'in', 'incremental', 8, 1024],
  46             ['total_net_output_bytes', 'out', 'incremental', -8, 1024]
  47         ]},
  48     'keys': {
  49         'options': [None, 'Redis Keys per Database', 'keys', 'keys', 'redis.keys', 'line'],
  50         'lines': [
  51             # lines are created dynamically in `check()` method
  52         ]},
  53     'connections': {
  54         'options': [None, 'Redis Connections', 'connections/s', 'connections', 'redis.connections', 'line'],
  55         'lines': [
  56             ['total_connections_received', 'received', 'incremental', 1],
  57             ['rejected_connections', 'rejected', 'incremental', -1]
  58         ]},
  59     'clients': {
  60         'options': [None, 'Redis Clients', 'clients', 'connections', 'redis.clients', 'line'],
  61         'lines': [
  62             ['connected_clients', 'connected', 'absolute', 1],
  63             ['blocked_clients', 'blocked', 'absolute', -1]
  64         ]},
  65     'slaves': {
  66         'options': [None, 'Redis Slaves', 'connected', 'replication', 'redis.slaves', 'line'],
  67         'lines': [
  68             ['connected_slaves', 'slaves', 'absolute']
  69         ]},
  70     'persistence': {
  71         'options': [None, 'Redis Persistence Changes Since Last Save', 'changes', 'persistence', 'redis.rdb_changes', 'line'],
  72         'lines': [
  73             ['rdb_changes_since_last_save', 'changes', 'absolute']
  74         ]}
  75 }
  76
  77
  78 class Service(SocketService):
  79     def __init__(self, configuration=None, name=None):
  80         SocketService.__init__(self, configuration=configuration, name=name)
  81         self.request = "INFO\r\n"
  82         self.host = "localhost"
  83         self.port = 6379
  84         self.unix_socket = None
  85         self.order = ORDER
  86         self.definitions = CHARTS
  87         self._keep_alive = True
  88         self.chart_name = ""
  89
  90     def _get_data(self):
  91         """
  92         Get data from socket
  93         :return: dict
  94         """
  95         response = self._get_raw_data()
  96         if response is None:
  97             # error has already been logged
  98             return None
  99
 100         try:
 101             parsed = response.split("\n")
 102         except AttributeError:
 103             self.error("response is invalid/empty")
 104             return None
 105
 106         data = {}
 107         for line in parsed:
 108             if len(line) < 5 or line[0] == '$' or line[0] == '#':
 109                 continue
 110
 111             if line.startswith('db'):
 112                 tmp = line.split(',')[0].replace('keys=', '')
 113                 record = tmp.split(':')
 114                 data[record[0]] = record[1]
 115                 continue
 116
 117             try:
 118                 t = line.split(':')
 119                 data[t[0]] = t[1]
 120             except (IndexError, ValueError):
 121                 self.debug("invalid line received: " + str(line))
 122                 pass
 123
 124         if len(data) == 0:
 125             self.error("received data doesn't have any records")
 126             return None
 127
 128         try:
 129             data['hit_rate'] = (int(data['keyspace_hits']) * 100) / (int(data['keyspace_hits']) + int(data['keyspace_misses']))
 130         except:
 131             data['hit_rate'] = 0
 132
 133         return data
 134
 135     def _check_raw_data(self, data):
 136         """
 137         Check if all data has been gathered from socket.
 138         Parse first line containing message length and check against received message
 139         :param data: str
 140         :return: boolean
 141         """
 142         length = len(data)
 143         supposed = data.split('\n')[0][1:]
 144         offset = len(supposed) + 4  # 1 dollar sing, 1 new line character + 1 ending sequence '\r\n'
 145         supposed = int(supposed)
 146
 147         if length - offset >= supposed:
 148             self.debug("received full response from redis")
 149             return True
 150
 151         self.debug("waiting more data from redis")
 152         return False
 153
 154     def check(self):
 155         """
 156         Parse configuration, check if redis is available, and dynamically create chart lines data
 157         :return: boolean
 158         """
 159         self._parse_config()
 160         if self.name == "":
 161             self.name = "local"
 162             self.chart_name += "_" + self.name
 163         data = self._get_data()
 164         if data is None:
 165             return False
 166
 167         for name in data:
 168             if name.startswith('db'):
 169                 self.definitions['keys']['lines'].append([name, None, 'absolute'])
 170
 171         return True