python.d/redis.chart.py

   1 # -*- coding: utf-8 -*-
   2 # Description: redis netdata python.d module
   3 # Author: Pawel Krupa (paulfantom)
   4
   5 from base import SocketService
   6
   7 # default module values (can be overridden per job in `config`)
   8 #update_every = 2
   9 priority = 60000
  10 retries = 60
  11
  12 # default job configuration (overridden by python.d.plugin)
  13 # config = {'local': {
  14 #             'update_every': update_every,
  15 #             'retries': retries,
  16 #             'priority': priority,
  17 #             'host': 'localhost',
  18 #             'port': 6379,
  19 #             'unix_socket': None
  20 #          }}
  21
  22 ORDER = ['operations', 'hit_rate', 'memory', 'keys', 'net', 'connections', 'clients', 'slaves', 'persistence']
  23
  24 CHARTS = {
  25     'operations': {
  26         'options': [None, 'Redis Operations', 'operations/s', 'operations', 'redis.operations', 'line'],
  27         'lines': [
  28             ['total_commands_processed', 'commands', 'incremental'],
  29             ['instantaneous_ops_per_sec', 'operations', 'absolute']
  30         ]},
  31     'hit_rate': {
  32         'options': [None, 'Redis Hit rate', 'percent', 'hits', 'redis.hit_rate', 'line'],
  33         'lines': [
  34             ['hit_rate', 'rate', 'absolute']
  35         ]},
  36     'memory': {
  37         'options': [None, 'Redis Memory utilization', 'kilobytes', 'memory', 'redis.memory', 'line'],
  38         'lines': [
  39             ['used_memory', 'total', 'absolute', 1, 1024],
  40             ['used_memory_lua', 'lua', 'absolute', 1, 1024]
  41         ]},
  42     'net': {
  43         'options': [None, 'Redis Bandwidth', 'kilobits/s', 'network', 'redis.net', 'area'],
  44         'lines': [
  45             ['total_net_input_bytes', 'in', 'incremental', 8, 1024],
  46             ['total_net_output_bytes', 'out', 'incremental', -8, 1024]
  47         ]},
  48     'keys': {
  49         'options': [None, 'Redis Keys per Database', 'keys', 'keys', 'redis.keys', 'line'],
  50         'lines': [
  51             # lines are created dynamically in `check()` method
  52         ]},
  53     'connections': {
  54         'options': [None, 'Redis Connections', 'connections/s', 'connections', 'redis.connections', 'line'],
  55         'lines': [
  56             ['total_connections_received', 'received', 'incremental', 1],
  57             ['rejected_connections', 'rejected', 'incremental', -1]
  58         ]},
  59     'clients': {
  60         'options': [None, 'Redis Clients', 'clients', 'connections', 'redis.clients', 'line'],
  61         'lines': [
  62             ['connected_clients', 'connected', 'absolute', 1],
  63             ['blocked_clients', 'blocked', 'absolute', -1]
  64         ]},
  65     'slaves': {
  66         'options': [None, 'Redis Slaves', 'slaves', 'replication', 'redis.slaves', 'line'],
  67         'lines': [
  68             ['connected_slaves', 'connected', 'absolute']
  69         ]},
  70     'persistence': {
  71         'options': [None, 'Redis Persistence Changes Since Last Save', 'changes', 'persistence', 'redis.rdb_changes', 'line'],
  72         'lines': [
  73             ['rdb_changes_since_last_save', 'changes', 'absolute']
  74         ]}
  75 }
  76
  77
  78 class Service(SocketService):
  79     def __init__(self, configuration=None, name=None):
  80         SocketService.__init__(self, configuration=configuration, name=name)
  81         self.request = "INFO\r\n"
  82         self.order = ORDER
  83         self.definitions = CHARTS
  84         self._keep_alive = True
  85         self.chart_name = ""
  86         self.passwd = None
  87         self.port = 6379
  88         if 'port' in configuration:
  89             self.port = configuration['port']
  90         if 'pass' in configuration:
  91             self.passwd = configuration['pass']
  92         if 'host' in configuration:
  93             self.host = configuration['host']
  94         if 'socket' in configuration:
  95             self.unix_socket = configuration['socket']
  96
  97     def _get_data(self):
  98         """
  99         Get data from socket
 100         :return: dict
 101         """
 102         if self.passwd:
 103             info_request = self.request
 104             self.request = "AUTH " + self.passwd + "\r\n"
 105             raw = self._get_raw_data().strip()
 106             if raw != "+OK":
 107                 self.error("invalid password")
 108                 return None
 109             self.request = info_request
 110         response = self._get_raw_data()
 111         if response is None:
 112             # error has already been logged
 113             return None
 114
 115         try:
 116             parsed = response.split("\n")
 117         except AttributeError:
 118             self.error("response is invalid/empty")
 119             return None
 120
 121         data = {}
 122         for line in parsed:
 123             if len(line) < 5 or line[0] == '$' or line[0] == '#':
 124                 continue
 125
 126             if line.startswith('db'):
 127                 tmp = line.split(',')[0].replace('keys=', '')
 128                 record = tmp.split(':')
 129                 data[record[0]] = record[1]
 130                 continue
 131
 132             try:
 133                 t = line.split(':')
 134                 data[t[0]] = t[1]
 135             except (IndexError, ValueError):
 136                 self.debug("invalid line received: " + str(line))
 137                 pass
 138
 139         if len(data) == 0:
 140             self.error("received data doesn't have any records")
 141             return None
 142
 143         try:
 144             data['hit_rate'] = (int(data['keyspace_hits']) * 100) / (int(data['keyspace_hits']) + int(data['keyspace_misses']))
 145         except:
 146             data['hit_rate'] = 0
 147
 148         return data
 149
 150     def _check_raw_data(self, data):
 151         """
 152         Check if all data has been gathered from socket.
 153         Parse first line containing message length and check against received message
 154         :param data: str
 155         :return: boolean
 156         """
 157         length = len(data)
 158         supposed = data.split('\n')[0][1:]
 159         offset = len(supposed) + 4  # 1 dollar sing, 1 new line character + 1 ending sequence '\r\n'
 160         if not supposed.isdigit():
 161             return True
 162         supposed = int(supposed)
 163
 164         if length - offset >= supposed:
 165             self.debug("received full response from redis")
 166             return True
 167
 168         self.debug("waiting more data from redis")
 169         return False
 170
 171     def check(self):
 172         """
 173         Parse configuration, check if redis is available, and dynamically create chart lines data
 174         :return: boolean
 175         """
 176         self._parse_config()
 177         if self.name == "":
 178             self.name = "local"
 179             self.chart_name += "_" + self.name
 180         data = self._get_data()
 181         if data is None:
 182             return False
 183
 184         for name in data:
 185             if name.startswith('db'):
 186                 self.definitions['keys']['lines'].append([name, None, 'absolute'])
 187
 188         return True