python.d/redis.chart.py

   1 # -*- coding: utf-8 -*-
   2 # Description: redis netdata python.d module
   3 # Author: Pawel Krupa (paulfantom)
   4
   5 from base import SocketService
   6
   7 # default module values (can be overridden per job in `config`)
   8 #update_every = 2
   9 priority = 60000
  10 retries = 60
  11
  12 # default job configuration (overridden by python.d.plugin)
  13 # config = {'local': {
  14 #             'update_every': update_every,
  15 #             'retries': retries,
  16 #             'priority': priority,
  17 #             'host': 'localhost',
  18 #             'port': 6379,
  19 #             'unix_socket': None
  20 #          }}
  21
  22 ORDER = ['operations', 'hit_rate', 'memory', 'keys', 'net', 'connections', 'clients', 'slaves', 'persistence']
  23
  24 CHARTS = {
  25     'operations': {
  26         'options': [None, 'Redis Operations', 'operations/s', 'operations', 'redis.operations', 'line'],
  27         'lines': [
  28             ['total_commands_processed', 'commands', 'incremental'],
  29             ['instantaneous_ops_per_sec', 'operations', 'absolute']
  30         ]},
  31     'hit_rate': {
  32         'options': [None, 'Redis Hit rate', 'percent', 'hits', 'redis.hit_rate', 'line'],
  33         'lines': [
  34             ['hit_rate', 'rate', 'absolute']
  35         ]},
  36     'memory': {
  37         'options': [None, 'Redis Memory utilization', 'kilobytes', 'memory', 'redis.memory', 'line'],
  38         'lines': [
  39             ['used_memory', 'total', 'absolute', 1, 1024],
  40             ['used_memory_lua', 'lua', 'absolute', 1, 1024]
  41         ]},
  42     'net': {
  43         'options': [None, 'Redis Bandwidth', 'kilobits/s', 'network', 'redis.net', 'area'],
  44         'lines': [
  45             ['total_net_input_bytes', 'in', 'incremental', 8, 1024],
  46             ['total_net_output_bytes', 'out', 'incremental', -8, 1024]
  47         ]},
  48     'keys': {
  49         'options': [None, 'Redis Keys per Database', 'keys', 'keys', 'redis.keys', 'line'],
  50         'lines': [
  51             # lines are created dynamically in `check()` method
  52         ]},
  53     'connections': {
  54         'options': [None, 'Redis Connections', 'connections/s', 'connections', 'redis.connections', 'line'],
  55         'lines': [
  56             ['total_connections_received', 'received', 'incremental', 1],
  57             ['rejected_connections', 'rejected', 'incremental', -1]
  58         ]},
  59     'clients': {
  60         'options': [None, 'Redis Clients', 'clients', 'connections', 'redis.clients', 'line'],
  61         'lines': [
  62             ['connected_clients', 'connected', 'absolute', 1],
  63             ['blocked_clients', 'blocked', 'absolute', -1]
  64         ]},
  65     'slaves': {
  66         'options': [None, 'Redis Slaves', 'slaves', 'replication', 'redis.slaves', 'line'],
  67         'lines': [
  68             ['connected_slaves', 'connected', 'absolute']
  69         ]},
  70     'persistence': {
  71         'options': [None, 'Redis Persistence Changes Since Last Save', 'changes', 'persistence', 'redis.rdb_changes', 'line'],
  72         'lines': [
  73             ['rdb_changes_since_last_save', 'changes', 'absolute']
  74         ]}
  75 }
  76
  77
  78 class Service(SocketService):
  79     def __init__(self, configuration=None, name=None):
  80         SocketService.__init__(self, configuration=configuration, name=name)
  81         self.request = "INFO\r\n"
  82         self.order = ORDER
  83         self.definitions = CHARTS
  84         self._keep_alive = True
  85         self.chart_name = ""
  86         self.passwd = None
  87         self.port = 6379
  88         if 'port' in configuration:
  89             self.port = configuration['port']
  90         if 'pass' in configuration:
  91             self.passwd = configuration['pass']
  92         if 'host' in configuration:
  93             self.host = configuration['host']
  94         if 'socket' in configuration:
  95             self.unix_socket = configuration['socket']
  96
  97     def _get_data(self):
  98         """
  99         Get data from socket
 100         :return: dict
 101         """
 102         if self.passwd:
 103             info_request = self.request
 104             self.request = "AUTH " + self.passwd + "\r\n"
 105             raw = self._get_raw_data().strip()
 106             if raw != "+OK":
 107                 self.error("invalid password")
 108                 return None
 109             self.request = info_request
 110
 111         response = self._get_raw_data()
 112         if response is None:
 113             # error has already been logged
 114             return None
 115
 116         try:
 117             parsed = response.split("\n")
 118         except AttributeError:
 119             self.error("response is invalid/empty")
 120             return None
 121
 122         data = {}
 123         for line in parsed:
 124             if len(line) < 5 or line[0] == '$' or line[0] == '#':
 125                 continue
 126
 127             if line.startswith('db'):
 128                 tmp = line.split(',')[0].replace('keys=', '')
 129                 record = tmp.split(':')
 130                 data[record[0]] = record[1]
 131                 continue
 132
 133             try:
 134                 t = line.split(':')
 135                 data[t[0]] = t[1]
 136             except (IndexError, ValueError):
 137                 self.debug("invalid line received: " + str(line))
 138                 pass
 139
 140         if len(data) == 0:
 141             self.error("received data doesn't have any records")
 142             return None
 143
 144         try:
 145             data['hit_rate'] = (int(data['keyspace_hits']) * 100) / (int(data['keyspace_hits']) + int(data['keyspace_misses']))
 146         except:
 147             data['hit_rate'] = 0
 148
 149         return data
 150
 151     def _check_raw_data(self, data):
 152         """
 153         Check if all data has been gathered from socket.
 154         Parse first line containing message length and check against received message
 155         :param data: str
 156         :return: boolean
 157         """
 158         length = len(data)
 159         supposed = data.split('\n')[0][1:]
 160         offset = len(supposed) + 4  # 1 dollar sing, 1 new line character + 1 ending sequence '\r\n'
 161         if not supposed.isdigit():
 162             return True
 163         supposed = int(supposed)
 164
 165         if length - offset >= supposed:
 166             self.debug("received full response from redis")
 167             return True
 168
 169         self.debug("waiting more data from redis")
 170         return False
 171
 172     def check(self):
 173         """
 174         Parse configuration, check if redis is available, and dynamically create chart lines data
 175         :return: boolean
 176         """
 177         self._parse_config()
 178         if self.name == "":
 179             self.name = "local"
 180             self.chart_name += "_" + self.name
 181         data = self._get_data()
 182         if data is None:
 183             return False
 184
 185         for name in data:
 186             if name.startswith('db'):
 187                 self.definitions['keys']['lines'].append([name, None, 'absolute'])
 188
 189         return True