python.d/mysql.chart.py

   1 # Description: MySQL netdata python.d plugin
   2 # Author: Pawel Krupa (paulfantom)
   3
   4 NAME = "mysql.chart.py"
   5 import sys
   6
   7 # import 3rd party library to handle MySQL communication
   8 try:
   9     import MySQLdb
  10     # https://github.com/PyMySQL/mysqlclient-python
  11     sys.stderr.write(NAME + ": using MySQLdb\n")
  12 except ImportError:
  13     try:
  14         import pymysql as MySQLdb
  15         # https://github.com/PyMySQL/PyMySQL
  16         sys.stderr.write(NAME + ": using pymysql\n")
  17     except ImportError:
  18         sys.stderr.write(NAME + ": You need to install PyMySQL module to use mysql.chart.py plugin\n")
  19
  20 # default configuration (overriden by python.d.plugin)
  21 config = [
  22     {
  23         'name'     : 'local',
  24         'user'     : 'root',
  25         'password' : 'a',
  26         'socket'   : '/var/run/mysqld/mysqld.sock',
  27         'update_every' : 3,
  28         'retries'  : 4
  29     }
  30 ]
  31
  32 # query executed on MySQL server
  33 QUERY = "SHOW GLOBAL STATUS"
  34
  35 # charts order (can be overriden if you want less charts, or different order)
  36 ORDER = ['net',
  37          'queries',
  38          'handlers',
  39          'table_locks',
  40          'join_issues',
  41          'sort_issues',
  42          'tmp',
  43          'connections',
  44          'binlog_cache',
  45          'threads',
  46          'thread_cache_misses',
  47          'innodb_io',
  48          'innodb_io_ops',
  49          'innodb_io_pending_ops',
  50          'innodb_log',
  51          'innodb_os_log',
  52          'innodb_os_log_io',
  53          'innodb_cur_row_lock',
  54          'innodb_rows',
  55          'innodb_buffer_pool_pages',
  56          'innodb_buffer_pool_bytes',
  57          'innodb_buffer_pool_read_ahead',
  58          'innodb_buffer_pool_reqs',
  59          'innodb_buffer_pool_ops',
  60          'qcache_ops',
  61          'qcache',
  62          'qcache_freemem',
  63          'qcache_memblocks',
  64          'key_blocks',
  65          'key_requests',
  66          'key_disk_ops',
  67          'files',
  68          'files_rate',
  69          'binlog_stmt_cache',
  70          'connection_errors']
  71
  72 # charts definitions in format:
  73 # CHARTS = {
  74 #    'chart_name_in_netdata': (
  75 #        "parameters defining chart (passed to CHART statement)",
  76 #        [ # dimensions (lines) definitions
  77 #            ("dimension_name", "dimension parameters (passed to DIMENSION statement)", "additional parameter (optional)")
  78 #        ])
  79 #    }
  80
  81 CHARTS = {
  82     'net' : (
  83         "'' 'mysql Bandwidth' 'kilobits/s' bandwidth mysql.net area",
  84         [
  85             ("Bytes_received", "in incremental 8 1024"),
  86             ("Bytes_sent",     "out incremental -8 1024")
  87         ]),
  88     'queries' : (
  89         "'' 'mysql Queries' 'queries/s' queries mysql.queries line",
  90         [
  91             ("Queries",      "queries incremental 1 1"),
  92             ("Questions",    "questions incremental 1 1"),
  93             ("Slow_queries", "slow_queries incremental -1 1")
  94         ]),
  95     'handlers' : (
  96         "'' 'mysql Handlers' 'handlers/s' handlers mysql.handlers line",
  97         [
  98             ("Handler_commit", "commit incremental 1 1"),
  99             ("Handler_delete", "delete incremental 1 1"),
 100             ("Handler_prepare", "prepare incremental 1 1"),
 101             ("Handler_read_first", "read_first incremental 1 1"),
 102             ("Handler_read_key", "read_key incremental 1 1"),
 103             ("Handler_read_next", "read_next incremental 1 1"),
 104             ("Handler_read_prev", "read_prev incremental 1 1"),
 105             ("Handler_read_rnd", "read_rnd incremental 1 1"),
 106             ("Handler_read_rnd_next", "read_rnd_next incremental 1 1"),
 107             ("Handler_rollback", "rollback incremental 1 1"),
 108             ("Handler_savepoint", "savepoint incremental 1 1"),
 109             ("Handler_savepoint_rollback", "savepoint_rollback incremental 1 1"),
 110             ("Handler_update", "update incremental 1 1"),
 111             ("Handler_write", "write incremental 1 1")
 112         ]),
 113     'table_locks' : (
 114         "'' 'mysql Tables Locks' 'locks/s' locks mysql.table_locks line",
 115         [
 116             ("Table_locks_immediate", "immediate incremental 1 1"),
 117             ("Table_locks_waited", "waited incremental -1 1")
 118         ]),
 119     'join_issues' : (
 120         "'' 'mysql Select Join Issues' 'joins/s' issues mysql.join_issues line",
 121         [
 122             ("Select_full_join", "full_join incremental 1 1"),
 123             ("Select_full_range_join", "full_range_join incremental 1 1"),
 124             ("Select_range", "range incremental 1 1"),
 125             ("Select_range_check", "range_check incremental 1 1"),
 126             ("Select_scan", "scan incremental 1 1"),
 127         ]),
 128     'sort_issues' : (
 129         "'' 'mysql Sort Issues' 'issues/s' issues mysql.sort.issues line",
 130         [
 131             ("Sort_merge_passes", "merge_passes incremental 1 1"),
 132             ("Sort_range", "range incremental 1 1"),
 133             ("Sort_scan", "scan incremental 1 1"),
 134         ]),
 135     'tmp' : (
 136         "'' 'mysql Tmp Operations' 'counter' temporaries mysql.tmp line",
 137         [
 138             ("Created_tmp_disk_tables", "disk_tables incremental 1 1"),
 139             ("Created_tmp_files", "files incremental 1 1"),
 140             ("Created_tmp_tables", "tables incremental 1 1"),
 141         ]),
 142     'connections' : (
 143         "'' 'mysql Connections' 'connections/s' connections mysql.connections line",
 144         [
 145             ("Connections", "all incremental 1 1"),
 146             ("Aborted_connects", "aborted incremental 1 1"),
 147         ]),
 148     'binlog_cache' : (
 149         "'' 'mysql Binlog Cache' 'transactions/s' binlog mysql.binlog_cache line",
 150         [
 151             ("Binlog_cache_disk_use", "disk incremental 1 1"),
 152             ("Binlog_cache_use", "all incremental 1 1"),
 153         ]),
 154     'threads' : (
 155         "'' 'mysql Threads' 'threads' threads mysql.threads line",
 156         [
 157             ("Threads_connected", "connected absolute 1 1"),
 158             ("Threads_created", "created incremental 1 1"),
 159             ("Threads_cached", "cached absolute -1 1"),
 160             ("Threads_running", "running absolute 1 1"),
 161         ]),
 162     'thread_cache_misses' : (
 163         "'' 'mysql Threads Cache Misses' 'misses' threads mysql.thread_cache_misses area",
 164         [
 165             ("Thread_cache_misses", "misses misses absolute 1 100"),
 166         ]),
 167     'innodb_io' : (
 168         "'' 'mysql InnoDB I/O Bandwidth' 'kilobytes/s' innodb mysql.innodb_io area",
 169         [
 170             ("Innodb_data_read", "read incremental 1 1024"),
 171             ("Innodb_data_written", "write incremental -1 1024"),
 172         ]),
 173     'innodb_io_ops' : (
 174         "'' 'mysql InnoDB I/O Operations' 'operations/s' innodb mysql.innodb_io_ops line",
 175         [
 176             ("Innodb_data_reads", "reads incremental 1 1"),
 177             ("Innodb_data_writes", "writes incremental -1 1"),
 178             ("Innodb_data_fsyncs", "fsyncs incremental 1 1"),
 179         ]),
 180     'innodb_io_pending_ops' : (
 181         "'' 'mysql InnoDB Pending I/O Operations' 'operations' innodb mysql.innodb_io_pending_ops line",
 182         [
 183             ("Innodb_data_pending_reads", "reads absolute 1 1"),
 184             ("Innodb_data_pending_writes", "writes absolute -1 1"),
 185             ("Innodb_data_pending_fsyncs", "fsyncs absolute 1 1"),
 186         ]),
 187     'innodb_log' : (
 188         "'' 'mysql InnoDB Log Operations' 'operations/s' innodb mysql.innodb_log line",
 189         [
 190             ("Innodb_log_waits", "waits incremental 1 1"),
 191             ("Innodb_log_write_requests", "write_requests incremental -1 1"),
 192             ("Innodb_log_writes", "incremental -1 1"),
 193         ]),
 194     'innodb_os_log' : (
 195         "'' 'mysql InnoDB OS Log Operations' 'operations' innodb mysql.innodb_os_log line",
 196         [
 197             ("Innodb_os_log_fsyncs", "fsyncs incremental 1 1"),
 198             ("Innodb_os_log_pending_fsyncs", "pending_fsyncs absolute 1 1"),
 199             ("Innodb_os_log_pending_writes", "pending_writes absolute -1 1"),
 200         ]),
 201     'innodb_os_log_io' : (
 202         "'' 'mysql InnoDB OS Log Bandwidth' 'kilobytes/s' innodb mysql.innodb_os_log_io area",
 203         [
 204             ("Innodb_os_log_written", "write incremental -1 1024"),
 205         ]),
 206     'innodb_cur_row_lock' : (
 207         "'' 'mysql InnoDB Current Row Locks' 'operations' innodb mysql.innodb_cur_row_lock area",
 208         [
 209             ("Innodb_row_lock_current_waits", "current_waits absolute 1 1"),
 210         ]),
 211     'innodb_rows' : (
 212         "'' 'mysql InnoDB Row Operations' 'operations/s' innodb mysql.innodb_rows area",
 213         [
 214             ("Innodb_rows_inserted", "read incremental 1 1"),
 215             ("Innodb_rows_read", "deleted incremental -1 1"),
 216             ("Innodb_rows_updated", "inserted incremental 1 1"),
 217             ("Innodb_rows_deleted", "updated incremental -1 1"),
 218         ]),
 219     'innodb_buffer_pool_pages' : (
 220         "'' 'mysql InnoDB Buffer Pool Pages' 'pages' innodb mysql.innodb_buffer_pool_pages line",
 221         [
 222             ("Innodb_buffer_pool_pages_data", "data absolute 1 1"),
 223             ("Innodb_buffer_pool_pages_dirty", "dirty absolute -1 1"),
 224             ("Innodb_buffer_pool_pages_free", "free absolute 1 1"),
 225             ("Innodb_buffer_pool_pages_flushed", "flushed incremental -1 1"),
 226             ("Innodb_buffer_pool_pages_misc", "misc absolute -1 1"),
 227             ("Innodb_buffer_pool_pages_total", "total absolute 1 1"),
 228         ]),
 229     'innodb_buffer_pool_bytes' : (
 230         "'' 'mysql InnoDB Buffer Pool Bytes' 'MB' innodb mysql.innodb_buffer_pool_bytes area",
 231         [
 232             ("Innodb_buffer_pool_bytes_data", "data absolute 1"),
 233             ("Innodb_buffer_pool_bytes_dirty", "dirty absolute -1"),
 234         ]),
 235     'innodb_buffer_pool_read_ahead' : (
 236         "'' 'mysql InnoDB Buffer Pool Read Ahead' 'operations/s' innodb mysql.innodb_buffer_pool_read_ahead area",
 237         [
 238             ("Innodb_buffer_pool_read_ahead", "all incremental 1 1"),
 239             ("Innodb_buffer_pool_read_ahead_evicted", "evicted incremental -1 1"),
 240             ("Innodb_buffer_pool_read_ahead_rnd", "random incremental 1 1"),
 241         ]),
 242     'innodb_buffer_pool_reqs' : (
 243         "'' 'mysql InnoDB Buffer Pool Requests' 'requests/s' innodb mysql.innodb_buffer_pool_reqs area",
 244         [
 245             ("Innodb_buffer_pool_read_requests", "reads incremental 1 1"),
 246             ("Innodb_buffer_pool_write_requests", "writes incremental -1 1"),
 247         ]),
 248     'innodb_buffer_pool_ops' : (
 249         "'' 'mysql InnoDB Buffer Pool Operations' 'operations/s' innodb mysql.innodb_buffer_pool_ops area",
 250         [
 251             ("Innodb_buffer_pool_reads", "'disk reads' incremental 1 1"),
 252             ("Innodb_buffer_pool_wait_free", "'wait free' incremental -1 1"),
 253         ]),
 254     'qcache_ops' : (
 255         "'' 'mysql QCache Operations' 'queries/s' qcache mysql.qcache_ops line",
 256         [
 257             ("Qcache_hits", "hits incremental 1 1"),
 258             ("Qcache_lowmem_prunes", "'lowmem prunes' incremental -1 1"),
 259             ("Qcache_inserts", "inserts incremental 1 1"),
 260             ("Qcache_not_cached", "'not cached' incremental -1 1"),
 261         ]),
 262     'qcache' : (
 263         "'' 'mysql QCache Queries in Cache' 'queries' qcache mysql.qcache line",
 264         [
 265             ("Qcache_queries_in_cache", "queries absolute 1 1"),
 266         ]),
 267     'qcache_freemem' : (
 268         "'' 'mysql QCache Free Memory' 'MB' qcache mysql.qcache_freemem area",
 269         [
 270             ("Qcache_free_memory", "free absolute 1"),
 271         ]),
 272     'qcache_memblocks' : (
 273         "'' 'mysql QCache Memory Blocks' 'blocks' qcache mysql.qcache_memblocks line",
 274         [
 275             ("Qcache_free_blocks", "free absolute 1"),
 276             ("Qcache_total_blocks", "total absolute 1 1"),
 277         ]),
 278     'key_blocks' : (
 279         "'' 'mysql MyISAM Key Cache Blocks' 'blocks' myisam mysql.key_blocks line",
 280         [
 281             ("Key_blocks_unused", "unused absolute 1 1"),
 282             ("Key_blocks_used", "used absolute -1 1"),
 283             ("Key_blocks_not_flushed", "'not flushed' absolute 1 1"),
 284         ]),
 285     'key_requests' : (
 286         "'' 'mysql MyISAM Key Cache Requests' 'requests/s' myisam mysql.key_requests area",
 287         [
 288             ("Key_read_requests", "reads incremental 1 1"),
 289             ("Key_write_requests", "writes incremental -1 1"),
 290         ]),
 291     'key_disk_ops' : (
 292         "'' 'mysql MyISAM Key Cache Disk Operations' 'operations/s' myisam mysql.key_disk_ops area",
 293         [
 294             ("Key_reads", "reads incremental 1 1"),
 295             ("Key_writes", "writes incremental -1 1"),
 296         ]),
 297     'files' : (
 298         "'' 'mysql Open Files' 'files' files mysql.files line",
 299         [
 300             ("Open_files", "files absolute 1 1"),
 301         ]),
 302     'files_rate' : (
 303         "'' 'mysql Opened Files Rate' 'files/s' files mysql.files_rate line",
 304         [
 305             ("Opened_files", "files incremental 1 1"),
 306         ]),
 307     'binlog_stmt_cache' : (
 308         "'' 'mysql Binlog Statement Cache' 'statements/s' binlog mysql.binlog_stmt_cache line",
 309         [
 310             ("Binlog_stmt_cache_disk_use", "disk incremental 1 1"),
 311             ("Binlog_stmt_cache_use", "all incremental 1 1"),
 312         ]),
 313     'connection_errors' : (
 314         "'' 'mysql Connection Errors' 'connections/s' connections mysql.connection_errors line",
 315         [
 316             ("Connection_errors_accept", "accept incremental 1 1"),
 317             ("Connection_errors_internal", "internal incremental 1 1"),
 318             ("Connection_errors_max_connections", "max incremental 1 1"),
 319             ("Connection_errors_peer_address", "peer_addr incremental 1 1"),
 320             ("Connection_errors_select", "select incremental 1 1"),
 321             ("Connection_errors_tcpwrap", "tcpwrap incremental 1 1")
 322         ])
 323 }
 324
 325
 326 class BaseService(object):
 327     def __init__(self,configuration,update_every,priority,retries):
 328         if configuration is None:
 329             # use defaults
 330             configuration = config
 331             self.error(NAME+": no configuration supplied. using defaults.")
 332
 333         self._parse_base_config(configuration,update_every,priority,retries)
 334
 335     def _parse_base_config(self,config,update_every,priority,retries):
 336         # parse configuration options to run this Service
 337         try:
 338             self.update_every = int(config['update_every'])
 339         except (KeyError, ValueError):
 340             self.update_every = update_every
 341         try:
 342             self.priority = int(config['priority'])
 343         except (KeyError, ValueError):
 344             self.priority = priority
 345         try:
 346             self.retries = int(config['retries'])
 347         except (KeyError, ValueError):
 348             self.retries = retries
 349         self.retries_left = self.retries
 350
 351     def error(self, msg, exception=""):
 352         if exception != "":
 353             exception = " " + str(exception).replace("\n"," ")
 354         sys.stderr.write(str(msg)+exception+"\n")
 355         sys.stderr.flush()
 356
 357     def check(self):
 358         # TODO notify about not overriden function
 359         self.error("Where is your check()?")
 360         return False
 361
 362     def create(self):
 363         # TODO notify about not overriden function
 364         self.error("Where is your create()?")
 365         return False
 366
 367     def update(self):
 368         # TODO notify about not overriden function
 369         self.error("Where is your update()?")
 370         return False
 371
 372
 373 class Service(BaseService):
 374     def __init__(self,configuration=None,update_every=3,priority=90000,retries=2):
 375         super().__init__(configuration,update_every,priority,retries)
 376         self.configuration = self._parse_config(configuration)
 377         self.connection = None
 378         self.defs = {}
 379
 380     def _parse_config(self,configuration):
 381         # parse configuration to collect data from mysql server
 382         if 'name' not in configuration:
 383             configuration['name'] = 'local'
 384         if 'user' not in configuration:
 385             configuration['user'] = 'root'
 386         if 'password' not in configuration:
 387             configuration['password'] = ''
 388         if 'my.cnf' in configuration:
 389             configuration['socket'] = ''
 390             configuration['host'] = ''
 391             configuration['port'] = 0
 392         elif 'socket' in configuration:
 393             configuration['my.cnf'] = ''
 394             configuration['host'] = ''
 395             configuration['port'] = 0
 396         elif 'host' in configuration:
 397             configuration['my.cnf'] = ''
 398             configuration['socket'] = ''
 399             if 'port' in configuration:
 400                 configuration['port'] = int(configuration['port'])
 401             else:
 402                 configuration['port'] = 3306
 403
 404         return configuration
 405
 406     def _connect(self):
 407         try:
 408             self.connection = MySQLdb.connect(user=self.configuration['user'],
 409                                               passwd=self.configuration['password'],
 410                                               read_default_file=self.configuration['my.cnf'],
 411                                               unix_socket=self.configuration['socket'],
 412                                               host=self.configuration['host'],
 413                                               port=self.configuration['port'],
 414                                               connect_timeout=self.configuration['update_every'])
 415         except Exception as e:
 416             self.error(NAME + " has problem connecting to server:", e)
 417             raise RuntimeError #stop creating module, need to catch it in supervisor
 418
 419     def _get_data(self):
 420         if self.connection is None:
 421             self._connect()
 422         try:
 423             with self.connection.cursor() as cursor:
 424                 cursor.execute(QUERY)
 425                 raw_data = cursor.fetchall()
 426         except Exception as e:
 427             self.error(NAME + ": cannot execute query.", e)
 428             self.connection.close()
 429             self.connection = None
 430             return None
 431
 432         return dict(raw_data)
 433
 434     def check(self):
 435         try:
 436             self.connection = self._connect()
 437             return True
 438         except RuntimeError:
 439             self.connection = None
 440             return False
 441
 442     def create(self):
 443         for name in ORDER:
 444             print(name)
 445             self.defs[name] = []
 446             for line in CHARTS[name][1]:
 447                 self.defs[name].append(line[0])
 448
 449         idx = 0
 450         data = self._get_data()
 451         for name in ORDER:
 452             header = "CHART mysql_" + \
 453                      str(self.configuration['name']) + "." + \
 454                      name + " " + \
 455                      CHARTS[name][0] + " " + \
 456                      str(self.priority + idx) + " " + \
 457                      str(self.update_every)
 458             content = ""
 459             # check if server has this datapoint
 460             for line in CHARTS[name][1]:
 461                 if line[0] in data:
 462                      content += "DIMENSION " + line[0] + " " + line[1] + "\n"
 463             if len(content) > 0:
 464                 print(header)
 465                 print(content)
 466                 idx += 1
 467
 468         if idx == 0:
 469             return False
 470         return True
 471
 472     def update(self,interval):
 473         data = self._get_data()
 474         if data is None:
 475             return False
 476         try:
 477             data['Thread cache misses'] = int( int(data['Threads_created']) * 10000 / int(data['Connections']))
 478         except Exception:
 479             pass
 480         for chart, dimensions in self.defs.items():
 481             header = "BEGIN mysql_" + str(self.configuration['name']) + "." + chart + " " + str(interval) + '\n'
 482             lines = ""
 483             for d in dimensions:
 484                 try:
 485                     lines += "SET " + d + " = " + data[d] + '\n'
 486                 except KeyError:
 487                     pass
 488             if len(lines) > 0:
 489                 print(header + lines + "END")
 490
 491         return True
 492
 493 if __name__ == "__main__":
 494     my = Service(config[0])
 495     my.check()
 496     my.create()
 497     my.update(1)