python.d/mysql.chart.py

   1 # -*- coding: utf-8 -*-
   2 # Description: MySQL netdata python.d module
   3 # Author: Pawel Krupa (paulfantom)
   4
   5 from base import SimpleService
   6 import msg
   7
   8 # import 3rd party library to handle MySQL communication
   9 try:
  10     import MySQLdb
  11
  12     # https://github.com/PyMySQL/mysqlclient-python
  13     msg.info("using MySQLdb")
  14 except ImportError:
  15     try:
  16         import pymysql as MySQLdb
  17
  18         # https://github.com/PyMySQL/PyMySQL
  19         msg.info("using pymysql")
  20     except ImportError:
  21         msg.error("MySQLdb or PyMySQL module is needed to use mysql.chart.py plugin")
  22         raise ImportError
  23
  24 # default module values (can be overridden per job in `config`)
  25 # update_every = 3
  26 priority = 90000
  27 retries = 7
  28
  29 # default configuration (overridden by python.d.plugin)
  30 # config = {
  31 #     'local': {
  32 #         'user': 'root',
  33 #         'password': '',
  34 #         'socket': '/var/run/mysqld/mysqld.sock',
  35 #         'update_every': update_every,
  36 #         'retries': retries,
  37 #         'priority': priority
  38 #     }
  39 #}
  40
  41 # query executed on MySQL server
  42 QUERY = "SHOW GLOBAL STATUS"
  43
  44 ORDER = ['net',
  45          'queries',
  46          'handlers',
  47          'table_locks',
  48          'join_issues', 'sort_issues',
  49          'tmp',
  50          'connections', 'connection_errors',
  51          'binlog_cache', 'binlog_stmt_cache',
  52          'threads', 'thread_cache_misses',
  53          'innodb_io', 'innodb_io_ops', 'innodb_io_pending_ops', 'innodb_log', 'innodb_os_log', 'innodb_os_log_io',
  54          'innodb_cur_row_lock', 'innodb_rows', 'innodb_buffer_pool_pages', 'innodb_buffer_pool_bytes',
  55          'innodb_buffer_pool_read_ahead', 'innodb_buffer_pool_reqs', 'innodb_buffer_pool_ops',
  56          'qcache_ops', 'qcache', 'qcache_freemem', 'qcache_memblocks',
  57          'key_blocks', 'key_requests', 'key_disk_ops',
  58          'files', 'files_rate']
  59
  60 CHARTS = {
  61     'net': {
  62         'options': [None, 'mysql Bandwidth', 'kilobits/s', 'bandwidth', 'mysql.net', 'area'],
  63         'lines': [
  64             ["Bytes_received", "in", "incremental", 8, 1024],
  65             ["Bytes_sent", "out", "incremental", -8, 1024]
  66         ]},
  67     'queries': {
  68         'options': [None, 'mysql Queries', 'queries/s', 'queries', 'mysql.queries', 'line'],
  69         'lines': [
  70             ["Queries", "queries", "incremental"],
  71             ["Questions", "questions", "incremental"],
  72             ["Slow_queries", "slow_queries", "incremental"]
  73         ]},
  74     'handlers': {
  75         'options': [None, 'mysql Handlers', 'handlers/s', 'handlers', 'mysql.handlers', 'line'],
  76         'lines': [
  77             ["Handler_commit", "commit", "incremental"],
  78             ["Handler_delete", "delete", "incremental"],
  79             ["Handler_prepare", "prepare", "incremental"],
  80             ["Handler_read_first", "read_first", "incremental"],
  81             ["Handler_read_key", "read_key", "incremental"],
  82             ["Handler_read_next", "read_next", "incremental"],
  83             ["Handler_read_prev", "read_prev", "incremental"],
  84             ["Handler_read_rnd", "read_rnd", "incremental"],
  85             ["Handler_read_rnd_next", "read_rnd_next", "incremental"],
  86             ["Handler_rollback", "rollback", "incremental"],
  87             ["Handler_savepoint", "savepoint", "incremental"],
  88             ["Handler_savepoint_rollback", "savepoint_rollback", "incremental"],
  89             ["Handler_update", "update", "incremental"],
  90             ["Handler_write", "write", "incremental"]
  91         ]},
  92     'table_locks': {
  93         'options': [None, 'mysql Tables Locks', 'locks/s', 'locks', 'mysql.table_locks', 'line'],
  94         'lines': [
  95             ["Table_locks_immediate", "immediate", "incremental"],
  96             ["Table_locks_waited", "waited", "incremental", -1, 1]
  97         ]},
  98     'join_issues': {
  99         'options': [None, 'mysql Select Join Issues', 'joins/s', 'issues', 'mysql.join_issues', 'line'],
 100         'lines': [
 101             ["Select_full_join", "full_join", "incremental"],
 102             ["Select_full_range_join", "full_range_join", "incremental"],
 103             ["Select_range", "range", "incremental"],
 104             ["Select_range_check", "range_check", "incremental"],
 105             ["Select_scan", "scan", "incremental"]
 106         ]},
 107     'sort_issues': {
 108         'options': [None, 'mysql Sort Issues', 'issues/s', 'issues', 'mysql.sort.issues', 'line'],
 109         'lines': [
 110             ["Sort_merge_passes", "merge_passes", "incremental"],
 111             ["Sort_range", "range", "incremental"],
 112             ["Sort_scan", "scan", "incremental"]
 113         ]},
 114     'tmp': {
 115         'options': [None, 'mysql Tmp Operations', 'counter', 'temporaries', 'mysql.tmp', 'line'],
 116         'lines': [
 117             ["Created_tmp_disk_tables", "disk_tables", "incremental"],
 118             ["Created_tmp_files", "files", "incremental"],
 119             ["Created_tmp_tables", "tables", "incremental"]
 120         ]},
 121     'connections': {
 122         'options': [None, 'mysql Connections', 'connections/s', 'connections', 'mysql.connections', 'line'],
 123         'lines': [
 124             ["Connections", "all", "incremental"],
 125             ["Aborted_connects", "aborted", "incremental"]
 126         ]},
 127     'binlog_cache': {
 128         'options': [None, 'mysql Binlog Cache', 'transactions/s', 'binlog', 'mysql.binlog_cache', 'line'],
 129         'lines': [
 130             ["Binlog_cache_disk_use", "disk", "incremental"],
 131             ["Binlog_cache_use", "all", "incremental"]
 132         ]},
 133     'threads': {
 134         'options': [None, 'mysql Threads', 'threads', 'threads', 'mysql.threads', 'line'],
 135         'lines': [
 136             ["Threads_connected", "connected", "absolute"],
 137             ["Threads_created", "created", "incremental"],
 138             ["Threads_cached", "cached", "absolute", -1, 1],
 139             ["Threads_running", "running", "absolute"],
 140         ]},
 141     'thread_cache_misses': {
 142         'options': [None, 'mysql Threads Cache Misses', 'misses', 'threads', 'mysql.thread_cache_misses', 'area'],
 143         'lines': [
 144             ["Thread_cache_misses", "misses", "absolute", 1, 100]
 145         ]},
 146     'innodb_io': {
 147         'options': [None, 'mysql InnoDB I/O Bandwidth', 'kilobytes/s', 'innodb', 'mysql.innodb_io', 'area'],
 148         'lines': [
 149             ["Innodb_data_read", "read", "incremental", 1, 1024],
 150             ["Innodb_data_written", "write", "incremental", -1, 1024]
 151         ]},
 152     'innodb_io_ops': {
 153         'options': [None, 'mysql InnoDB I/O Operations', 'operations/s', 'innodb', 'mysql.innodb_io_ops', 'line'],
 154         'lines': [
 155             ["Innodb_data_reads", "reads", "incremental"],
 156             ["Innodb_data_writes", "writes", "incremental", -1, 1],
 157             ["Innodb_data_fsyncs", "fsyncs", "incremental"]
 158         ]},
 159     'innodb_io_pending_ops': {
 160         'options': [None, 'mysql InnoDB Pending I/O Operations', 'operations', 'innodb', 'mysql.innodb_io_pending_ops', 'line'],
 161         'lines': [
 162             ["Innodb_data_pending_reads", "reads", "absolute"],
 163             ["Innodb_data_pending_writes", "writes", "absolute", -1, 1],
 164             ["Innodb_data_pending_fsyncs", "fsyncs", "absolute"]
 165         ]},
 166     'innodb_log': {
 167         'options': [None, 'mysql InnoDB Log Operations', 'operations/s', 'innodb', 'mysql.innodb_log', 'line'],
 168         'lines': [
 169             ["Innodb_log_waits", "waits", "incremental"],
 170             ["Innodb_log_write_requests", "write_requests", "incremental", -1, 1],
 171             ["Innodb_log_writes", "incremental", -1, 1],
 172         ]},
 173     'innodb_os_log': {
 174         'options': [None, 'mysql InnoDB OS Log Operations', 'operations', 'innodb', 'mysql.innodb_os_log', 'line'],
 175         'lines': [
 176             ["Innodb_os_log_fsyncs", "fsyncs", "incremental"],
 177             ["Innodb_os_log_pending_fsyncs", "pending_fsyncs", "absolute"],
 178             ["Innodb_os_log_pending_writes", "pending_writes", "absolute", -1, 1],
 179         ]},
 180     'innodb_os_log_io': {
 181         'options': [None, 'mysql InnoDB OS Log Bandwidth', 'kilobytes/s', 'innodb', 'mysql.innodb_os_log_io', 'area'],
 182         'lines': [
 183             ["Innodb_os_log_written", "write", "incremental", -1, 1024],
 184         ]},
 185     'innodb_cur_row_lock': {
 186         'options': [None, 'mysql InnoDB Current Row Locks', 'operations', 'innodb', 'mysql.innodb_cur_row_lock', 'area'],
 187         'lines': [
 188             ["Innodb_row_lock_current_waits", "current_waits", "absolute"]
 189         ]},
 190     'innodb_rows': {
 191         'options': [None, 'mysql InnoDB Row Operations', 'operations/s', 'innodb', 'mysql.innodb_rows', 'area'],
 192         'lines': [
 193             ["Innodb_rows_inserted", "read", "incremental"],
 194             ["Innodb_rows_read", "deleted", "incremental", -1, 1],
 195             ["Innodb_rows_updated", "inserted", "incremental", 1, 1],
 196             ["Innodb_rows_deleted", "updated", "incremental", -1, 1],
 197         ]},
 198     'innodb_buffer_pool_pages': {
 199         'options': [None, 'mysql InnoDB Buffer Pool Pages', 'pages', 'innodb', 'mysql.innodb_buffer_pool_pages', 'line'],
 200         'lines': [
 201             ["Innodb_buffer_pool_pages_data", "data", "absolute"],
 202             ["Innodb_buffer_pool_pages_dirty", "dirty", "absolute", -1, 1],
 203             ["Innodb_buffer_pool_pages_free", "free", "absolute"],
 204             ["Innodb_buffer_pool_pages_flushed", "flushed", "incremental", -1, 1],
 205             ["Innodb_buffer_pool_pages_misc", "misc", "absolute", -1, 1],
 206             ["Innodb_buffer_pool_pages_total", "total", "absolute"]
 207         ]},
 208     'innodb_buffer_pool_bytes': {
 209         'options': [None, 'mysql InnoDB Buffer Pool Bytes', 'MB', 'innodb', 'mysql.innodb_buffer_pool_bytes', 'area'],
 210         'lines': [
 211             ["Innodb_buffer_pool_bytes_data", "data", "absolute"],
 212             ["Innodb_buffer_pool_bytes_dirty", "dirty", "absolute", -1, 1]
 213         ]},
 214     'innodb_buffer_pool_read_ahead': {
 215         'options': [None, 'mysql InnoDB Buffer Pool Read Ahead', 'operations/s', 'innodb', 'mysql.innodb_buffer_pool_read_ahead', 'area'],
 216         'lines': [
 217             ["Innodb_buffer_pool_read_ahead", "all", "incremental"],
 218             ["Innodb_buffer_pool_read_ahead_evicted", "evicted", "incremental", -1, 1],
 219             ["Innodb_buffer_pool_read_ahead_rnd", "random", "incremental"]
 220         ]},
 221     'innodb_buffer_pool_reqs': {
 222         'options': [None, 'mysql InnoDB Buffer Pool Requests', 'requests/s', 'innodb', 'mysql.innodb_buffer_pool_reqs', 'area'],
 223         'lines': [
 224             ["Innodb_buffer_pool_read_requests", "reads", "incremental"],
 225             ["Innodb_buffer_pool_write_requests", "writes", "incremental", -1, 1]
 226         ]},
 227     'innodb_buffer_pool_ops': {
 228         'options': [None, 'mysql InnoDB Buffer Pool Operations', 'operations/s', 'innodb', 'mysql.innodb_buffer_pool_ops', 'area'],
 229         'lines': [
 230             ["Innodb_buffer_pool_reads", "disk reads", "incremental"],
 231             ["Innodb_buffer_pool_wait_free", "wait free", "incremental", -1, 1]
 232         ]},
 233     'qcache_ops': {
 234         'options': [None, 'mysql QCache Operations', 'queries/s', 'qcache', 'mysql.qcache_ops', 'line'],
 235         'lines': [
 236             ["Qcache_hits", "hits", "incremental"],
 237             ["Qcache_lowmem_prunes", "lowmem prunes", "incremental", -1, 1],
 238             ["Qcache_inserts", "inserts", "incremental"],
 239             ["Qcache_not_cached", "not cached", "incremental", -1, 1]
 240         ]},
 241     'qcache': {
 242         'options': [None, 'mysql QCache Queries in Cache', 'queries', 'qcache', 'mysql.qcache', 'line'],
 243         'lines': [
 244             ["Qcache_queries_in_cache", "queries", "absolute"]
 245         ]},
 246     'qcache_freemem': {
 247         'options': [None, 'mysql QCache Free Memory', 'MB', 'qcache', 'mysql.qcache_freemem', 'area'],
 248         'lines': [
 249             ["Qcache_free_memory", "free", "absolute"]
 250         ]},
 251     'qcache_memblocks': {
 252         'options': [None, 'mysql QCache Memory Blocks', 'blocks', 'qcache', 'mysql.qcache_memblocks', 'line'],
 253         'lines': [
 254             ["Qcache_free_blocks", "free", "absolute"],
 255             ["Qcache_total_blocks", "total", "absolute"]
 256         ]},
 257     'key_blocks': {
 258         'options': [None, 'mysql MyISAM Key Cache Blocks', 'blocks', 'myisam', 'mysql.key_blocks', 'line'],
 259         'lines': [
 260             ["Key_blocks_unused", "unused", "absolute"],
 261             ["Key_blocks_used", "used", "absolute", -1, 1],
 262             ["Key_blocks_not_flushed", "not flushed", "absolute"]
 263         ]},
 264     'key_requests': {
 265         'options': [None, 'mysql MyISAM Key Cache Requests', 'requests/s', 'myisam', 'mysql.key_requests', 'area'],
 266         'lines': [
 267             ["Key_read_requests", "reads", "incremental"],
 268             ["Key_write_requests", "writes", "incremental", -1, 1]
 269         ]},
 270     'key_disk_ops': {
 271         'options': [None, 'mysql MyISAM Key Cache Disk Operations', 'operations/s', 'myisam', 'mysql.key_disk_ops', 'area'],
 272         'lines': [
 273             ["Key_reads", "reads", "incremental"],
 274             ["Key_writes", "writes", "incremental", -1, 1]
 275         ]},
 276     'files': {
 277         'options': [None, 'mysql Open Files', 'files', 'files', 'mysql.files', 'line'],
 278         'lines': [
 279             ["Open_files", "files", "absolute"]
 280         ]},
 281     'files_rate': {
 282         'options': [None, 'mysql Opened Files Rate', 'files/s', 'files', 'mysql.files_rate', 'line'],
 283         'lines': [
 284             ["Opened_files", "files", "incremental"]
 285         ]},
 286     'binlog_stmt_cache': {
 287         'options': [None, 'mysql Binlog Statement Cache', 'statements/s', 'binlog', 'mysql.binlog_stmt_cache', 'line'],
 288         'lines': [
 289             ["Binlog_stmt_cache_disk_use", "disk", "incremental"],
 290             ["Binlog_stmt_cache_use", "all", "incremental"]
 291         ]},
 292     'connection_errors': {
 293         'options': [None, 'mysql Connection Errors', 'connections/s', 'connections', 'mysql.connection_errors', 'line'],
 294         'lines': [
 295             ["Connection_errors_accept", "accept", "incremental"],
 296             ["Connection_errors_internal", "internal", "incremental"],
 297             ["Connection_errors_max_connections", "max", "incremental"],
 298             ["Connection_errors_peer_address", "peer_addr", "incremental"],
 299             ["Connection_errors_select", "select", "incremental"],
 300             ["Connection_errors_tcpwrap", "tcpwrap", "incremental"]
 301         ]}
 302
 303 }
 304
 305
 306 class Service(SimpleService):
 307     def __init__(self, configuration=None, name=None):
 308         SimpleService.__init__(self, configuration=configuration, name=name)
 309         self._parse_config(configuration)
 310         self.order = ORDER
 311         self.definitions = CHARTS
 312         self.connection = None
 313
 314     def _parse_config(self, configuration):
 315         """
 316         Parse configuration to collect data from MySQL server
 317         :param configuration: dict
 318         :return: dict
 319         """
 320         if self.name is None:
 321             self.name = 'local'
 322         if 'user' not in configuration:
 323             self.configuration['user'] = 'root'
 324         if 'pass' not in configuration:
 325             self.configuration['pass'] = ''
 326         if 'my.cnf' in configuration:
 327             self.configuration['socket'] = ''
 328             self.configuration['host'] = ''
 329             self.configuration['port'] = 0
 330         elif 'socket' in configuration:
 331             self.configuration['my.cnf'] = ''
 332             self.configuration['host'] = ''
 333             self.configuration['port'] = 0
 334         elif 'host' in configuration:
 335             self.configuration['my.cnf'] = ''
 336             self.configuration['socket'] = ''
 337             if 'port' in configuration:
 338                 self.configuration['port'] = int(configuration['port'])
 339             else:
 340                 self.configuration['port'] = 3306
 341
 342     def _connect(self):
 343         """
 344         Try to connect to MySQL server
 345         """
 346         try:
 347             self.connection = MySQLdb.connect(user=self.configuration['user'],
 348                                               passwd=self.configuration['pass'],
 349                                               read_default_file=self.configuration['my.cnf'],
 350                                               unix_socket=self.configuration['socket'],
 351                                               host=self.configuration['host'],
 352                                               port=self.configuration['port'],
 353                                               connect_timeout=self.update_every)
 354         except Exception as e:
 355             self.error("problem connecting to server:", e)
 356             raise RuntimeError
 357
 358     def _get_data(self):
 359         """
 360         Get raw data from MySQL server
 361         :return: dict
 362         """
 363         if self.connection is None:
 364             try:
 365                 self._connect()
 366             except RuntimeError:
 367                 return None
 368         try:
 369             cursor = self.connection.cursor()
 370             cursor.execute(QUERY)
 371             raw_data = cursor.fetchall()
 372         except Exception as e:
 373             self.error("cannot execute query.", e)
 374             self.connection.close()
 375             self.connection = None
 376             return None
 377         data = dict(raw_data)
 378         try:
 379             data["Thread_cache_misses"] = int(data["Threads_created"] * 10000 / float(data["Connections"]))
 380         except:
 381             data["Thread_cache_misses"] = 0
 382
 383         return data
 384
 385     def check(self):
 386         """
 387         Check if service is able to connect to server
 388         :return: boolean
 389         """
 390         try:
 391             self.connection = self._connect()
 392             return True
 393         except RuntimeError:
 394             self.connection = None
 395             return False