]> arthur.barton.de Git - netdata.git/blob - charts.d/mysql.chart.sh
Merge pull request #334 from simonnagl/bugfix/sh_arithmetic_expand
[netdata.git] / charts.d / mysql.chart.sh
1 #!/bin/bash
2
3 # http://dev.mysql.com/doc/refman/5.0/en/server-status-variables.html
4 #
5 # https://dev.mysql.com/doc/refman/5.1/en/show-status.html
6 # SHOW STATUS provides server status information (see Section 5.1.6, “Server Status Variables”).
7 # This statement does not require any privilege.
8 # It requires only the ability to connect to the server.
9
10 mysql_update_every=5
11 mysql_priority=60000
12
13 declare -A mysql_cmds=() mysql_opts=() mysql_ids=()
14
15 mysql_exec() {
16         local ret
17
18         "${@}" -s -e "show global status;"
19         ret=$?
20
21         [ $ret -ne 0 ] && echo "plugin_command_failure $ret"
22         return $ret
23 }
24
25 mysql_get() {
26         unset \
27                 mysql_Bytes_received \
28                 mysql_Bytes_sent \
29                 mysql_Queries \
30                 mysql_Questions \
31                 mysql_Slow_queries \
32                 mysql_Handler_commit \
33                 mysql_Handler_delete \
34                 mysql_Handler_prepare \
35                 mysql_Handler_read_first \
36                 mysql_Handler_read_key \
37                 mysql_Handler_read_next \
38                 mysql_Handler_read_prev \
39                 mysql_Handler_read_rnd \
40                 mysql_Handler_read_rnd_next \
41                 mysql_Handler_rollback \
42                 mysql_Handler_savepoint \
43                 mysql_Handler_savepoint_rollback \
44                 mysql_Handler_update \
45                 mysql_Handler_write \
46                 mysql_Table_locks_immediate \
47                 mysql_Table_locks_waited \
48                 mysql_Select_full_join \
49                 mysql_Select_full_range_join \
50                 mysql_Select_range \
51                 mysql_Select_range_check \
52                 mysql_Select_scan \
53                 mysql_Sort_merge_passes \
54                 mysql_Sort_range \
55                 mysql_Sort_scan \
56                 mysql_Created_tmp_disk_tables \
57                 mysql_Created_tmp_files \
58                 mysql_Created_tmp_tables \
59                 mysql_Connection_errors_accept \
60                 mysql_Connection_errors_internal \
61                 mysql_Connection_errors_max_connections \
62                 mysql_Connection_errors_peer_addr \
63                 mysql_Connection_errors_select \
64                 mysql_Connection_errors_tcpwrap \
65                 mysql_Connections \
66                 mysql_Aborted_connects \
67                 mysql_Binlog_cache_disk_use \
68                 mysql_Binlog_cache_use \
69                 mysql_Binlog_stmt_cache_disk_use \
70                 mysql_Binlog_stmt_cache_use \
71                 mysql_Threads_connected \
72                 mysql_Threads_created \
73                 mysql_Threads_cached \
74                 mysql_Threads_running \
75                 mysql_Innodb_data_read \
76                 mysql_Innodb_data_written \
77                 mysql_Innodb_data_reads \
78                 mysql_Innodb_data_writes \
79                 mysql_Innodb_data_fsyncs \
80                 mysql_Innodb_data_pending_reads \
81                 mysql_Innodb_data_pending_writes \
82                 mysql_Innodb_data_pending_fsyncs \
83                 mysql_Innodb_log_waits \
84                 mysql_Innodb_log_write_requests \
85                 mysql_Innodb_log_writes \
86                 mysql_Innodb_os_log_fsyncs \
87                 mysql_Innodb_os_log_pending_fsyncs \
88                 mysql_Innodb_os_log_pending_writes \
89                 mysql_Innodb_os_log_written \
90                 mysql_Innodb_row_lock_current_waits \
91                 mysql_Innodb_rows_inserted \
92                 mysql_Innodb_rows_read \
93                 mysql_Innodb_rows_updated \
94                 mysql_Innodb_rows_deleted
95
96         mysql_plugin_command_failure=0
97
98         eval "$(mysql_exec "${@}" |\
99                 sed \
100                         -e "s/[[:space:]]\+/ /g" \
101                         -e "s/\./_/g" \
102                         -e "s/^\([a-zA-Z0-9_]\+\)[[:space:]]\+\([0-9]\+\)$/mysql_\1=\2/g" |\
103                 egrep "^mysql_[a-zA-Z0-9_]+=[[:digit:]]+$")"
104
105         [ $mysql_plugin_command_failure -eq 1 ] && return 1
106         [ -z "$mysql_Connections" ] && return 1
107
108         mysql_Thread_cache_misses=0
109         [ $(( mysql_Connections + 1 - 1 )) -gt 0 ] && mysql_Thread_cache_misses=$(( mysql_Threads_created * 10000 / mysql_Connections ))
110
111         return 0
112 }
113
114 mysql_check() {
115         # this should return:
116         #  - 0 to enable the chart
117         #  - 1 to disable the chart
118
119         local x m mysql_cmd tryroot=0 unconfigured=0
120
121         if [ "${1}" = "tryroot" ]
122                 then
123                 tryroot=1
124                 shift
125         fi
126
127         [ -z "${mysql_cmd}" ] && mysql_cmd="$(which mysql)"
128
129         if [ ${#mysql_opts[@]} -eq 0 ]
130                 then
131                 unconfigured=1
132
133                 mysql_cmds[local]="$mysql_cmd"
134
135                 if [ $tryroot -eq 1 ]
136                         then
137                         # the user has not configured us for mysql access
138                         # if the root user is passwordless in mysql, we can
139                         # attempt to connect to mysql as root
140                         mysql_opts[local]="-u root"
141                 else
142                         mysql_opts[local]=
143                 fi
144         fi
145
146         # check once if the url works
147         for m in "${!mysql_opts[@]}"
148         do
149                 [ -z "${mysql_cmds[$m]}" ] && mysql_cmds[$m]="$mysql_cmd"
150                 if [ -z "${mysql_cmds[$m]}" ]
151                         then
152                         echo >&2 "$PROGRAM_NAME: mysql: cannot get mysql command for '$m'. Please set mysql_cmds[$m]='/path/to/mysql', in $confd/mysql.conf"
153                 fi
154
155                 mysql_get "${mysql_cmds[$m]}" ${mysql_opts[$m]}
156                 if [ ! $? -eq 0 ]
157                 then
158                         echo >&2 "$PROGRAM_NAME: mysql: cannot get global status for '$m'. Please set mysql_opts[$m]='options' to whatever needed to get connected to the mysql server, in $confd/mysql.conf"
159                         unset mysql_cmds[$m]
160                         unset mysql_opts[$m]
161                         unset mysql_ids[$m]
162                         continue
163                 fi
164
165                 mysql_ids[$m]="$( fixid "$m" )"
166         done
167
168         if [ ${#mysql_opts[@]} -eq 0 ]
169                 then
170                 if [ ${unconfigured} -eq 1 && ${tryroot} -eq 0 ]
171                         then
172                         mysql_check tryroot "${@}"
173                         return $?
174                 else
175                         echo >&2 "$PROGRAM_NAME: mysql: no mysql servers found. Please set mysql_opts[name]='options' to whatever needed to get connected to the mysql server, in $confd/mysql.conf"
176                         return 1
177                 fi
178         fi
179
180         return 0
181 }
182
183 mysql_create() {
184         local x
185
186         # create the charts
187         for x in "${mysql_ids[@]}"
188         do
189                 cat <<EOF
190 CHART mysql_$x.net '' "mysql Bandwidth" "kilobits/s" bandwidth mysql.net area $((mysql_priority + 1)) $mysql_update_every
191 DIMENSION Bytes_received in incremental 8 1024
192 DIMENSION Bytes_sent out incremental -8 1024
193
194 CHART mysql_$x.queries '' "mysql Queries" "queries/s" queries mysql.queries line $((mysql_priority + 2)) $mysql_update_every
195 DIMENSION Queries queries incremental 1 1
196 DIMENSION Questions questions incremental 1 1
197 DIMENSION Slow_queries slow_queries incremental -1 1
198
199 CHART mysql_$x.handlers '' "mysql Handlers" "handlers/s" handlers mysql.handlers line $((mysql_priority + 3)) $mysql_update_every
200 DIMENSION Handler_commit commit incremental 1 1
201 DIMENSION Handler_delete delete incremental 1 1
202 DIMENSION Handler_prepare prepare incremental 1 1
203 DIMENSION Handler_read_first read_first incremental 1 1
204 DIMENSION Handler_read_key read_key incremental 1 1
205 DIMENSION Handler_read_next read_next incremental 1 1
206 DIMENSION Handler_read_prev read_prev incremental 1 1
207 DIMENSION Handler_read_rnd read_rnd incremental 1 1
208 DIMENSION Handler_read_rnd_next read_rnd_next incremental 1 1
209 DIMENSION Handler_rollback rollback incremental 1 1
210 DIMENSION Handler_savepoint savepoint incremental 1 1
211 DIMENSION Handler_savepoint_rollback savepoint_rollback incremental 1 1
212 DIMENSION Handler_update update incremental 1 1
213 DIMENSION Handler_write write incremental 1 1
214
215 CHART mysql_$x.table_locks '' "mysql Tables Locks" "locks/s" locks mysql.table_locks line $((mysql_priority + 4)) $mysql_update_every
216 DIMENSION Table_locks_immediate immediate incremental 1 1
217 DIMENSION Table_locks_waited waited incremental -1 1
218
219 CHART mysql_$x.join_issues '' "mysql Select Join Issues" "joins/s" issues mysql.join_issues line $((mysql_priority + 5)) $mysql_update_every
220 DIMENSION Select_full_join full_join incremental 1 1
221 DIMENSION Select_full_range_join full_range_join incremental 1 1
222 DIMENSION Select_range range incremental 1 1
223 DIMENSION Select_range_check range_check incremental 1 1
224 DIMENSION Select_scan scan incremental 1 1
225
226 CHART mysql_$x.sort_issues '' "mysql Sort Issues" "issues/s" issues mysql.sort.issues line $((mysql_priority + 6)) $mysql_update_every
227 DIMENSION Sort_merge_passes merge_passes incremental 1 1
228 DIMENSION Sort_range range incremental 1 1
229 DIMENSION Sort_scan scan incremental 1 1
230
231 CHART mysql_$x.tmp '' "mysql Tmp Operations" "counter" temporaries mysql.tmp line $((mysql_priority + 7)) $mysql_update_every
232 DIMENSION Created_tmp_disk_tables disk_tables incremental 1 1
233 DIMENSION Created_tmp_files files incremental 1 1
234 DIMENSION Created_tmp_tables tables incremental 1 1
235
236 CHART mysql_$x.connections '' "mysql Connections" "connections/s" connections mysql.connections line $((mysql_priority + 8)) $mysql_update_every
237 DIMENSION Connections all incremental 1 1
238 DIMENSION Aborted_connects aborded incremental 1 1
239
240 CHART mysql_$x.binlog_cache '' "mysql Binlog Cache" "transactions/s" binlog mysql.binlog_cache line $((mysql_priority + 9)) $mysql_update_every
241 DIMENSION Binlog_cache_disk_use disk incremental 1 1
242 DIMENSION Binlog_cache_use all incremental 1 1
243
244 CHART mysql_$x.threads '' "mysql Threads" "threads" threads mysql.threads line $((mysql_priority + 10)) $mysql_update_every
245 DIMENSION Threads_connected connected absolute 1 1
246 DIMENSION Threads_created created incremental 1 1
247 DIMENSION Threads_cached cached absolute -1 1
248 DIMENSION Threads_running running absolute 1 1
249
250 CHART mysql_$x.thread_cache_misses '' "mysql Threads Cache Misses" "misses" threads mysql.thread_cache_misses area $((mysql_priority + 11)) $mysql_update_every
251 DIMENSION misses misses absolute 1 100
252
253 CHART mysql_$x.innodb_io '' "mysql InnoDB I/O Bandwidth" "kilobytes/s" innodb mysql.innodb_io area $((mysql_priority + 12)) $mysql_update_every
254 DIMENSION Innodb_data_read read incremental 1 1024
255 DIMENSION Innodb_data_written write incremental -1 1024
256
257 CHART mysql_$x.innodb_io_ops '' "mysql InnoDB I/O Operations" "operations/s" innodb mysql.innodb_io_ops line $((mysql_priority + 13)) $mysql_update_every
258 DIMENSION Innodb_data_reads reads incremental 1 1
259 DIMENSION Innodb_data_writes writes incremental -1 1
260 DIMENSION Innodb_data_fsyncs fsyncs incremental 1 1
261
262 CHART mysql_$x.innodb_io_pending_ops '' "mysql InnoDB Pending I/O Operations" "operations" innodb mysql.innodb_io_pending_ops line $((mysql_priority + 14)) $mysql_update_every
263 DIMENSION Innodb_data_pending_reads reads absolute 1 1
264 DIMENSION Innodb_data_pending_writes writes absolute -1 1
265 DIMENSION Innodb_data_pending_fsyncs fsyncs absolute 1 1
266
267 CHART mysql_$x.innodb_log '' "mysql InnoDB Log Operations" "operations/s" innodb mysql.innodb_log line $((mysql_priority + 15)) $mysql_update_every
268 DIMENSION Innodb_log_waits waits incremental 1 1
269 DIMENSION Innodb_log_write_requests write_requests incremental -1 1
270 DIMENSION Innodb_log_writes writes incremental -1 1
271
272 CHART mysql_$x.innodb_os_log '' "mysql InnoDB OS Log Operations" "operations" innodb mysql.innodb_os_log line $((mysql_priority + 16)) $mysql_update_every
273 DIMENSION Innodb_os_log_fsyncs fsyncs incremental 1 1
274 DIMENSION Innodb_os_log_pending_fsyncs pending_fsyncs absolute 1 1
275 DIMENSION Innodb_os_log_pending_writes pending_writes absolute -1 1
276
277 CHART mysql_$x.innodb_os_log_io '' "mysql InnoDB OS Log Bandwidth" "kilobytes/s" innodb mysql.innodb_os_log_io area $((mysql_priority + 17)) $mysql_update_every
278 DIMENSION Innodb_os_log_written write incremental -1 1024
279
280 CHART mysql_$x.innodb_cur_row_lock '' "mysql InnoDB Current Row Locks" "operations" innodb mysql.innodb_cur_row_lock area $((mysql_priority + 18)) $mysql_update_every
281 DIMENSION Innodb_row_lock_current_waits current_waits absolute 1 1
282
283 CHART mysql_$x.innodb_rows '' "mysql InnoDB Row Operations" "operations/s" innodb mysql.innodb_rows area $((mysql_priority + 19)) $mysql_update_every
284 DIMENSION Innodb_rows_read read incremental 1 1
285 DIMENSION Innodb_rows_deleted deleted incremental -1 1
286 DIMENSION Innodb_rows_inserted inserted incremental 1 1
287 DIMENSION Innodb_rows_updated updated incremental -1 1
288
289 EOF
290
291         if [ ! -z "$mysql_Binlog_stmt_cache_disk_use" ]
292                 then
293                 cat <<EOF
294 CHART mysql_$x.binlog_stmt_cache '' "mysql Binlog Statement Cache" "statements/s" binlog mysql.binlog_stmt_cache line $((mysql_priority + 20)) $mysql_update_every
295 DIMENSION Binlog_stmt_cache_disk_use disk incremental 1 1
296 DIMENSION Binlog_stmt_cache_use all incremental 1 1
297 EOF
298         fi
299
300         if [ ! -z "$mysql_Connection_errors_accept" ]
301                 then
302                 cat <<EOF
303 CHART mysql_$x.connection_errors '' "mysql Connection Errors" "connections/s" connections mysql.connection_errors line $((mysql_priority + 21)) $mysql_update_every
304 DIMENSION Connection_errors_accept accept incremental 1 1
305 DIMENSION Connection_errors_internal internal incremental 1 1
306 DIMENSION Connection_errors_max_connections max incremental 1 1
307 DIMENSION Connection_errors_peer_addr peer_addr incremental 1 1
308 DIMENSION Connection_errors_select select incremental 1 1
309 DIMENSION Connection_errors_tcpwrap tcpwrap incremental 1 1
310 EOF
311         fi
312
313         done
314         return 0
315 }
316
317
318 mysql_update() {
319         # the first argument to this function is the microseconds since last update
320         # pass this parameter to the BEGIN statement (see bellow).
321
322         # do all the work to collect / calculate the values
323         # for each dimension
324         # remember: KEEP IT SIMPLE AND SHORT
325
326         # 1. get the counters page from mysql
327         # 2. sed to remove spaces; replace . with _; remove spaces around =; prepend each line with: local mysql_
328         # 3. egrep lines starting with:
329         #    local mysql_client_http_ then one or more of these a-z 0-9 _ then = and one of more of 0-9
330         #    local mysql_server_all_ then one or more of these a-z 0-9 _ then = and one of more of 0-9
331         # 4. then execute this as a script with the eval
332         #
333         # be very carefull with eval:
334         # prepare the script and always grep at the end the lines that are usefull, so that
335         # even if something goes wrong, no other code can be executed
336
337         local m x
338         for m in "${!mysql_ids[@]}"
339         do
340                 x="${mysql_ids[$m]}"
341
342                 mysql_get "${mysql_cmds[$m]}" ${mysql_opts[$m]}
343                 if [ $? -ne 0 ]
344                         then
345                         unset mysql_ids[$m]
346                         unset mysql_opts[$m]
347                         unset mysql_cmds[$m]
348                         echo >&2 "$PROGRAM_NAME: mysql: failed to get values for '$m', disabling it."
349                         continue
350                 fi
351
352                 # write the result of the work.
353                 cat <<VALUESEOF
354 BEGIN mysql_$x.net $1
355 SET Bytes_received = $mysql_Bytes_received
356 SET Bytes_sent = $mysql_Bytes_sent
357 END
358 BEGIN mysql_$x.queries $1
359 SET Queries = $mysql_Queries
360 SET Questions = $mysql_Questions
361 SET Slow_queries = $mysql_Slow_queries
362 END
363 BEGIN mysql_$x.handlers $1
364 SET Handler_commit = $mysql_Handler_commit
365 SET Handler_delete = $mysql_Handler_delete
366 SET Handler_prepare = $mysql_Handler_prepare
367 SET Handler_read_first = $mysql_Handler_read_first
368 SET Handler_read_key = $mysql_Handler_read_key
369 SET Handler_read_next = $mysql_Handler_read_next
370 SET Handler_read_prev = $mysql_Handler_read_prev
371 SET Handler_read_rnd = $mysql_Handler_read_rnd
372 SET Handler_read_rnd_next = $mysql_Handler_read_rnd_next
373 SET Handler_rollback = $mysql_Handler_rollback
374 SET Handler_savepoint = $mysql_Handler_savepoint
375 SET Handler_savepoint_rollback = $mysql_Handler_savepoint_rollback
376 SET Handler_update = $mysql_Handler_update
377 SET Handler_write = $mysql_Handler_write
378 END
379 BEGIN mysql_$x.table_locks $1
380 SET Table_locks_immediate = $mysql_Table_locks_immediate
381 SET Table_locks_waited = $mysql_Table_locks_waited
382 END
383 BEGIN mysql_$x.join_issues $1
384 SET Select_full_join = $mysql_Select_full_join
385 SET Select_full_range_join = $mysql_Select_full_range_join
386 SET Select_range = $mysql_Select_range
387 SET Select_range_check = $mysql_Select_range_check
388 SET Select_scan = $mysql_Select_scan
389 END
390 BEGIN mysql_$x.sort_issues $1
391 SET Sort_merge_passes = $mysql_Sort_merge_passes
392 SET Sort_range = $mysql_Sort_range
393 SET Sort_scan = $mysql_Sort_scan
394 END
395 BEGIN mysql_$x.tmp $1
396 SET Created_tmp_disk_tables = $mysql_Created_tmp_disk_tables
397 SET Created_tmp_files = $mysql_Created_tmp_files
398 SET Created_tmp_tables = $mysql_Created_tmp_tables
399 END
400 BEGIN mysql_$x.connections $1
401 SET Connections = $mysql_Connections
402 SET Aborted_connects = $mysql_Aborted_connects
403 END
404 BEGIN mysql_$x.binlog_cache $1
405 SET Binlog_cache_disk_use = $mysql_Binlog_cache_disk_use
406 SET Binlog_cache_use = $mysql_Binlog_cache_use
407 END
408 BEGIN mysql_$x.threads $1
409 SET Threads_connected = $mysql_Threads_connected
410 SET Threads_created = $mysql_Threads_created
411 SET Threads_cached = $mysql_Threads_cached
412 SET Threads_running = $mysql_Threads_running
413 END
414 BEGIN mysql_$x.thread_cache_misses $1
415 SET misses = $mysql_Thread_cache_misses
416 END
417 BEGIN mysql_$x.innodb_io $1
418 SET Innodb_data_read = $mysql_Innodb_data_read
419 SET Innodb_data_written = $mysql_Innodb_data_written
420 END
421 BEGIN mysql_$x.innodb_io_ops $1
422 SET Innodb_data_reads = $mysql_Innodb_data_reads
423 SET Innodb_data_writes = $mysql_Innodb_data_writes
424 SET Innodb_data_fsyncs = $mysql_Innodb_data_fsyncs
425 END
426 BEGIN mysql_$x.innodb_io_pending_ops $1
427 SET Innodb_data_pending_reads = $mysql_Innodb_data_pending_reads
428 SET Innodb_data_pending_writes = $mysql_Innodb_data_pending_writes
429 SET Innodb_data_pending_fsyncs = $mysql_Innodb_data_pending_fsyncs
430 END
431 BEGIN mysql_$x.innodb_log $1
432 SET Innodb_log_waits = $mysql_Innodb_log_waits
433 SET Innodb_log_write_requests = $mysql_Innodb_log_write_requests
434 SET Innodb_log_writes = $mysql_Innodb_log_writes
435 END
436 BEGIN mysql_$x.innodb_os_log $1
437 SET Innodb_os_log_fsyncs = $mysql_Innodb_os_log_fsyncs
438 SET Innodb_os_log_pending_fsyncs = $mysql_Innodb_os_log_pending_fsyncs
439 SET Innodb_os_log_pending_writes = $mysql_Innodb_os_log_pending_writes
440 END
441 BEGIN mysql_$x.innodb_os_log_io $1
442 SET Innodb_os_log_written = $mysql_Innodb_os_log_written
443 END
444 BEGIN mysql_$x.innodb_cur_row_lock $1
445 SET Innodb_row_lock_current_waits = $mysql_Innodb_row_lock_current_waits
446 END
447 BEGIN mysql_$x.innodb_rows $1
448 SET Innodb_rows_inserted = $mysql_Innodb_rows_inserted
449 SET Innodb_rows_read = $mysql_Innodb_rows_read
450 SET Innodb_rows_updated = $mysql_Innodb_rows_updated
451 SET Innodb_rows_deleted = $mysql_Innodb_rows_deleted
452 END
453 VALUESEOF
454
455                 if [ ! -z "$mysql_Binlog_stmt_cache_disk_use" ]
456                         then
457                         cat <<VALUESEOF
458 BEGIN mysql_$x.binlog_stmt_cache $1
459 SET Binlog_stmt_cache_disk_use = $mysql_Binlog_stmt_cache_disk_use
460 SET Binlog_stmt_cache_use = $mysql_Binlog_stmt_cache_use
461 END
462 VALUESEOF
463                 fi
464
465                 if [ ! -z "$mysql_Connection_errors_accept" ]
466                         then
467                         cat <<VALUESEOF
468 BEGIN mysql_$x.connection_errors $1
469 SET Connection_errors_accept = $mysql_Connection_errors_accept
470 SET Connection_errors_internal = $mysql_Connection_errors_internal
471 SET Connection_errors_max_connections = $mysql_Connection_errors_max_connections
472 SET Connection_errors_peer_addr = $mysql_Connection_errors_peer_addr
473 SET Connection_errors_select = $mysql_Connection_errors_select
474 SET Connection_errors_tcpwrap = $mysql_Connection_errors_tcpwrap
475 END
476 VALUESEOF
477                 fi
478         done
479
480         [ ${#mysql_ids[@]} -eq 0 ] && echo >&2 "$PROGRAM_NAME: mysql: no mysql servers left active." && return 1
481         return 0
482 }
483