]> arthur.barton.de Git - netdata.git/blob - src/common.c
added support for monitoring cgroups
[netdata.git] / src / common.c
1 #ifdef HAVE_CONFIG_H
2 #include <config.h>
3 #endif
4 #include <sys/syscall.h>
5 #include <string.h>
6 #include <ctype.h>
7 #include <errno.h>
8 #include <unistd.h>
9 #include <sys/types.h>
10 #include <sys/stat.h>
11 #include <fcntl.h>
12 #include <sys/mman.h>
13
14
15 #include "log.h"
16 #include "common.h"
17 #include "appconfig.h"
18 #include "../config.h"
19
20 char *global_host_prefix = "";
21 int enable_ksm = 1;
22
23 unsigned char netdata_map_chart_names[256] = {
24                 [0] = '\0', //
25                 [1] = '_', //
26                 [2] = '_', //
27                 [3] = '_', //
28                 [4] = '_', //
29                 [5] = '_', //
30                 [6] = '_', //
31                 [7] = '_', //
32                 [8] = '_', //
33                 [9] = '_', //
34                 [10] = '_', //
35                 [11] = '_', //
36                 [12] = '_', //
37                 [13] = '_', //
38                 [14] = '_', //
39                 [15] = '_', //
40                 [16] = '_', //
41                 [17] = '_', //
42                 [18] = '_', //
43                 [19] = '_', //
44                 [20] = '_', //
45                 [21] = '_', //
46                 [22] = '_', //
47                 [23] = '_', //
48                 [24] = '_', //
49                 [25] = '_', //
50                 [26] = '_', //
51                 [27] = '_', //
52                 [28] = '_', //
53                 [29] = '_', //
54                 [30] = '_', //
55                 [31] = '_', //
56                 [32] = '_', //
57                 [33] = '_', // !
58                 [34] = '_', // "
59                 [35] = '_', // #
60                 [36] = '_', // $
61                 [37] = '_', // %
62                 [38] = '_', // &
63                 [39] = '_', // '
64                 [40] = '_', // (
65                 [41] = '_', // )
66                 [42] = '_', // *
67                 [43] = '_', // +
68                 [44] = '.', // ,
69                 [45] = '-', // -
70                 [46] = '.', // .
71                 [47] = '/', // /
72                 [48] = '0', // 0
73                 [49] = '1', // 1
74                 [50] = '2', // 2
75                 [51] = '3', // 3
76                 [52] = '4', // 4
77                 [53] = '5', // 5
78                 [54] = '6', // 6
79                 [55] = '7', // 7
80                 [56] = '8', // 8
81                 [57] = '9', // 9
82                 [58] = '_', // :
83                 [59] = '_', // ;
84                 [60] = '_', // <
85                 [61] = '_', // =
86                 [62] = '_', // >
87                 [63] = '_', // ?
88                 [64] = '_', // @
89                 [65] = 'a', // A
90                 [66] = 'b', // B
91                 [67] = 'c', // C
92                 [68] = 'd', // D
93                 [69] = 'e', // E
94                 [70] = 'f', // F
95                 [71] = 'g', // G
96                 [72] = 'h', // H
97                 [73] = 'i', // I
98                 [74] = 'j', // J
99                 [75] = 'k', // K
100                 [76] = 'l', // L
101                 [77] = 'm', // M
102                 [78] = 'n', // N
103                 [79] = 'o', // O
104                 [80] = 'p', // P
105                 [81] = 'q', // Q
106                 [82] = 'r', // R
107                 [83] = 's', // S
108                 [84] = 't', // T
109                 [85] = 'u', // U
110                 [86] = 'v', // V
111                 [87] = 'w', // W
112                 [88] = 'x', // X
113                 [89] = 'y', // Y
114                 [90] = 'z', // Z
115                 [91] = '_', // [
116                 [92] = '/', // backslash
117                 [93] = '_', // ]
118                 [94] = '_', // ^
119                 [95] = '_', // _
120                 [96] = '_', // `
121                 [97] = 'a', // a
122                 [98] = 'b', // b
123                 [99] = 'c', // c
124                 [100] = 'd', // d
125                 [101] = 'e', // e
126                 [102] = 'f', // f
127                 [103] = 'g', // g
128                 [104] = 'h', // h
129                 [105] = 'i', // i
130                 [106] = 'j', // j
131                 [107] = 'k', // k
132                 [108] = 'l', // l
133                 [109] = 'm', // m
134                 [110] = 'n', // n
135                 [111] = 'o', // o
136                 [112] = 'p', // p
137                 [113] = 'q', // q
138                 [114] = 'r', // r
139                 [115] = 's', // s
140                 [116] = 't', // t
141                 [117] = 'u', // u
142                 [118] = 'v', // v
143                 [119] = 'w', // w
144                 [120] = 'x', // x
145                 [121] = 'y', // y
146                 [122] = 'z', // z
147                 [123] = '_', // {
148                 [124] = '_', // |
149                 [125] = '_', // }
150                 [126] = '_', // ~
151                 [127] = '_', //
152                 [128] = '_', //
153                 [129] = '_', //
154                 [130] = '_', //
155                 [131] = '_', //
156                 [132] = '_', //
157                 [133] = '_', //
158                 [134] = '_', //
159                 [135] = '_', //
160                 [136] = '_', //
161                 [137] = '_', //
162                 [138] = '_', //
163                 [139] = '_', //
164                 [140] = '_', //
165                 [141] = '_', //
166                 [142] = '_', //
167                 [143] = '_', //
168                 [144] = '_', //
169                 [145] = '_', //
170                 [146] = '_', //
171                 [147] = '_', //
172                 [148] = '_', //
173                 [149] = '_', //
174                 [150] = '_', //
175                 [151] = '_', //
176                 [152] = '_', //
177                 [153] = '_', //
178                 [154] = '_', //
179                 [155] = '_', //
180                 [156] = '_', //
181                 [157] = '_', //
182                 [158] = '_', //
183                 [159] = '_', //
184                 [160] = '_', //
185                 [161] = '_', //
186                 [162] = '_', //
187                 [163] = '_', //
188                 [164] = '_', //
189                 [165] = '_', //
190                 [166] = '_', //
191                 [167] = '_', //
192                 [168] = '_', //
193                 [169] = '_', //
194                 [170] = '_', //
195                 [171] = '_', //
196                 [172] = '_', //
197                 [173] = '_', //
198                 [174] = '_', //
199                 [175] = '_', //
200                 [176] = '_', //
201                 [177] = '_', //
202                 [178] = '_', //
203                 [179] = '_', //
204                 [180] = '_', //
205                 [181] = '_', //
206                 [182] = '_', //
207                 [183] = '_', //
208                 [184] = '_', //
209                 [185] = '_', //
210                 [186] = '_', //
211                 [187] = '_', //
212                 [188] = '_', //
213                 [189] = '_', //
214                 [190] = '_', //
215                 [191] = '_', //
216                 [192] = '_', //
217                 [193] = '_', //
218                 [194] = '_', //
219                 [195] = '_', //
220                 [196] = '_', //
221                 [197] = '_', //
222                 [198] = '_', //
223                 [199] = '_', //
224                 [200] = '_', //
225                 [201] = '_', //
226                 [202] = '_', //
227                 [203] = '_', //
228                 [204] = '_', //
229                 [205] = '_', //
230                 [206] = '_', //
231                 [207] = '_', //
232                 [208] = '_', //
233                 [209] = '_', //
234                 [210] = '_', //
235                 [211] = '_', //
236                 [212] = '_', //
237                 [213] = '_', //
238                 [214] = '_', //
239                 [215] = '_', //
240                 [216] = '_', //
241                 [217] = '_', //
242                 [218] = '_', //
243                 [219] = '_', //
244                 [220] = '_', //
245                 [221] = '_', //
246                 [222] = '_', //
247                 [223] = '_', //
248                 [224] = '_', //
249                 [225] = '_', //
250                 [226] = '_', //
251                 [227] = '_', //
252                 [228] = '_', //
253                 [229] = '_', //
254                 [230] = '_', //
255                 [231] = '_', //
256                 [232] = '_', //
257                 [233] = '_', //
258                 [234] = '_', //
259                 [235] = '_', //
260                 [236] = '_', //
261                 [237] = '_', //
262                 [238] = '_', //
263                 [239] = '_', //
264                 [240] = '_', //
265                 [241] = '_', //
266                 [242] = '_', //
267                 [243] = '_', //
268                 [244] = '_', //
269                 [245] = '_', //
270                 [246] = '_', //
271                 [247] = '_', //
272                 [248] = '_', //
273                 [249] = '_', //
274                 [250] = '_', //
275                 [251] = '_', //
276                 [252] = '_', //
277                 [253] = '_', //
278                 [254] = '_', //
279                 [255] = '_'  //
280 };
281
282 // make sure the supplied string
283 // is good for a netdata chart/dimension ID/NAME
284 void netdata_fix_chart_name(char *s) {
285         while((*s = netdata_map_chart_names[(unsigned char)*s])) s++;
286 }
287
288 unsigned char netdata_map_chart_ids[256] = {
289                 [0] = '\0', //
290                 [1] = '_', //
291                 [2] = '_', //
292                 [3] = '_', //
293                 [4] = '_', //
294                 [5] = '_', //
295                 [6] = '_', //
296                 [7] = '_', //
297                 [8] = '_', //
298                 [9] = '_', //
299                 [10] = '_', //
300                 [11] = '_', //
301                 [12] = '_', //
302                 [13] = '_', //
303                 [14] = '_', //
304                 [15] = '_', //
305                 [16] = '_', //
306                 [17] = '_', //
307                 [18] = '_', //
308                 [19] = '_', //
309                 [20] = '_', //
310                 [21] = '_', //
311                 [22] = '_', //
312                 [23] = '_', //
313                 [24] = '_', //
314                 [25] = '_', //
315                 [26] = '_', //
316                 [27] = '_', //
317                 [28] = '_', //
318                 [29] = '_', //
319                 [30] = '_', //
320                 [31] = '_', //
321                 [32] = '_', //
322                 [33] = '_', // !
323                 [34] = '_', // "
324                 [35] = '_', // #
325                 [36] = '_', // $
326                 [37] = '_', // %
327                 [38] = '_', // &
328                 [39] = '_', // '
329                 [40] = '_', // (
330                 [41] = '_', // )
331                 [42] = '_', // *
332                 [43] = '_', // +
333                 [44] = '.', // ,
334                 [45] = '-', // -
335                 [46] = '.', // .
336                 [47] = '_', // /
337                 [48] = '0', // 0
338                 [49] = '1', // 1
339                 [50] = '2', // 2
340                 [51] = '3', // 3
341                 [52] = '4', // 4
342                 [53] = '5', // 5
343                 [54] = '6', // 6
344                 [55] = '7', // 7
345                 [56] = '8', // 8
346                 [57] = '9', // 9
347                 [58] = '_', // :
348                 [59] = '_', // ;
349                 [60] = '_', // <
350                 [61] = '_', // =
351                 [62] = '_', // >
352                 [63] = '_', // ?
353                 [64] = '_', // @
354                 [65] = 'a', // A
355                 [66] = 'b', // B
356                 [67] = 'c', // C
357                 [68] = 'd', // D
358                 [69] = 'e', // E
359                 [70] = 'f', // F
360                 [71] = 'g', // G
361                 [72] = 'h', // H
362                 [73] = 'i', // I
363                 [74] = 'j', // J
364                 [75] = 'k', // K
365                 [76] = 'l', // L
366                 [77] = 'm', // M
367                 [78] = 'n', // N
368                 [79] = 'o', // O
369                 [80] = 'p', // P
370                 [81] = 'q', // Q
371                 [82] = 'r', // R
372                 [83] = 's', // S
373                 [84] = 't', // T
374                 [85] = 'u', // U
375                 [86] = 'v', // V
376                 [87] = 'w', // W
377                 [88] = 'x', // X
378                 [89] = 'y', // Y
379                 [90] = 'z', // Z
380                 [91] = '_', // [
381                 [92] = '/', // backslash
382                 [93] = '_', // ]
383                 [94] = '_', // ^
384                 [95] = '_', // _
385                 [96] = '_', // `
386                 [97] = 'a', // a
387                 [98] = 'b', // b
388                 [99] = 'c', // c
389                 [100] = 'd', // d
390                 [101] = 'e', // e
391                 [102] = 'f', // f
392                 [103] = 'g', // g
393                 [104] = 'h', // h
394                 [105] = 'i', // i
395                 [106] = 'j', // j
396                 [107] = 'k', // k
397                 [108] = 'l', // l
398                 [109] = 'm', // m
399                 [110] = 'n', // n
400                 [111] = 'o', // o
401                 [112] = 'p', // p
402                 [113] = 'q', // q
403                 [114] = 'r', // r
404                 [115] = 's', // s
405                 [116] = 't', // t
406                 [117] = 'u', // u
407                 [118] = 'v', // v
408                 [119] = 'w', // w
409                 [120] = 'x', // x
410                 [121] = 'y', // y
411                 [122] = 'z', // z
412                 [123] = '_', // {
413                 [124] = '_', // |
414                 [125] = '_', // }
415                 [126] = '_', // ~
416                 [127] = '_', //
417                 [128] = '_', //
418                 [129] = '_', //
419                 [130] = '_', //
420                 [131] = '_', //
421                 [132] = '_', //
422                 [133] = '_', //
423                 [134] = '_', //
424                 [135] = '_', //
425                 [136] = '_', //
426                 [137] = '_', //
427                 [138] = '_', //
428                 [139] = '_', //
429                 [140] = '_', //
430                 [141] = '_', //
431                 [142] = '_', //
432                 [143] = '_', //
433                 [144] = '_', //
434                 [145] = '_', //
435                 [146] = '_', //
436                 [147] = '_', //
437                 [148] = '_', //
438                 [149] = '_', //
439                 [150] = '_', //
440                 [151] = '_', //
441                 [152] = '_', //
442                 [153] = '_', //
443                 [154] = '_', //
444                 [155] = '_', //
445                 [156] = '_', //
446                 [157] = '_', //
447                 [158] = '_', //
448                 [159] = '_', //
449                 [160] = '_', //
450                 [161] = '_', //
451                 [162] = '_', //
452                 [163] = '_', //
453                 [164] = '_', //
454                 [165] = '_', //
455                 [166] = '_', //
456                 [167] = '_', //
457                 [168] = '_', //
458                 [169] = '_', //
459                 [170] = '_', //
460                 [171] = '_', //
461                 [172] = '_', //
462                 [173] = '_', //
463                 [174] = '_', //
464                 [175] = '_', //
465                 [176] = '_', //
466                 [177] = '_', //
467                 [178] = '_', //
468                 [179] = '_', //
469                 [180] = '_', //
470                 [181] = '_', //
471                 [182] = '_', //
472                 [183] = '_', //
473                 [184] = '_', //
474                 [185] = '_', //
475                 [186] = '_', //
476                 [187] = '_', //
477                 [188] = '_', //
478                 [189] = '_', //
479                 [190] = '_', //
480                 [191] = '_', //
481                 [192] = '_', //
482                 [193] = '_', //
483                 [194] = '_', //
484                 [195] = '_', //
485                 [196] = '_', //
486                 [197] = '_', //
487                 [198] = '_', //
488                 [199] = '_', //
489                 [200] = '_', //
490                 [201] = '_', //
491                 [202] = '_', //
492                 [203] = '_', //
493                 [204] = '_', //
494                 [205] = '_', //
495                 [206] = '_', //
496                 [207] = '_', //
497                 [208] = '_', //
498                 [209] = '_', //
499                 [210] = '_', //
500                 [211] = '_', //
501                 [212] = '_', //
502                 [213] = '_', //
503                 [214] = '_', //
504                 [215] = '_', //
505                 [216] = '_', //
506                 [217] = '_', //
507                 [218] = '_', //
508                 [219] = '_', //
509                 [220] = '_', //
510                 [221] = '_', //
511                 [222] = '_', //
512                 [223] = '_', //
513                 [224] = '_', //
514                 [225] = '_', //
515                 [226] = '_', //
516                 [227] = '_', //
517                 [228] = '_', //
518                 [229] = '_', //
519                 [230] = '_', //
520                 [231] = '_', //
521                 [232] = '_', //
522                 [233] = '_', //
523                 [234] = '_', //
524                 [235] = '_', //
525                 [236] = '_', //
526                 [237] = '_', //
527                 [238] = '_', //
528                 [239] = '_', //
529                 [240] = '_', //
530                 [241] = '_', //
531                 [242] = '_', //
532                 [243] = '_', //
533                 [244] = '_', //
534                 [245] = '_', //
535                 [246] = '_', //
536                 [247] = '_', //
537                 [248] = '_', //
538                 [249] = '_', //
539                 [250] = '_', //
540                 [251] = '_', //
541                 [252] = '_', //
542                 [253] = '_', //
543                 [254] = '_', //
544                 [255] = '_'  //
545 };
546
547 // make sure the supplied string
548 // is good for a netdata chart/dimension ID/NAME
549 void netdata_fix_chart_id(char *s) {
550         while((*s = netdata_map_chart_ids[(unsigned char)*s])) s++;
551 }
552
553 /*
554 // http://stackoverflow.com/questions/7666509/hash-function-for-string
555 uint32_t simple_hash(const char *name)
556 {
557         const char *s = name;
558         uint32_t hash = 5381;
559         int i;
560
561         while((i = *s++)) hash = ((hash << 5) + hash) + i;
562
563         // fprintf(stderr, "HASH: %lu %s\n", hash, name);
564
565         return hash;
566 }
567 */
568
569
570 // http://isthe.com/chongo/tech/comp/fnv/#FNV-1a
571 uint32_t simple_hash(const char *name) {
572         unsigned char *s = (unsigned char *)name;
573         uint32_t hval = 0x811c9dc5;
574
575         // FNV-1a algorithm
576         while (*s) {
577                 // multiply by the 32 bit FNV magic prime mod 2^32
578                 // gcc optimized
579                 hval += (hval<<1) + (hval<<4) + (hval<<7) + (hval<<8) + (hval<<24);
580
581                 // xor the bottom with the current octet
582                 hval ^= (uint32_t)*s++;
583         }
584
585         // fprintf(stderr, "HASH: %u = %s\n", hval, name);
586         return hval;
587 }
588
589 /*
590 // http://eternallyconfuzzled.com/tuts/algorithms/jsw_tut_hashing.aspx
591 // one at a time hash
592 uint32_t simple_hash(const char *name) {
593         unsigned char *s = (unsigned char *)name;
594         uint32_t h = 0;
595
596         while(*s) {
597                 h += *s++;
598                 h += (h << 10);
599                 h ^= (h >> 6);
600         }
601
602         h += (h << 3);
603         h ^= (h >> 11);
604         h += (h << 15);
605
606         // fprintf(stderr, "HASH: %u = %s\n", h, name);
607
608         return h;
609 }
610 */
611
612 void strreverse(char* begin, char* end)
613 {
614     char aux;
615     while (end > begin)
616         aux = *end, *end-- = *begin, *begin++ = aux;
617 }
618
619 char *mystrsep(char **ptr, char *s)
620 {
621         char *p = "";
622         while ( p && !p[0] && *ptr ) p = strsep(ptr, s);
623         return(p);
624 }
625
626 char *trim(char *s)
627 {
628         // skip leading spaces
629         while(*s && isspace(*s)) s++;
630         if(!*s || *s == '#') return NULL;
631
632         // skip tailing spaces
633         long c = (long) strlen(s) - 1;
634         while(c >= 0 && isspace(s[c])) {
635                 s[c] = '\0';
636                 c--;
637         }
638         if(c < 0) return NULL;
639         if(!*s) return NULL;
640         return s;
641 }
642
643 void *mymmap(const char *filename, size_t size, int flags, int ksm)
644 {
645         int fd;
646         void *mem = NULL;
647
648         errno = 0;
649         fd = open(filename, O_RDWR|O_CREAT|O_NOATIME, 0664);
650         if(fd != -1) {
651                 if(lseek(fd, size, SEEK_SET) == (long)size) {
652                         if(write(fd, "", 1) == 1) {
653                                 if(ftruncate(fd, size))
654                                         error("Cannot truncate file '%s' to size %ld. Will use the larger file.", filename, size);
655
656 #ifdef MADV_MERGEABLE
657                                 if(flags & MAP_SHARED || !enable_ksm || !ksm) {
658 #endif
659                                         mem = mmap(NULL, size, PROT_READ|PROT_WRITE, flags, fd, 0);
660                                         if(mem) {
661                                                 int advise = MADV_SEQUENTIAL|MADV_DONTFORK;
662                                                 if(flags & MAP_SHARED) advise |= MADV_WILLNEED;
663
664                                                 if(madvise(mem, size, advise) != 0)
665                                                         error("Cannot advise the kernel about the memory usage of file '%s'.", filename);
666                                         }
667 #ifdef MADV_MERGEABLE
668                                 }
669                                 else {
670                                         mem = mmap(NULL, size, PROT_READ|PROT_WRITE, flags|MAP_ANONYMOUS, -1, 0);
671                                         if(mem) {
672                                                 if(lseek(fd, 0, SEEK_SET) == 0) {
673                                                         if(read(fd, mem, size) != (ssize_t)size)
674                                                                 error("Cannot read from file '%s'", filename);
675                                                 }
676                                                 else
677                                                         error("Cannot seek to beginning of file '%s'.", filename);
678
679                                                 // don't use MADV_SEQUENTIAL|MADV_DONTFORK, they disable MADV_MERGEABLE
680                                                 if(madvise(mem, size, MADV_SEQUENTIAL|MADV_DONTFORK) != 0)
681                                                         error("Cannot advise the kernel about the memory usage (MADV_SEQUENTIAL|MADV_DONTFORK) of file '%s'.", filename);
682
683                                                 if(madvise(mem, size, MADV_MERGEABLE) != 0)
684                                                         error("Cannot advise the kernel about the memory usage (MADV_MERGEABLE) of file '%s'.", filename);
685                                         }
686                                         else
687                                                 error("Cannot allocate PRIVATE ANONYMOUS memory for KSM for file '%s'.", filename);
688                                 }
689 #endif
690                         }
691                         else error("Cannot write to file '%s' at position %ld.", filename, size);
692                 }
693                 else error("Cannot seek file '%s' to size %ld.", filename, size);
694
695                 close(fd);
696         }
697         else error("Cannot create/open file '%s'.", filename);
698
699         return mem;
700 }
701
702 int savememory(const char *filename, void *mem, unsigned long size)
703 {
704         char tmpfilename[FILENAME_MAX + 1];
705
706         snprintf(tmpfilename, FILENAME_MAX, "%s.%ld.tmp", filename, (long)getpid());
707
708         int fd = open(tmpfilename, O_RDWR|O_CREAT|O_NOATIME, 0664);
709         if(fd < 0) {
710                 error("Cannot create/open file '%s'.", filename);
711                 return -1;
712         }
713
714         if(write(fd, mem, size) != (long)size) {
715                 error("Cannot write to file '%s' %ld bytes.", filename, (long)size);
716                 close(fd);
717                 return -1;
718         }
719
720         close(fd);
721
722         int ret = 0;
723         if(rename(tmpfilename, filename)) {
724                 error("Cannot rename '%s' to '%s'", tmpfilename, filename);
725                 ret = -1;
726         }
727
728         return ret;
729 }
730
731 int fd_is_valid(int fd) {
732     return fcntl(fd, F_GETFD) != -1 || errno != EBADF;
733 }
734
735 /*
736  ***************************************************************************
737  * Get number of clock ticks per second.
738  ***************************************************************************
739  */
740 unsigned int hz;
741
742 void get_HZ(void)
743 {
744         long ticks;
745
746         if ((ticks = sysconf(_SC_CLK_TCK)) == -1) {
747                 perror("sysconf");
748         }
749
750         hz = (unsigned int) ticks;
751 }
752
753 pid_t gettid(void)
754 {
755         return syscall(SYS_gettid);
756 }
757