etc/cnid_dbd/cmd_dbd.c

   1 /*
   2    Copyright (c) 2009 Frank Lahm <franklahm@gmail.com>
   3
   4    This program is free software; you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation; either version 2 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13 */
  14
  15 /*
  16   dbd specs and implementation progress
  17   =====================================
  18
  19   St := Status
  20
  21   Force option
  22   ------------
  23
  24   St Spec
  25   -- ----
  26   OK If -f is requested, ensure -e is too.
  27      Check if volumes is using AFPVOL_CACHE, then wipe db from disk. Rebuild from ad-files.
  28
  29   1st pass: Scan volume
  30   --------------------
  31
  32   St Type Check
  33   -- ---- -----
  34   OK F/D  Make sure ad file exists
  35   OK D    Make sure .AppleDouble dir exist, create if missing. Error creating
  36           it is fatal as that shouldn't happen as root.
  37   OK F/D  Delete orphaned ad-files, log dirs in ad-dir
  38   OK F/D  Check name encoding by roundtripping, log on error
  39   OK F/D  try: read CNID from ad file (if cnid caching is on)
  40           try: fetch CNID from database
  41           -> on mismatch: use CNID from file, update database (deleting both found CNIDs first)
  42           -> if no CNID in ad file: write CNID from database to ad file
  43           -> if no CNID in database: add CNID from ad file to database
  44           -> on no CNID at all: create one and store in both places
  45   OK F/D  Add found CNID, DID, filename, dev/inode, stamp to rebuild database
  46   OK F/D  Check/update stamp (implicitly done while checking CNIDs)
  47
  48
  49   2nd pass: Delete unused CNIDs
  50   -----------------------------
  51
  52   St Spec
  53   -- ----
  54   OK Step through dbd (the one on disk) and rebuild-db from pass 1 and delete any CNID from
  55      dbd not in rebuild db. This in only done in exclusive mode.
  56 */
  57
  58 #ifdef HAVE_CONFIG_H
  59 #include "config.h"
  60 #endif /* HAVE_CONFIG_H */
  61
  62 #include <unistd.h>
  63 #include <sys/types.h>
  64 #include <stdlib.h>
  65 #include <stdio.h>
  66 #include <stdarg.h>
  67 #include <limits.h>
  68 #include <signal.h>
  69 #include <string.h>
  70 #include <errno.h>
  71
  72 #include <atalk/logger.h>
  73 #include <atalk/cnid_dbd_private.h>
  74 #include <atalk/volinfo.h>
  75 #include <atalk/util.h>
  76
  77 #include "cmd_dbd.h"
  78 #include "dbd.h"
  79 #include "dbif.h"
  80 #include "db_param.h"
  81
  82 #define DBOPTIONS (DB_CREATE | DB_INIT_LOCK | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_TXN)
  83
  84 int nocniddb = 0;               /* Dont open CNID database, only scan filesystem */
  85 struct volinfo volinfo; /* needed by pack.c:idxname() */
  86 volatile sig_atomic_t alarmed;  /* flags for signals */
  87 int db_locked;                  /* have we got the fcntl lock on lockfile ? */
  88
  89 static DBD *dbd;
  90 static int verbose;             /* Logging flag */
  91 static int exclusive;           /* Exclusive volume access */
  92 static struct db_param db_param = {
  93     NULL,                       /* Volume dirpath */
  94     1,                          /* bdb logfile autoremove */
  95     64 * 1024,                  /* bdb cachesize (64 MB) */
  96     DEFAULT_MAXLOCKS,           /* maxlocks */
  97     DEFAULT_MAXLOCKOBJS,        /* maxlockobjs */
  98     0,                          /* flush_interval */
  99     0,                          /* flush_frequency */
 100     0,                          /* usock_file */
 101     -1,                         /* fd_table_size */
 102     -1,                         /* idle_timeout */
 103     -1                          /* max_vols */
 104 };
 105 static char dbpath[MAXPATHLEN+1];   /* Path to the dbd database */
 106
 107 /*
 108    Provide some logging
 109  */
 110 void dbd_log(enum logtype lt, char *fmt, ...)
 111 {
 112     int len;
 113     static char logbuffer[1024];
 114     va_list args;
 115
 116     if ( (lt == LOGSTD) || (verbose == 1)) {
 117         va_start(args, fmt);
 118         len = vsnprintf(logbuffer, 1023, fmt, args);
 119         va_end(args);
 120         logbuffer[1023] = 0;
 121
 122         printf("%s\n", logbuffer);
 123     }
 124 }
 125
 126 /*
 127    SIGNAL handling:
 128    catch SIGINT and SIGTERM which cause clean exit. Ignore anything else.
 129  */
 130
 131 static void sig_handler(int signo)
 132 {
 133     alarmed = 1;
 134     return;
 135 }
 136
 137 static void set_signal(void)
 138 {
 139     struct sigaction sv;
 140
 141     sv.sa_handler = sig_handler;
 142     sv.sa_flags = SA_RESTART;
 143     sigemptyset(&sv.sa_mask);
 144     if (sigaction(SIGTERM, &sv, NULL) < 0) {
 145         dbd_log( LOGSTD, "error in sigaction(SIGTERM): %s", strerror(errno));
 146         exit(EXIT_FAILURE);
 147     }
 148     if (sigaction(SIGINT, &sv, NULL) < 0) {
 149         dbd_log( LOGSTD, "error in sigaction(SIGINT): %s", strerror(errno));
 150         exit(EXIT_FAILURE);
 151     }
 152
 153     memset(&sv, 0, sizeof(struct sigaction));
 154     sv.sa_handler = SIG_IGN;
 155     sigemptyset(&sv.sa_mask);
 156
 157     if (sigaction(SIGABRT, &sv, NULL) < 0) {
 158         dbd_log( LOGSTD, "error in sigaction(SIGABRT): %s", strerror(errno));
 159         exit(EXIT_FAILURE);
 160     }
 161     if (sigaction(SIGHUP, &sv, NULL) < 0) {
 162         dbd_log( LOGSTD, "error in sigaction(SIGHUP): %s", strerror(errno));
 163         exit(EXIT_FAILURE);
 164     }
 165     if (sigaction(SIGQUIT, &sv, NULL) < 0) {
 166         dbd_log( LOGSTD, "error in sigaction(SIGQUIT): %s", strerror(errno));
 167         exit(EXIT_FAILURE);
 168     }
 169 }
 170
 171 static void usage (void)
 172 {
 173     printf("Usage: dbd [-e|-t|-v|-x] -d [-i] | -s [-c|-n]| -r [-c|-f] | -u <path to netatalk volume>\n"
 174            "dbd can dump, scan, reindex and rebuild Netatalk dbd CNID databases.\n"
 175            "dbd must be run with appropiate permissions i.e. as root.\n\n"
 176            "Main commands are:\n"
 177            "   -d Dump CNID database\n"
 178            "      Option: -i dump indexes too\n\n"
 179            "   -s Scan volume:\n"
 180            "      1. Compare CNIDs in database with volume\n"
 181            "      2. Check if .AppleDouble dirs exist\n"
 182            "      3. Check if  AppleDouble file exist\n"
 183            "      4. Report orphaned AppleDouble files\n"
 184            "      5. Check for directories inside AppleDouble directories\n"
 185            "      6. Check name encoding by roundtripping, log on error\n"
 186            "      7. Check for orphaned CNIDs in database (requires -e)\n"
 187            "      8. Open and close adouble files\n"
 188            "      Options: -c Don't check .AppleDouble stuff, only ckeck orphaned.\n"
 189            "               -n Don't open CNID database, skip CNID checks\n\n"
 190            "   -r Rebuild volume:\n"
 191            "      1. Sync CNIDSs in database with volume\n"
 192            "      2. Make sure .AppleDouble dir exist, create if missing\n"
 193            "      3. Make sure AppleDouble file exists, create if missing\n"
 194            "      4. Delete orphaned AppleDouble files\n"
 195            "      5. Check for directories inside AppleDouble directories\n"
 196            "      6. Check name encoding by roundtripping, log on error\n"
 197            "      7. Check for orphaned CNIDs in database (requires -e)\n"
 198            "      8. Open and close adouble files\n"
 199            "      Options: -c Don't create .AppleDouble stuff, only cleanup orphaned.\n"
 200            "               -f wipe database and rebuild from IDs stored in AppleDouble files,\n"
 201            "                  only available for volumes without 'nocnidcache' option. Implies -e.\n\n"
 202            "   -u Prepare upgrade:\n"
 203            "      Before installing an upgraded version of Netatalk that is linked against\n"
 204            "      a newer BerkeleyDB lib, run `dbd -u ...` from the OLD Netatalk pior to\n"
 205            "      upgrading on all volumes. This removes the BerkleyDB environment.\n"
 206            "      On exit cnid_dbd does this automatically, so normally calling dbd -u should not be necessary.\n\n"
 207            "General options:\n"
 208            "   -e only work on inactive volumes and lock them (exclusive)\n"
 209            "   -x rebuild indexes (just for completeness, mostly useless!)\n"
 210            "   -t show statistics while running\n"
 211            "   -v verbose\n\n"
 212            "WARNING:\n"
 213            "For -r -f restore of the CNID database from the adouble files, the CNID must of course\n"
 214            "be synched to them files first with a plain -r rebuild !\n"
 215         );
 216 }
 217
 218 int main(int argc, char **argv)
 219 {
 220     int c, lockfd, ret = -1;
 221     int dump=0, scan=0, rebuild=0, prep_upgrade=0, rebuildindexes=0, dumpindexes=0, force=0;
 222     dbd_flags_t flags = 0;
 223     char *volpath;
 224     int cdir;
 225
 226     if (geteuid() != 0) {
 227         usage();
 228         exit(EXIT_FAILURE);
 229     }
 230     /* Inhereting perms in ad_mkdir etc requires this */
 231     ad_setfuid(0);
 232
 233     while ((c = getopt(argc, argv, ":cdefinrstuvx")) != -1) {
 234         switch(c) {
 235         case 'c':
 236             flags |= DBD_FLAGS_CLEANUP;
 237             break;
 238         case 'd':
 239             dump = 1;
 240             break;
 241         case 'i':
 242             dumpindexes = 1;
 243             break;
 244         case 's':
 245             scan = 1;
 246             flags |= DBD_FLAGS_SCAN;
 247             break;
 248         case 'n':
 249             nocniddb = 1; /* FIXME: this could/should be a flag too for consistency */
 250             break;
 251         case 'r':
 252             rebuild = 1;
 253             break;
 254         case 't':
 255             flags |= DBD_FLAGS_STATS;
 256             break;
 257         case 'u':
 258             prep_upgrade = 1;
 259             break;
 260         case 'v':
 261             verbose = 1;
 262             break;
 263         case 'e':
 264             exclusive = 1;
 265             flags |= DBD_FLAGS_EXCL;
 266             break;
 267         case 'x':
 268             rebuildindexes = 1;
 269             break;
 270         case 'f':
 271             force = 1;
 272             exclusive = 1;
 273             flags |= DBD_FLAGS_FORCE | DBD_FLAGS_EXCL;
 274             break;
 275         case ':':
 276         case '?':
 277             usage();
 278             exit(EXIT_FAILURE);
 279             break;
 280         }
 281     }
 282
 283     if ((dump + scan + rebuild + prep_upgrade) != 1) {
 284         usage();
 285         exit(EXIT_FAILURE);
 286     }
 287
 288     if ( (optind + 1) != argc ) {
 289         usage();
 290         exit(EXIT_FAILURE);
 291     }
 292     volpath = argv[optind];
 293
 294     setvbuf(stdout, (char *) NULL, _IONBF, 0);
 295
 296     /* Remember cwd */
 297     if ((cdir = open(".", O_RDONLY)) < 0) {
 298         dbd_log( LOGSTD, "Can't open dir: %s", strerror(errno));
 299         exit(EXIT_FAILURE);
 300     }
 301
 302     /* Setup signal handling */
 303     set_signal();
 304
 305     /* Setup logging. Should be portable among *NIXes */
 306     if (!verbose)
 307         setuplog("default log_info /dev/tty");
 308     else
 309         setuplog("default log_debug /dev/tty");
 310
 311     /* Load .volinfo file */
 312     if (loadvolinfo(volpath, &volinfo) == -1) {
 313         dbd_log( LOGSTD, "Not a Netatalk volume at '%s', no .volinfo file at '%s/.AppleDesktop/.volinfo' or unknown volume options", volpath, volpath);
 314         exit(EXIT_FAILURE);
 315     }
 316     if (vol_load_charsets(&volinfo) == -1) {
 317         dbd_log( LOGSTD, "Error loading charsets!");
 318         exit(EXIT_FAILURE);
 319     }
 320
 321     /* Sanity checks to ensure we can touch this volume */
 322     if (volinfo.v_vfs_ea != AFPVOL_EA_AD && volinfo.v_vfs_ea != AFPVOL_EA_SYS) {
 323         dbd_log( LOGSTD, "Unknown Extended Attributes option: %u", volinfo.v_vfs_ea);
 324         exit(EXIT_FAILURE);
 325     }
 326
 327     /* Enuser dbpath is there, create if necessary */
 328     struct stat st;
 329     if (stat(volinfo.v_dbpath, &st) != 0) {
 330         if (errno != ENOENT) {
 331             dbd_log( LOGSTD, "Can't stat dbpath \"%s\": %s", volinfo.v_dbpath, strerror(errno));
 332             exit(EXIT_FAILURE);
 333         }
 334         if ((mkdir(volinfo.v_dbpath, 0755)) != 0) {
 335             dbd_log( LOGSTD, "Can't create dbpath \"%s\": %s", dbpath, strerror(errno));
 336             exit(EXIT_FAILURE);
 337         }
 338     }
 339
 340     /* Put "/.AppleDB" at end of volpath, get path from volinfo file */
 341     if ( (strlen(volinfo.v_dbpath) + strlen("/.AppleDB")) > MAXPATHLEN ) {
 342         dbd_log( LOGSTD, "Volume pathname too long");
 343         exit(EXIT_FAILURE);
 344     }
 345     strncpy(dbpath, volinfo.v_dbpath, MAXPATHLEN - strlen("/.AppleDB"));
 346     strcat(dbpath, "/.AppleDB");
 347
 348     /* Check or create dbpath */
 349     int dbdirfd = open(dbpath, O_RDONLY);
 350     if (dbdirfd == -1 && errno == ENOENT) {
 351         if (errno == ENOENT) {
 352             if ((mkdir(dbpath, 0755)) != 0) {
 353                 dbd_log( LOGSTD, "Can't create .AppleDB for \"%s\": %s", dbpath, strerror(errno));
 354                 exit(EXIT_FAILURE);
 355             }
 356         } else {
 357             dbd_log( LOGSTD, "Somethings wrong with .AppleDB for \"%s\", giving up: %s", dbpath, strerror(errno));
 358             exit(EXIT_FAILURE);
 359         }
 360     } else {
 361         close(dbdirfd);
 362     }
 363
 364     /* Get db lock */
 365     if ((db_locked = get_lock(LOCK_EXCL, dbpath)) == -1)
 366         goto exit_failure;
 367     if (db_locked != LOCK_EXCL) {
 368         /* Couldn't get exclusive lock, try shared lock if -e wasn't requested */
 369         if (exclusive) {
 370             dbd_log(LOGSTD, "Database is in use and exlusive was requested");
 371             goto exit_failure;
 372         }
 373         if ((db_locked = get_lock(LOCK_SHRD, NULL)) != LOCK_SHRD)
 374             goto exit_failure;
 375     }
 376
 377     /* Prepare upgrade ? */
 378     if (prep_upgrade) {
 379         if (dbif_env_remove(dbpath))
 380             goto exit_failure;
 381         goto exit_success;
 382     }
 383
 384     /* Check if -f is requested and wipe db if yes */
 385     if ((flags & DBD_FLAGS_FORCE) && rebuild && (volinfo.v_flags & AFPVOL_CACHE)) {
 386         char cmd[8 + MAXPATHLEN];
 387         if ((db_locked = get_lock(LOCK_FREE, NULL)) != 0)
 388             goto exit_failure;
 389
 390         snprintf(cmd, 8 + MAXPATHLEN, "rm -rf \"%s\"", dbpath);
 391         dbd_log( LOGDEBUG, "Removing old database of volume: '%s'", volpath);
 392         system(cmd);
 393         if ((mkdir(dbpath, 0755)) != 0) {
 394             dbd_log( LOGSTD, "Can't create dbpath \"%s\": %s", dbpath, strerror(errno));
 395             exit(EXIT_FAILURE);
 396         }
 397         dbd_log( LOGDEBUG, "Removed old database.");
 398         if ((db_locked = get_lock(LOCK_EXCL, dbpath)) == -1)
 399             goto exit_failure;
 400     }
 401
 402     /*
 403        Lets start with the BerkeleyDB stuff
 404     */
 405     if ( ! nocniddb) {
 406         if ((dbd = dbif_init(dbpath, "cnid2.db")) == NULL)
 407             goto exit_failure;
 408
 409         if (dbif_env_open(dbd,
 410                           &db_param,
 411                           (db_locked == LOCK_EXCL) ? (DBOPTIONS | DB_RECOVER) : DBOPTIONS) < 0) {
 412             dbd_log( LOGSTD, "error opening database!");
 413             goto exit_failure;
 414         }
 415
 416         if (db_locked == LOCK_EXCL)
 417             dbd_log( LOGDEBUG, "Finished recovery.");
 418
 419         if (dbif_open(dbd, NULL, rebuildindexes) < 0) {
 420             dbif_close(dbd);
 421             goto exit_failure;
 422         }
 423     }
 424
 425     /* Downgrade db lock if not running exclusive */
 426     if (!exclusive && (db_locked == LOCK_EXCL)) {
 427         if (get_lock(LOCK_UNLOCK, NULL) != 0)
 428             goto exit_failure;
 429         if (get_lock(LOCK_SHRD, NULL) != LOCK_SHRD)
 430             goto exit_failure;
 431     }
 432
 433     /* Now execute given command scan|rebuild|dump */
 434     if (dump && ! nocniddb) {
 435         if (dbif_dump(dbd, dumpindexes) < 0) {
 436             dbd_log( LOGSTD, "Error dumping database");
 437         }
 438     } else if ((rebuild && ! nocniddb) || scan) {
 439         if (cmd_dbd_scanvol(dbd, &volinfo, flags) < 0) {
 440             dbd_log( LOGSTD, "Error repairing database.");
 441         }
 442     }
 443
 444     /* Cleanup */
 445     dbd_log(LOGDEBUG, "Closing db");
 446     if (! nocniddb) {
 447         if (dbif_close(dbd) < 0) {
 448             dbd_log( LOGSTD, "Error closing database");
 449             goto exit_failure;
 450         }
 451     }
 452
 453 exit_success:
 454     ret = 0;
 455
 456 exit_failure:
 457     get_lock(0, NULL);
 458
 459     if ((fchdir(cdir)) < 0)
 460         dbd_log(LOGSTD, "fchdir: %s", strerror(errno));
 461
 462     if (ret == 0)
 463         exit(EXIT_SUCCESS);
 464     else
 465         exit(EXIT_FAILURE);
 466 }