etc/cnid_dbd/cmd_dbd.c

   1 /*
   2    Copyright (c) 2009 Frank Lahm <franklahm@gmail.com>
   3
   4    This program is free software; you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation; either version 2 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13 */
  14
  15 /*
  16   dbd specs and implementation progress
  17   =====================================
  18
  19   St := Status
  20
  21   Force option
  22   ------------
  23
  24   St Spec
  25   -- ----
  26   OK If -f is requested, ensure -e is too.
  27      Check if volumes is using AFPVOL_CACHE, then wipe db from disk. Rebuild from ad-files.
  28
  29   1st pass: Scan volume
  30   --------------------
  31
  32   St Type Check
  33   -- ---- -----
  34   OK F/D  Make sure ad file exists
  35   OK D    Make sure .AppleDouble dir exist, create if missing. Error creating
  36           it is fatal as that shouldn't happen as root.
  37   OK F/D  Delete orphaned ad-files, log dirs in ad-dir
  38   OK F/D  Check name encoding by roundtripping, log on error
  39   OK F/D  try: read CNID from ad file (if cnid caching is on)
  40           try: fetch CNID from database
  41           -> on mismatch: use CNID from file, update database (deleting both found CNIDs first)
  42           -> if no CNID in ad file: write CNID from database to ad file
  43           -> if no CNID in database: add CNID from ad file to database
  44           -> on no CNID at all: create one and store in both places
  45   OK F/D  Add found CNID, DID, filename, dev/inode, stamp to rebuild database
  46   OK F/D  Check/update stamp (implicitly done while checking CNIDs)
  47
  48
  49   2nd pass: Delete unused CNIDs
  50   -----------------------------
  51
  52   St Spec
  53   -- ----
  54   OK Step through dbd (the one on disk) and rebuild-db from pass 1 and delete any CNID from
  55      dbd not in rebuild db. This in only done in exclusive mode.
  56 */
  57
  58 #ifdef HAVE_CONFIG_H
  59 #include "config.h"
  60 #endif /* HAVE_CONFIG_H */
  61
  62 #include <unistd.h>
  63 #include <sys/types.h>
  64 #include <stdlib.h>
  65 #include <stdio.h>
  66 #include <stdarg.h>
  67 #include <limits.h>
  68 #include <signal.h>
  69 #include <string.h>
  70 #include <errno.h>
  71
  72 #include <atalk/logger.h>
  73 #include <atalk/cnid_dbd_private.h>
  74 #include <atalk/volinfo.h>
  75 #include "cmd_dbd.h"
  76 #include "dbd.h"
  77 #include "dbif.h"
  78 #include "db_param.h"
  79
  80 #define LOCKFILENAME  "lock"
  81 #define DBOPTIONS (DB_CREATE | DB_INIT_LOCK | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_TXN)
  82
  83 int nocniddb = 0;               /* Dont open CNID database, only scan filesystem */
  84 volatile sig_atomic_t alarmed;
  85 struct volinfo volinfo; /* needed by pack.c:idxname() */
  86
  87 static DBD *dbd;
  88 static int verbose;             /* Logging flag */
  89 static int exclusive;           /* Exclusive volume access */
  90 static struct db_param db_param = {
  91     NULL,                       /* Volume dirpath */
  92     1,                          /* bdb logfile autoremove */
  93     64 * 1024,                  /* bdb cachesize (64 MB) */
  94     DEFAULT_MAXLOCKS,           /* maxlocks */
  95     DEFAULT_MAXLOCKOBJS,        /* maxlockobjs */
  96     0,                          /* flush_interval */
  97     0,                          /* flush_frequency */
  98     0,                          /* usock_file */
  99     -1,                         /* fd_table_size */
 100     -1,                         /* idle_timeout */
 101     -1                          /* max_vols */
 102 };
 103 static char dbpath[MAXPATHLEN+1];   /* Path to the dbd database */
 104
 105 /*
 106    Provide some logging
 107  */
 108 void dbd_log(enum logtype lt, char *fmt, ...)
 109 {
 110     int len;
 111     static char logbuffer[1024];
 112     va_list args;
 113
 114     if ( (lt == LOGSTD) || (verbose == 1)) {
 115         va_start(args, fmt);
 116         len = vsnprintf(logbuffer, 1023, fmt, args);
 117         va_end(args);
 118         logbuffer[1023] = 0;
 119
 120         printf("%s\n", logbuffer);
 121     }
 122 }
 123
 124 /*
 125    SIGNAL handling:
 126    catch SIGINT and SIGTERM which cause clean exit. Ignore anything else.
 127  */
 128
 129 static void sig_handler(int signo)
 130 {
 131     alarmed = 1;
 132     return;
 133 }
 134
 135 static void set_signal(void)
 136 {
 137     struct sigaction sv;
 138
 139     sv.sa_handler = sig_handler;
 140     sv.sa_flags = SA_RESTART;
 141     sigemptyset(&sv.sa_mask);
 142     if (sigaction(SIGTERM, &sv, NULL) < 0) {
 143         dbd_log( LOGSTD, "error in sigaction(SIGTERM): %s", strerror(errno));
 144         exit(EXIT_FAILURE);
 145     }
 146     if (sigaction(SIGINT, &sv, NULL) < 0) {
 147         dbd_log( LOGSTD, "error in sigaction(SIGINT): %s", strerror(errno));
 148         exit(EXIT_FAILURE);
 149     }
 150
 151     memset(&sv, 0, sizeof(struct sigaction));
 152     sv.sa_handler = SIG_IGN;
 153     sigemptyset(&sv.sa_mask);
 154
 155     if (sigaction(SIGABRT, &sv, NULL) < 0) {
 156         dbd_log( LOGSTD, "error in sigaction(SIGABRT): %s", strerror(errno));
 157         exit(EXIT_FAILURE);
 158     }
 159     if (sigaction(SIGHUP, &sv, NULL) < 0) {
 160         dbd_log( LOGSTD, "error in sigaction(SIGHUP): %s", strerror(errno));
 161         exit(EXIT_FAILURE);
 162     }
 163     if (sigaction(SIGQUIT, &sv, NULL) < 0) {
 164         dbd_log( LOGSTD, "error in sigaction(SIGQUIT): %s", strerror(errno));
 165         exit(EXIT_FAILURE);
 166     }
 167 }
 168
 169 static int get_lock(const char *dbpath)
 170 {
 171     int lockfd;
 172     char lockpath[PATH_MAX];
 173     struct flock lock;
 174     struct stat st;
 175
 176     if ( (strlen(dbpath) + strlen(LOCKFILENAME+1)) > (PATH_MAX - 1) ) {
 177         dbd_log( LOGSTD, ".AppleDB pathname too long");
 178         exit(EXIT_FAILURE);
 179     }
 180     strncpy(lockpath, dbpath, PATH_MAX - 1);
 181     strcat(lockpath, "/");
 182     strcat(lockpath, LOCKFILENAME);
 183
 184     if ((lockfd = open(lockpath, O_RDWR | O_CREAT, 0644)) < 0) {
 185         dbd_log( LOGSTD, "Error opening lockfile: %s", strerror(errno));
 186         exit(EXIT_FAILURE);
 187     }
 188
 189     if ((stat(dbpath, &st)) != 0) {
 190         dbd_log( LOGSTD, "Error statting lockfile: %s", strerror(errno));
 191         exit(EXIT_FAILURE);
 192     }
 193
 194     if ((chown(lockpath, st.st_uid, st.st_gid)) != 0) {
 195         dbd_log( LOGSTD, "Error inheriting lockfile permissions: %s", strerror(errno));
 196         exit(EXIT_FAILURE);
 197     }
 198
 199     lock.l_start  = 0;
 200     lock.l_whence = SEEK_SET;
 201     lock.l_len    = 0;
 202     lock.l_type   = F_WRLCK;
 203
 204     if (fcntl(lockfd, F_SETLK, &lock) < 0) {
 205         if (errno == EACCES || errno == EAGAIN) {
 206             if (exclusive) {
 207                 dbd_log( LOGSTD, "Database is in use and exlusive was requested", strerror(errno));
 208                 exit(EXIT_FAILURE);
 209             };
 210         } else {
 211             dbd_log( LOGSTD, "Error getting fcntl F_WRLCK on lockfile: %s", strerror(errno));
 212             exit(EXIT_FAILURE);
 213        }
 214     }
 215
 216     return lockfd;
 217 }
 218
 219 static void free_lock(int lockfd)
 220 {
 221     struct flock lock;
 222
 223     lock.l_start  = 0;
 224     lock.l_whence = SEEK_SET;
 225     lock.l_len    = 0;
 226     lock.l_type = F_UNLCK;
 227     fcntl(lockfd, F_SETLK, &lock);
 228     close(lockfd);
 229 }
 230
 231 static void usage (void)
 232 {
 233     printf("Usage: dbd [-e|-t|-v|-x] -d [-i] | -s [-c|-n]| -r [-c|-f] | -u <path to netatalk volume>\n"
 234            "dbd can dump, scan, reindex and rebuild Netatalk dbd CNID databases.\n"
 235            "dbd must be run with appropiate permissions i.e. as root.\n\n"
 236            "Main commands are:\n"
 237            "   -d Dump CNID database\n"
 238            "      Option: -i dump indexes too\n\n"
 239            "   -s Scan volume:\n"
 240            "      1. Compare CNIDs in database with volume\n"
 241            "      2. Check if .AppleDouble dirs exist\n"
 242            "      3. Check if  AppleDouble file exist\n"
 243            "      4. Report orphaned AppleDouble files\n"
 244            "      5. Check for directories inside AppleDouble directories\n"
 245            "      6. Check name encoding by roundtripping, log on error\n"
 246            "      7. Check for orphaned CNIDs in database (requires -e)\n"
 247            "      8. Open and close adouble files\n"
 248            "      Options: -c Don't check .AppleDouble stuff, only ckeck orphaned.\n"
 249            "               -n Don't open CNID database, skip CNID checks\n\n"
 250            "   -r Rebuild volume:\n"
 251            "      1. Sync CNIDSs in database with volume\n"
 252            "      2. Make sure .AppleDouble dir exist, create if missing\n"
 253            "      3. Make sure AppleDouble file exists, create if missing\n"
 254            "      4. Delete orphaned AppleDouble files\n"
 255            "      5. Check for directories inside AppleDouble directories\n"
 256            "      6. Check name encoding by roundtripping, log on error\n"
 257            "      7. Check for orphaned CNIDs in database (requires -e)\n"
 258            "      8. Open and close adouble files\n"
 259            "      Options: -c Don't create .AppleDouble stuff, only cleanup orphaned.\n"
 260            "               -f wipe database and rebuild from IDs stored in AppleDouble files,\n"
 261            "                  only available for volumes without 'nocnidcache' option. Implies -e.\n\n"
 262            "   -u Prepare upgrade:\n"
 263            "      Before installing an upgraded version of Netatalk that is linked against\n"
 264            "      a newer BerkeleyDB lib, run `dbd -u ...` from the OLD Netatalk pior to\n"
 265            "      upgrading on all volumes. This removes the BerkleyDB environment.\n"
 266            "      On exit cnid_dbd does this automatically, so normally calling dbd -u should not be necessary.\n\n"
 267            "General options:\n"
 268            "   -e only work on inactive volumes and lock them (exclusive)\n"
 269            "   -x rebuild indexes (just for completeness, mostly useless!)\n"
 270            "   -t show statistics while running\n"
 271            "   -v verbose\n\n"
 272            "WARNING:\n"
 273            "For -r -f restore of the CNID database from the adouble files, the CNID must of course\n"
 274            "be synched to them files first with a plain -r rebuild !\n"
 275         );
 276 }
 277
 278 int main(int argc, char **argv)
 279 {
 280     int c, lockfd, ret = -1;
 281     int dump=0, scan=0, rebuild=0, prep_upgrade=0, rebuildindexes=0, dumpindexes=0, force=0;
 282     dbd_flags_t flags = 0;
 283     char *volpath;
 284     int cdir;
 285
 286     if (geteuid() != 0) {
 287         usage();
 288         exit(EXIT_FAILURE);
 289     }
 290     /* Inhereting perms in ad_mkdir etc requires this */
 291     ad_setfuid(0);
 292
 293     while ((c = getopt(argc, argv, ":cdefinrstuvx")) != -1) {
 294         switch(c) {
 295         case 'c':
 296             flags |= DBD_FLAGS_CLEANUP;
 297             break;
 298         case 'd':
 299             dump = 1;
 300             break;
 301         case 'i':
 302             dumpindexes = 1;
 303             break;
 304         case 's':
 305             scan = 1;
 306             flags |= DBD_FLAGS_SCAN;
 307             break;
 308         case 'n':
 309             nocniddb = 1; /* FIXME: this could/should be a flag too for consistency */
 310             break;
 311         case 'r':
 312             rebuild = 1;
 313             break;
 314         case 't':
 315             flags |= DBD_FLAGS_STATS;
 316             break;
 317         case 'u':
 318             prep_upgrade = 1;
 319             break;
 320         case 'v':
 321             verbose = 1;
 322             break;
 323         case 'e':
 324             exclusive = 1;
 325             flags |= DBD_FLAGS_EXCL;
 326             break;
 327         case 'x':
 328             rebuildindexes = 1;
 329             break;
 330         case 'f':
 331             force = 1;
 332             exclusive = 1;
 333             flags |= DBD_FLAGS_FORCE | DBD_FLAGS_EXCL;
 334             break;
 335         case ':':
 336         case '?':
 337             usage();
 338             exit(EXIT_FAILURE);
 339             break;
 340         }
 341     }
 342
 343     if ((dump + scan + rebuild + prep_upgrade) != 1) {
 344         usage();
 345         exit(EXIT_FAILURE);
 346     }
 347
 348     if ( (optind + 1) != argc ) {
 349         usage();
 350         exit(EXIT_FAILURE);
 351     }
 352     volpath = argv[optind];
 353
 354     setvbuf(stdout, (char *) NULL, _IONBF, 0);
 355
 356     /* Remember cwd */
 357     if ((cdir = open(".", O_RDONLY)) < 0) {
 358         dbd_log( LOGSTD, "Can't open dir: %s", strerror(errno));
 359         exit(EXIT_FAILURE);
 360     }
 361
 362     /* Setup signal handling */
 363     set_signal();
 364
 365     /* Setup logging. Should be portable among *NIXes */
 366     if (!verbose)
 367         setuplog("default log_info /dev/tty");
 368     else
 369         setuplog("default log_debug /dev/tty");
 370
 371     /* Load .volinfo file */
 372     if (loadvolinfo(volpath, &volinfo) == -1) {
 373         dbd_log( LOGSTD, "Not a Netatalk volume at '%s', no .volinfo file at '%s/.AppleDesktop/.volinfo' or unknown volume options", volpath, volpath);
 374         exit(EXIT_FAILURE);
 375     }
 376     if (vol_load_charsets(&volinfo) == -1) {
 377         dbd_log( LOGSTD, "Error loading charsets!");
 378         exit(EXIT_FAILURE);
 379     }
 380
 381     /* Sanity checks to ensure we can touch this volume */
 382     if (volinfo.v_vfs_ea != AFPVOL_EA_AD && volinfo.v_vfs_ea != AFPVOL_EA_SYS) {
 383         dbd_log( LOGSTD, "Unknown Extended Attributes option: %u", volinfo.v_vfs_ea);
 384         exit(EXIT_FAILURE);
 385     }
 386
 387     /* Enuser dbpath is there, create if necessary */
 388     struct stat st;
 389     if (stat(volinfo.v_dbpath, &st) != 0) {
 390         if (errno != ENOENT) {
 391             dbd_log( LOGSTD, "Can't stat dbpath \"%s\": %s", volinfo.v_dbpath, strerror(errno));
 392             exit(EXIT_FAILURE);
 393         }
 394         if ((mkdir(volinfo.v_dbpath, 0755)) != 0) {
 395             dbd_log( LOGSTD, "Can't create dbpath \"%s\": %s", dbpath, strerror(errno));
 396             exit(EXIT_FAILURE);
 397         }
 398     }
 399
 400     /* Put "/.AppleDB" at end of volpath, get path from volinfo file */
 401     if ( (strlen(volinfo.v_dbpath) + strlen("/.AppleDB")) > MAXPATHLEN ) {
 402         dbd_log( LOGSTD, "Volume pathname too long");
 403         exit(EXIT_FAILURE);
 404     }
 405     strncpy(dbpath, volinfo.v_dbpath, MAXPATHLEN - strlen("/.AppleDB"));
 406     strcat(dbpath, "/.AppleDB");
 407
 408     /* Check or create dbpath */
 409     int dbdirfd = open(dbpath, O_RDONLY);
 410     if (dbdirfd == -1 && errno == ENOENT) {
 411         if (errno == ENOENT) {
 412             if ((mkdir(dbpath, 0755)) != 0) {
 413                 dbd_log( LOGSTD, "Can't create .AppleDB for \"%s\": %s", dbpath, strerror(errno));
 414                 exit(EXIT_FAILURE);
 415             }
 416         } else {
 417             dbd_log( LOGSTD, "Somethings wrong with .AppleDB for \"%s\", giving up: %s", dbpath, strerror(errno));
 418             exit(EXIT_FAILURE);
 419         }
 420     } else {
 421         close(dbdirfd);
 422     }
 423
 424     /*
 425        Before we do anything else, check if there is an instance of cnid_dbd
 426        running already and silently exit if yes.
 427     */
 428     lockfd = get_lock(dbpath);
 429
 430     /* Prepare upgrade ? */
 431     if (prep_upgrade) {
 432         if (dbif_env_remove(dbpath))
 433             goto exit_failure;
 434         goto exit_success;
 435     }
 436
 437     /* Check if -f is requested and wipe db if yes */
 438     if ((flags & DBD_FLAGS_FORCE) && rebuild && (volinfo.v_flags & AFPVOL_CACHE)) {
 439         char cmd[8 + MAXPATHLEN];
 440         close(lockfd);
 441         snprintf(cmd, 8 + MAXPATHLEN, "rm -rf \"%s\"", dbpath);
 442         dbd_log( LOGDEBUG, "Removing old database of volume: '%s'", volpath);
 443         system(cmd);
 444         if ((mkdir(dbpath, 0755)) != 0) {
 445             dbd_log( LOGSTD, "Can't create dbpath \"%s\": %s", dbpath, strerror(errno));
 446             exit(EXIT_FAILURE);
 447         }
 448         dbd_log( LOGDEBUG, "Removed old database.");
 449         lockfd = get_lock(dbpath);
 450     }
 451
 452     /*
 453        Lets start with the BerkeleyDB stuff
 454     */
 455     if ( ! nocniddb) {
 456         if ((dbd = dbif_init(dbpath, "cnid2.db")) == NULL)
 457             goto exit_failure;
 458
 459         if (dbif_env_open(dbd, &db_param, exclusive ? (DBOPTIONS | DB_RECOVER) : DBOPTIONS) < 0) {
 460             dbd_log( LOGSTD, "error opening database!");
 461             goto exit_failure;
 462         }
 463
 464         if (exclusive)
 465             dbd_log( LOGDEBUG, "Finished recovery.");
 466
 467         if (dbif_open(dbd, NULL, rebuildindexes) < 0) {
 468             dbif_close(dbd);
 469             goto exit_failure;
 470         }
 471     }
 472
 473     /* Now execute given command scan|rebuild|dump */
 474     if (dump && ! nocniddb) {
 475         if (dbif_dump(dbd, dumpindexes) < 0) {
 476             dbd_log( LOGSTD, "Error dumping database");
 477         }
 478     } else if ((rebuild && ! nocniddb) || scan) {
 479         if (cmd_dbd_scanvol(dbd, &volinfo, flags) < 0) {
 480             dbd_log( LOGSTD, "Error repairing database.");
 481         }
 482     }
 483
 484     /* Cleanup */
 485     dbd_log(LOGDEBUG, "Closing db");
 486     if (! nocniddb) {
 487         if (dbif_close(dbd) < 0) {
 488             dbd_log( LOGSTD, "Error closing database");
 489             goto exit_failure;
 490         }
 491     }
 492
 493 exit_success:
 494     ret = 0;
 495
 496 exit_failure:
 497     free_lock(lockfd);
 498
 499     if ((fchdir(cdir)) < 0)
 500         dbd_log(LOGSTD, "fchdir: %s", strerror(errno));
 501
 502     if (ret == 0)
 503         exit(EXIT_SUCCESS);
 504     else
 505         exit(EXIT_FAILURE);
 506 }