etc/cnid_dbd/dbif.c

   1 /*
   2  * Copyright (C) Joerg Lenneis 2003
   3  * Copyright (C) Frank Lahm 2009
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #include <stdio.h>
  12 #include <errno.h>
  13 #include <stdlib.h>
  14 #ifdef HAVE_SYS_TYPES_H
  15 #include <sys/types.h>
  16 #endif /* HAVE_SYS_TYPES_H */
  17 #include <string.h>
  18 #include <sys/types.h>
  19 #include <sys/stat.h>
  20 #include <sys/cdefs.h>
  21 #include <unistd.h>
  22 #include <atalk/logger.h>
  23 #include <atalk/util.h>
  24 #include <db.h>
  25
  26 #include "db_param.h"
  27 #include "dbif.h"
  28 #include "pack.h"
  29
  30 #define DB_ERRLOGFILE "db_errlog"
  31
  32 static char *old_dbfiles[] = {"cnid.db", NULL};
  33
  34 /* --------------- */
  35 static int upgrade_required(const DBD *dbd)
  36 {
  37     int i;
  38     int cwd = -1;
  39     int ret = 0;
  40     int found = 0;
  41     struct stat st;
  42
  43     if ( ! dbd->db_filename)
  44         /* in memory db */
  45         return 0;
  46
  47     /* Remember cwd */
  48     if ((cwd = open(".", O_RDONLY)) < 0) {
  49         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  50         return -1;
  51     }
  52
  53     /* chdir to db_envhome */
  54     if ((chdir(dbd->db_envhome)) != 0) {
  55         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  56         ret = -1;
  57         goto exit;
  58     }
  59
  60     for (i = 0; old_dbfiles[i] != NULL; i++) {
  61         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
  62             found++;
  63             continue;
  64         }
  65         if (errno != ENOENT) {
  66             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
  67             found++;
  68         }
  69     }
  70
  71 exit:
  72     if (cwd != -1) {
  73         if ((fchdir(cwd)) != 0) {
  74             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
  75             ret = -1;
  76         }
  77         close(cwd);
  78     }
  79     return (ret < 0 ? ret : found);
  80 }
  81
  82 /* --------------- */
  83 static int dbif_openlog(DBD *dbd)
  84 {
  85     int ret = 0;
  86     int cwd = -1;
  87
  88     if ( ! dbd->db_filename)
  89         /* in memory db */
  90         return 0;
  91
  92     /* Remember cwd */
  93     if ((cwd = open(".", O_RDONLY)) < 0) {
  94         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  95         return -1;
  96     }
  97
  98     /* chdir to db_envhome */
  99     if ((chdir(dbd->db_envhome)) != 0) {
 100         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 101         ret = -1;
 102         goto exit;
 103     }
 104
 105     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 106         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 107
 108     if (dbd->db_errlog != NULL) {
 109         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 110         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 111     }
 112
 113 exit:
 114     if (cwd != -1) {
 115         if ((fchdir(cwd)) != 0) {
 116             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 117             ret = -1;
 118         }
 119         close(cwd);
 120     }
 121     return ret;
 122 }
 123
 124 /* --------------- */
 125 static int dbif_logautorem(DBD *dbd)
 126 {
 127     int ret = 0;
 128     int cwd = -1;
 129     char **logfiles = NULL;
 130     char **file;
 131
 132     if ( ! dbd->db_filename)
 133         /* in memory db */
 134         return 0;
 135
 136     /* Remember cwd */
 137     if ((cwd = open(".", O_RDONLY)) < 0) {
 138         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 139         return -1;
 140     }
 141
 142     /* chdir to db_envhome */
 143     if ((chdir(dbd->db_envhome)) != 0) {
 144         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 145         ret = -1;
 146         goto exit;
 147     }
 148
 149     if ((ret = dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) != 0) {
 150         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 151             db_strerror(ret));
 152         dbd->db_env->close(dbd->db_env, 0);
 153         dbd->db_env = NULL;
 154         ret = -1;
 155         goto exit;
 156     }
 157
 158     if (logfiles != NULL) {
 159         for (file = logfiles; *file != NULL; file++) {
 160             if (unlink(*file) < 0)
 161                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 162         }
 163         free(logfiles);
 164     }
 165
 166 exit:
 167     if (cwd != -1) {
 168         if ((fchdir(cwd)) != 0) {
 169             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 170             ret = -1;
 171         }
 172         close(cwd);
 173     }
 174     return ret;
 175 }
 176
 177 /*!
 178  * Get lock on db lock file
 179  *
 180  * @args cmd       (r) lock command:
 181  *                     LOCK_FREE:   close lockfd
 182  *                     LOCK_UNLOCK: unlock lockm keep lockfd open
 183  *                     LOCK_EXCL:   F_WRLCK on lockfd
 184  *                     LOCK_SHRD:   F_RDLCK on lockfd
 185  * @args dbpath    (r) path to lockfile, only used on first call,
 186  *                     later the stored fd is used
 187  * @returns            LOCK_FREE/LOCK_UNLOCK return 0 on success, -1 on error
 188  *                     LOCK_EXCL/LOCK_SHRD return LOCK_EXCL or LOCK_SHRD respectively on
 189  *                     success, 0 if the lock couldn't be acquired, -1 on other errors
 190  */
 191 int get_lock(int cmd, const char *dbpath)
 192 {
 193     static int lockfd = -1;
 194     int ret;
 195     char lockpath[PATH_MAX];
 196     struct stat st;
 197
 198     switch (cmd) {
 199     case LOCK_FREE:
 200         if (lockfd == -1)
 201             return -1;
 202         close(lockfd);
 203         lockfd = -1;
 204         return 0;
 205
 206     case LOCK_UNLOCK:
 207         if (lockfd == -1)
 208             return -1;
 209         return unlock(lockfd, 0, SEEK_SET, 0);
 210
 211     case LOCK_EXCL:
 212     case LOCK_SHRD:
 213         if (lockfd == -1) {
 214             if ( (strlen(dbpath) + strlen(LOCKFILENAME+1)) > (PATH_MAX - 1) ) {
 215                 LOG(log_error, logtype_cnid, ".AppleDB pathname too long");
 216                 return -1;
 217             }
 218             strncpy(lockpath, dbpath, PATH_MAX - 1);
 219             strcat(lockpath, "/");
 220             strcat(lockpath, LOCKFILENAME);
 221
 222             if ((lockfd = open(lockpath, O_RDWR | O_CREAT, 0644)) < 0) {
 223                 LOG(log_error, logtype_cnid, "Error opening lockfile: %s", strerror(errno));
 224                 return -1;
 225             }
 226
 227             if ((stat(dbpath, &st)) != 0) {
 228                 LOG(log_error, logtype_cnid, "Error statting lockfile: %s", strerror(errno));
 229                 return -1;
 230             }
 231
 232             if ((chown(lockpath, st.st_uid, st.st_gid)) != 0) {
 233                 LOG(log_error, logtype_cnid, "Error inheriting lockfile permissions: %s",
 234                          strerror(errno));
 235                 return -1;
 236             }
 237         }
 238
 239         if (cmd == LOCK_EXCL)
 240             ret = write_lock(lockfd, 0, SEEK_SET, 0);
 241         else
 242             ret = read_lock(lockfd, 0, SEEK_SET, 0);
 243
 244         if (ret != 0) {
 245             if (cmd == LOCK_SHRD)
 246                 LOG(log_error, logtype_cnid, "Volume CNID db is locked, try again...");
 247             return 0;
 248         }
 249
 250         LOG(log_debug, logtype_cnid, "get_lock: got %s lock",
 251             cmd == LOCK_EXCL ? "LOCK_EXCL" : "LOCK_SHRD");
 252         return cmd;
 253
 254     default:
 255         return -1;
 256     } /* switch(cmd) */
 257
 258     /* deadc0de, never get here */
 259     return -1;
 260 }
 261
 262 /* --------------- */
 263 int dbif_stamp(DBD *dbd, void *buffer, int size)
 264 {
 265     struct stat st;
 266     int         rc,cwd;
 267
 268     if (size < 8)
 269         return -1;
 270
 271     /* Remember cwd */
 272     if ((cwd = open(".", O_RDONLY)) < 0) {
 273         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 274         return -1;
 275     }
 276
 277     /* chdir to db_envhome */
 278     if ((chdir(dbd->db_envhome)) != 0) {
 279         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 280         return -1;
 281     }
 282
 283     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
 284         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(errno));
 285         return -1;
 286     }
 287     memset(buffer, 0, size);
 288     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
 289
 290     if ((fchdir(cwd)) != 0) {
 291         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 292         return -1;
 293     }
 294
 295     return 0;
 296 }
 297
 298 /* --------------- */
 299 DBD *dbif_init(const char *envhome, const char *filename)
 300 {
 301     DBD *dbd;
 302
 303     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
 304         return NULL;
 305
 306     /* filename == NULL means in memory db */
 307     if (filename) {
 308         if (! envhome)
 309             return NULL;
 310
 311         dbd->db_envhome = strdup(envhome);
 312         if (NULL == dbd->db_envhome) {
 313             free(dbd);
 314             return NULL;
 315         }
 316
 317         dbd->db_filename = strdup(filename);
 318         if (NULL == dbd->db_filename) {
 319             free(dbd->db_envhome);
 320             free(dbd);
 321             return NULL;
 322         }
 323     }
 324
 325     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
 326     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
 327     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
 328
 329     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
 330     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
 331     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
 332
 333     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
 334     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
 335     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
 336
 337     return dbd;
 338 }
 339
 340 /*
 341    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
 342    breaks e.g. bdb logfile-rotation with relative pathnames.
 343    But still we use relative paths with upgrade_required() and the DB_ERRLOGFILE
 344    in order to avoid creating absolute paths by copying. Both have no problem with
 345    a relative path.
 346 */
 347 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
 348 {
 349     int ret;
 350
 351     /* Refuse to do anything if this is an old version of the CNID database */
 352     if (upgrade_required(dbd)) {
 353         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 354         return -1;
 355     }
 356
 357     if ((ret = db_env_create(&dbd->db_env, 0))) {
 358         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 359             db_strerror(ret));
 360         dbd->db_env = NULL;
 361         return -1;
 362     }
 363
 364     dbd->db_param = *dbp;
 365
 366     if ((dbif_openlog(dbd)) != 0)
 367         return -1;
 368
 369     if (dbenv_oflags & DB_RECOVER) {
 370
 371         LOG(log_debug, logtype_cnid, "Running recovery");
 372
 373         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
 374         /* Open the database for recovery using DB_PRIVATE option which is faster */
 375         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
 376             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 377                 db_strerror(ret));
 378             dbd->db_env->close(dbd->db_env, 0);
 379             dbd->db_env = NULL;
 380             return -1;
 381         }
 382         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
 383
 384         if (dbd->db_errlog != NULL)
 385             fflush(dbd->db_errlog);
 386
 387         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 388             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 389                 db_strerror(ret));
 390             dbd->db_env = NULL;
 391             return -1;
 392         }
 393         dbd->db_errlog = NULL;
 394
 395         if ((ret = db_env_create(&dbd->db_env, 0))) {
 396             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 397                 db_strerror(ret));
 398             dbd->db_env = NULL;
 399             return -1;
 400         }
 401
 402         if ((dbif_openlog(dbd)) != 0)
 403             return -1;
 404
 405         LOG(log_debug, logtype_cnid, "Finished recovery.");
 406     }
 407
 408     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
 409         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
 410             dbp->cachesize, db_strerror(ret));
 411         dbd->db_env->close(dbd->db_env, 0);
 412         dbd->db_env = NULL;
 413         return -1;
 414     }
 415
 416     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
 417         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 418             db_strerror(ret));
 419         dbd->db_env->close(dbd->db_env, 0);
 420         dbd->db_env = NULL;
 421         return -1;
 422     }
 423
 424     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
 425         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
 426             db_strerror(ret));
 427         dbd->db_env->close(dbd->db_env, 0);
 428         dbd->db_env = NULL;
 429         return -1;
 430     }
 431
 432     if (dbp->logfile_autoremove) {
 433         if ((dbif_logautorem(dbd)) != 0)
 434             return -1;
 435
 436 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
 437         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
 438             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
 439             db_strerror(ret));
 440             dbd->db_env->close(dbd->db_env, 0);
 441             dbd->db_env = NULL;
 442             return -1;
 443         }
 444 #else
 445         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
 446             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
 447                 db_strerror(ret));
 448             dbd->db_env->close(dbd->db_env, 0);
 449             dbd->db_env = NULL;
 450             return -1;
 451         }
 452 #endif
 453     }
 454
 455     return 0;
 456 }
 457
 458 /* --------------- */
 459 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
 460 {
 461     int ret, i, cwd;
 462     u_int32_t count;
 463     struct stat st;
 464     DB *upgrade_db;
 465
 466     /* Try to upgrade if it's a normal on-disk database */
 467     if (dbd->db_envhome) {
 468         /* Remember cwd */
 469         if ((cwd = open(".", O_RDONLY)) < 0) {
 470             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 471             return -1;
 472         }
 473
 474         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 475         if ((chdir(dbd->db_envhome)) != 0) {
 476             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 477             return -1;
 478         }
 479
 480         if ((stat(dbd->db_filename, &st)) == 0) {
 481             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
 482             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
 483                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
 484                 return -1;
 485             }
 486             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
 487                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
 488                 return -1;
 489             }
 490             if ((ret = upgrade_db->close(upgrade_db, 0))) {
 491                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
 492                 return -1;
 493             }
 494             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
 495                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
 496                 return -1;
 497             }
 498             LOG(log_debug, logtype_cnid, "Finished CNID database upgrade check");
 499         }
 500
 501         if ((fchdir(cwd)) != 0) {
 502             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 503             return -1;
 504         }
 505     }
 506
 507     /* Now open databases ... */
 508     for (i = 0; i != DBIF_DB_CNT; i++) {
 509         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
 510             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 511                 dbd->db_table[i].name, db_strerror(ret));
 512             return -1;
 513         }
 514
 515         if (dbd->db_table[i].flags) {
 516             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
 517                                                       dbd->db_table[i].flags))) {
 518                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 519                     dbd->db_table[i].name, db_strerror(ret));
 520                 return -1;
 521             }
 522         }
 523
 524         if ( ! dbd->db_env) {   /* In memory db */
 525             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
 526                                                           0,
 527                                                           dbp->cachesize,
 528                                                           4)) /* split in 4 memory chunks */
 529                 < 0)  {
 530                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
 531                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
 532                 return -1;
 533             }
 534         }
 535
 536         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
 537                                       dbd->db_txn,
 538                                       dbd->db_filename,
 539                                       dbd->db_table[i].name,
 540                                       dbd->db_table[i].type,
 541                                       dbd->db_table[i].openflags,
 542                                       0664) < 0) {
 543             LOG(log_error, logtype_cnid, "Cant open database");
 544             return -1;
 545         }
 546
 547         if (reindex && i > 0) {
 548             LOG(log_info, logtype_cnid, "Truncating CNID index.");
 549             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
 550                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 551                     dbd->db_table[i].name, db_strerror(ret));
 552                 return -1;
 553             }
 554         }
 555     }
 556
 557     /* TODO: Implement CNID DB versioning info on new databases. */
 558
 559     /* Associate the secondary with the primary. */
 560     if (reindex)
 561         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
 562     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
 563                                               dbd->db_txn,
 564                                               dbd->db_table[DBIF_IDX_DIDNAME].db,
 565                                               didname,
 566                                               (reindex) ? DB_CREATE : 0))
 567          != 0) {
 568         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 569         return -1;
 570     }
 571     if (reindex)
 572         LOG(log_info, logtype_cnid, "... done.");
 573
 574     if (reindex)
 575         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
 576     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db,
 577                                               dbd->db_txn,
 578                                               dbd->db_table[DBIF_IDX_DEVINO].db,
 579                                               devino,
 580                                               (reindex) ? DB_CREATE : 0))
 581         != 0) {
 582         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 583         return -1;
 584     }
 585     if (reindex)
 586         LOG(log_info, logtype_cnid, "... done.");
 587
 588     return 0;
 589 }
 590
 591 /* ------------------------ */
 592 static int dbif_closedb(DBD *dbd)
 593 {
 594     int i;
 595     int ret;
 596     int err = 0;
 597
 598     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 599         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
 600             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
 601             err++;
 602         }
 603     }
 604     if (err)
 605         return -1;
 606     return 0;
 607 }
 608
 609 /* ------------------------ */
 610 int dbif_close(DBD *dbd)
 611 {
 612     int ret;
 613     int err = 0;
 614
 615     if (dbif_closedb(dbd))
 616         err++;
 617
 618     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
 619         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 620         err++;
 621     }
 622     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
 623         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 624         err++;
 625     }
 626
 627     free(dbd->db_filename);
 628     free(dbd);
 629     dbd = NULL;
 630
 631     if (err)
 632         return -1;
 633     return 0;
 634 }
 635
 636 /*
 637    In order to support silent database upgrades:
 638    destroy env at cnid_dbd shutdown.
 639  */
 640 int dbif_prep_upgrade(const char *path)
 641 {
 642     int ret;
 643     DBD *dbd;
 644
 645     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
 646
 647     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
 648         return -1;
 649
 650     /* Get db_env handle */
 651     if ((ret = db_env_create(&dbd->db_env, 0))) {
 652         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
 653         dbd->db_env = NULL;
 654         return -1;
 655     }
 656
 657     if ((dbif_openlog(dbd)) != 0)
 658         return -1;
 659
 660     /* Open environment with recovery */
 661     if ((ret = dbd->db_env->open(dbd->db_env,
 662                                  dbd->db_envhome,
 663                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
 664                                  0))) {
 665         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 666             db_strerror(ret));
 667         dbd->db_env->close(dbd->db_env, 0);
 668         dbd->db_env = NULL;
 669         return -1;
 670     }
 671
 672     if (dbd->db_errlog != NULL)
 673         fflush(dbd->db_errlog);
 674
 675     /* Remove logfiles */
 676     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
 677          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
 678          return -1;
 679     }
 680
 681     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 682         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
 683         dbd->db_env = NULL;
 684         return -1;
 685     }
 686
 687     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
 688
 689     /* Get a new db_env handle and then remove environment */
 690     if ((ret = db_env_create(&dbd->db_env, 0))) {
 691         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
 692         dbd->db_env = NULL;
 693         return -1;
 694     }
 695     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
 696         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
 697         return -1;
 698     }
 699
 700     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
 701
 702     return 0;
 703 }
 704
 705 /*
 706  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
 707  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
 708  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
 709  *  the DB_NOOVERWRITE flag was specified and the key already exists.
 710  *
 711  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
 712  *  functions are not expected and therefore error conditions.
 713  */
 714
 715 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 716 {
 717     int ret;
 718
 719     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
 720                                      dbd->db_txn,
 721                                      key,
 722                                      val,
 723                                      flags);
 724
 725     if (ret == DB_NOTFOUND)
 726         return 0;
 727     if (ret) {
 728         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 729             dbd->db_table[dbi].name, db_strerror(ret));
 730         return -1;
 731     } else
 732         return 1;
 733 }
 734
 735 /* search by secondary return primary */
 736 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
 737 {
 738     int ret;
 739
 740     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
 741                                       dbd->db_txn,
 742                                       key,
 743                                       pkey,
 744                                       val,
 745                                       flags);
 746
 747     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
 748         return 0;
 749     }
 750     if (ret) {
 751         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 752             dbd->db_table[dbi].name, db_strerror(ret));
 753         return -1;
 754    } else
 755         return 1;
 756 }
 757
 758 /* -------------------------- */
 759 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 760 {
 761     int ret;
 762
 763     if (dbif_txn_begin(dbd) < 0) {
 764         LOG(log_error, logtype_cnid, "error setting key/value in %s", dbd->db_table[dbi].name);
 765         return -1;
 766     }
 767
 768     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
 769                                      dbd->db_txn,
 770                                      key,
 771                                      val,
 772                                      flags);
 773
 774
 775     if (ret) {
 776         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
 777             return 1;
 778         } else {
 779             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
 780                 dbd->db_table[dbi].name, db_strerror(ret));
 781             return -1;
 782         }
 783     } else
 784         return 0;
 785 }
 786
 787 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
 788 {
 789     int ret;
 790
 791     /* For cooperation with the dbd utility and its usage of a cursor */
 792     if (dbd->db_cur) {
 793         dbd->db_cur->close(dbd->db_cur);
 794         dbd->db_cur = NULL;
 795     }
 796
 797     if (dbif_txn_begin(dbd) < 0) {
 798         LOG(log_error, logtype_cnid, "error deleting key/value from %s", dbd->db_table[dbi].name);
 799         return -1;
 800     }
 801
 802     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
 803                                      dbd->db_txn,
 804                                      key,
 805                                      flags);
 806
 807     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD)
 808         return 0;
 809     if (ret) {
 810         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
 811             dbd->db_table[dbi].name, db_strerror(ret));
 812         return -1;
 813     } else
 814         return 1;
 815 }
 816
 817 int dbif_txn_begin(DBD *dbd)
 818 {
 819     int ret;
 820
 821     /* If we already have an active txn, just return */
 822     if (dbd->db_txn)
 823         return 0;
 824
 825     /* If our DBD has no env, just return (-> in memory db) */
 826     if (dbd->db_env == NULL)
 827         return 0;
 828
 829     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
 830
 831     if (ret) {
 832         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(ret));
 833         return -1;
 834     } else
 835         return 0;
 836 }
 837
 838 int dbif_txn_commit(DBD *dbd)
 839 {
 840     int ret;
 841
 842     if (! dbd->db_txn)
 843         return 0;
 844
 845     /* If our DBD has no env, just return (-> in memory db) */
 846     if (dbd->db_env == NULL)
 847         return 0;
 848
 849     ret = dbd->db_txn->commit(dbd->db_txn, 0);
 850     dbd->db_txn = NULL;
 851
 852     if (ret) {
 853         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(ret));
 854         return -1;
 855     } else
 856         return 1;
 857 }
 858
 859 int dbif_txn_abort(DBD *dbd)
 860 {
 861     int ret;
 862
 863     if (! dbd->db_txn)
 864         return 0;
 865
 866     /* If our DBD has no env, just return (-> in memory db) */
 867     if (dbd->db_env == NULL)
 868         return 0;
 869
 870     ret = dbd->db_txn->abort(dbd->db_txn);
 871     dbd->db_txn = NULL;
 872
 873     if (ret) {
 874         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(ret));
 875         return -1;
 876     } else
 877         return 0;
 878 }
 879
 880 /*
 881    ret = 1 -> commit txn if db_param.txn_frequency
 882    ret = 0 -> abort txn db_param.txn_frequency -> exit!
 883    anything else -> exit!
 884 */
 885 void dbif_txn_close(DBD *dbd, int ret)
 886 {
 887     if (ret == 0) {
 888         if (dbif_txn_abort(dbd) < 0) {
 889             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
 890             exit(EXIT_FAILURE);
 891         }
 892     } else if (ret == 1 || ret == 2) {
 893         ret = dbif_txn_commit(dbd);
 894         if (  ret < 0) {
 895             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
 896             exit(EXIT_FAILURE);
 897         }
 898     } else
 899        exit(EXIT_FAILURE);
 900 }
 901
 902 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
 903 {
 904     int ret;
 905     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
 906     if (ret) {
 907         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(ret));
 908         return -1;
 909     } else
 910         return 0;
 911 }
 912
 913 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
 914 {
 915     int ret;
 916     DB_BTREE_STAT *sp;
 917     DB *db = dbd->db_table[dbi].db;
 918
 919     ret = db->stat(db, NULL, &sp, 0);
 920
 921     if (ret) {
 922         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(ret));
 923         return -1;
 924     }
 925
 926     *count = sp->bt_ndata;
 927     free(sp);
 928
 929     return 0;
 930 }
 931
 932 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
 933 {
 934     DBT key, data;
 935     int rc;
 936
 937     memset(&key, 0, sizeof(key));
 938     memset(&data, 0, sizeof(data));
 939
 940     key.data = ROOTINFO_KEY;
 941     key.size = ROOTINFO_KEYLEN;
 942
 943     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
 944         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
 945         return -1;
 946     }
 947
 948     memset(&key, 0, sizeof(key));
 949     key.data = ROOTINFO_KEY;
 950     key.size = ROOTINFO_KEYLEN;
 951
 952     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
 953         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
 954         return -1;
 955     }
 956
 957     return 0;
 958 }
 959
 960 int dbif_dump(DBD *dbd, int dumpindexes)
 961 {
 962     int rc;
 963     uint32_t max = 0, count = 0, cnid, type, did, lastid;
 964     uint64_t dev, ino;
 965     time_t stamp;
 966     DBC *cur;
 967     DBT key = { 0 }, data = { 0 };
 968     DB *db = dbd->db_table[DBIF_CNID].db;
 969     char *typestring[2] = {"f", "d"};
 970     char timebuf[64];
 971
 972     printf("CNID database dump:\n");
 973
 974     rc = db->cursor(db, NULL, &cur, 0);
 975     if (rc) {
 976         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
 977         return -1;
 978     }
 979
 980     cur->c_get(cur, &key, &data, DB_FIRST);
 981     while (rc == 0) {
 982         /* Parse and print data */
 983         memcpy(&cnid, key.data, 4);
 984         cnid = ntohl(cnid);
 985         if (cnid > max)
 986             max = cnid;
 987
 988         /* Rootinfo node ? */
 989         if (cnid == 0) {
 990             memcpy(&stamp, (char *)data.data + 4, sizeof(time_t));
 991             memcpy(&lastid, (char *)data.data + 20, sizeof(cnid_t));
 992             lastid = ntohl(lastid);
 993             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
 994             printf("dbd stamp: 0x%08x (%s), next free CNID: %u\n", (unsigned int)stamp, timebuf, lastid + 1);
 995         } else {
 996             /* dev */
 997             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
 998             dev = ntoh64(dev);
 999             /* ino */
1000             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
1001             ino = ntoh64(ino);
1002             /* type */
1003             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
1004             type = ntohl(type);
1005             /* did */
1006             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
1007             did = ntohl(did);
1008
1009             count++;
1010             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n",
1011                    cnid, did, typestring[type],
1012                    (long long unsigned int)dev, (long long unsigned int)ino,
1013                    (char *)data.data + CNID_NAME_OFS);
1014
1015         }
1016
1017         rc = cur->c_get(cur, &key, &data, DB_NEXT);
1018     }
1019
1020     if (rc != DB_NOTFOUND) {
1021         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1022         return -1;
1023     }
1024
1025     rc = cur->c_close(cur);
1026     if (rc) {
1027         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1028         return -1;
1029     }
1030     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
1031
1032     /* Dump indexes too ? */
1033     if (dumpindexes) {
1034         /* DBIF_IDX_DEVINO */
1035         printf("\ndev/inode index:\n");
1036         count = 0;
1037         db = dbd->db_table[DBIF_IDX_DEVINO].db;
1038         rc = db->cursor(db, NULL, &cur, 0);
1039         if (rc) {
1040             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1041             return -1;
1042         }
1043
1044         cur->c_get(cur, &key, &data, DB_FIRST);
1045         while (rc == 0) {
1046             /* Parse and print data */
1047
1048             /* cnid */
1049             memcpy(&cnid, data.data, CNID_LEN);
1050             cnid = ntohl(cnid);
1051             if (cnid == 0) {
1052                 /* Rootinfo node */
1053             } else {
1054                 /* dev */
1055                 memcpy(&dev, key.data, CNID_DEV_LEN);
1056                 dev = ntoh64(dev);
1057                 /* ino */
1058                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
1059                 ino = ntoh64(ino);
1060
1061                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n",
1062                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
1063                 count++;
1064             }
1065             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1066         }
1067         if (rc != DB_NOTFOUND) {
1068             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1069             return -1;
1070         }
1071
1072         rc = cur->c_close(cur);
1073         if (rc) {
1074             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1075             return -1;
1076         }
1077         printf("%u items\n", count);
1078
1079         /* Now dump DBIF_IDX_DIDNAME */
1080         printf("\ndid/name index:\n");
1081         count = 0;
1082         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
1083         rc = db->cursor(db, NULL, &cur, 0);
1084         if (rc) {
1085             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1086             return -1;
1087         }
1088
1089         cur->c_get(cur, &key, &data, DB_FIRST);
1090         while (rc == 0) {
1091             /* Parse and print data */
1092
1093             /* cnid */
1094             memcpy(&cnid, data.data, CNID_LEN);
1095             cnid = ntohl(cnid);
1096             if (cnid == 0) {
1097                 /* Rootinfo node */
1098             } else {
1099                 /* did */
1100                 memcpy(&did, key.data, CNID_LEN);
1101                 did = ntohl(did);
1102
1103                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
1104                 count++;
1105             }
1106             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1107         }
1108         if (rc != DB_NOTFOUND) {
1109             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1110             return -1;
1111         }
1112
1113         rc = cur->c_close(cur);
1114         if (rc) {
1115             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1116             return -1;
1117         }
1118         printf("%u items\n", count);
1119     }
1120
1121     return 0;
1122 }
1123
1124 /*
1125    Iterates over dbd, returning cnids.
1126    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
1127    If close=1, close cursor.
1128    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
1129 */
1130 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
1131 {
1132     int rc;
1133     int flag;
1134     cnid_t id;
1135
1136     static DBT key = { 0 }, data = { 0 };
1137     DB *db = dbd->db_table[DBIF_CNID].db;
1138
1139     if (close) {
1140         if (dbd->db_cur) {
1141             dbd->db_cur->close(dbd->db_cur);
1142             dbd->db_cur = NULL;
1143         }
1144         return 0;
1145     }
1146
1147     /* An dbif_del will have closed our cursor too */
1148     if ( ! dbd->db_cur ) {
1149         if ((rc = db->cursor(db, NULL, &dbd->db_cur, 0)) != 0) {
1150             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1151             return -1;
1152         }
1153         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1154         id = htonl(*cnid);
1155         key.data = &id;
1156         key.size = sizeof(cnid_t);
1157     } else
1158         flag = DB_NEXT;
1159
1160     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1161         memcpy(cnid, key.data, sizeof(cnid_t));
1162         *cnid = ntohl(*cnid);
1163         return 1;
1164     }
1165
1166     if (rc != DB_NOTFOUND) {
1167         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1168         dbd->db_cur->close(dbd->db_cur);
1169         dbd->db_cur = NULL;
1170         return -1;
1171     }
1172
1173     if (dbd->db_cur) {
1174         dbd->db_cur->close(dbd->db_cur);
1175         dbd->db_cur = NULL;
1176     }
1177
1178     return 0;
1179 }