etc/cnid_dbd/dbif.c

   1 /*
   2  * $Id: dbif.c,v 1.19 2009-12-21 06:41:09 franklahm Exp $
   3  *
   4  * Copyright (C) Joerg Lenneis 2003
   5  * Copyright (C) Frank Lahm 2009
   6  * All Rights Reserved.  See COPYING.
   7  */
   8
   9 #ifdef HAVE_CONFIG_H
  10 #include "config.h"
  11 #endif /* HAVE_CONFIG_H */
  12
  13 #include <stdio.h>
  14 #include <errno.h>
  15 #include <stdlib.h>
  16 #ifdef HAVE_SYS_TYPES_H
  17 #include <sys/types.h>
  18 #endif /* HAVE_SYS_TYPES_H */
  19 #include <string.h>
  20 #include <sys/types.h>
  21 #include <sys/stat.h>
  22 #include <sys/cdefs.h>
  23 #include <unistd.h>
  24 #include <atalk/logger.h>
  25 #include <db.h>
  26 #include "db_param.h"
  27 #include "dbif.h"
  28 #include "pack.h"
  29
  30 #define DB_ERRLOGFILE "db_errlog"
  31
  32 static char *old_dbfiles[] = {"cnid.db", NULL};
  33
  34 /* --------------- */
  35 static int upgrade_required(void)
  36 {
  37     int i;
  38     int found = 0;
  39     struct stat st;
  40
  41     for (i = 0; old_dbfiles[i] != NULL; i++) {
  42         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
  43             found++;
  44             continue;
  45         }
  46         if (errno != ENOENT) {
  47             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
  48             found++;
  49         }
  50     }
  51     return found;
  52 }
  53
  54 /* --------------- */
  55 int dbif_stamp(DBD *dbd, void *buffer, int size)
  56 {
  57     struct stat st;
  58     int         rc,cwd;
  59
  60     if (size < 8)
  61         return -1;
  62
  63     /* Remember cwd */
  64     if ((cwd = open(".", O_RDONLY)) < 0) {
  65         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  66         return -1;
  67     }
  68
  69     /* chdir to db_envhome */
  70     if ((chdir(dbd->db_envhome)) != 0) {
  71         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  72         return -1;
  73     }
  74
  75     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
  76         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(rc));
  77         return -1;
  78     }
  79     memset(buffer, 0, size);
  80     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
  81
  82     if ((fchdir(cwd)) != 0) {
  83         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
  84         return -1;
  85     }
  86
  87     return 0;
  88 }
  89
  90 /* --------------- */
  91 DBD *dbif_init(const char *envhome, const char *filename)
  92 {
  93     DBD *dbd;
  94
  95     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
  96         return NULL;
  97
  98     /* filename == NULL means in memory db */
  99     if (filename) {
 100         if (! envhome)
 101             return NULL;
 102
 103         dbd->db_envhome = strdup(envhome);
 104         if (NULL == dbd->db_envhome) {
 105             free(dbd);
 106             return NULL;
 107         }
 108
 109         dbd->db_filename = strdup(filename);
 110         if (NULL == dbd->db_filename) {
 111             free(dbd->db_envhome);
 112             free(dbd);
 113             return NULL;
 114         }
 115     }
 116
 117     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
 118     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
 119     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
 120
 121     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
 122     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
 123     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
 124
 125     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
 126     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
 127     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
 128
 129     return dbd;
 130 }
 131
 132 /*
 133    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
 134    breaks e.g. bdb logfile-rotation with relative pathnames.
 135    But still we use relative paths with upgrade_required() and the DB_ERRLOGFILE
 136    in order to avoid creating absolute paths by copying. Both have no problem with
 137    a relative path.
 138 */
 139 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
 140 {
 141     int ret, cwd;
 142     char **logfiles = NULL;
 143     char **file;
 144
 145     /* Remember cwd */
 146     if ((cwd = open(".", O_RDONLY)) < 0) {
 147         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 148         return -1;
 149     }
 150
 151     /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 152     if ((chdir(dbd->db_envhome)) != 0) {
 153         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 154         return -1;
 155     }
 156
 157     /* Refuse to do anything if this is an old version of the CNID database */
 158     if (upgrade_required()) {
 159         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 160         return -1;
 161     }
 162
 163     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 164         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 165
 166     if ((fchdir(cwd)) != 0) {
 167         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 168         return -1;
 169     }
 170
 171     if ((ret = db_env_create(&dbd->db_env, 0))) {
 172         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 173             db_strerror(ret));
 174         dbd->db_env = NULL;
 175         return -1;
 176     }
 177
 178     if (dbd->db_errlog != NULL) {
 179         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 180         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 181     }
 182
 183     if (dbenv_oflags & DB_RECOVER) {
 184         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
 185         /* Open the database for recovery using DB_PRIVATE option which is faster */
 186         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
 187             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 188                 db_strerror(ret));
 189             dbd->db_env->close(dbd->db_env, 0);
 190             dbd->db_env = NULL;
 191             return -1;
 192         }
 193         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
 194
 195         if (dbd->db_errlog != NULL)
 196             fflush(dbd->db_errlog);
 197
 198         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 199             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 200                 db_strerror(ret));
 201             dbd->db_env = NULL;
 202             return -1;
 203         }
 204
 205         if ((ret = db_env_create(&dbd->db_env, 0))) {
 206             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 207                 db_strerror(ret));
 208             dbd->db_env = NULL;
 209             return -1;
 210         }
 211     }
 212
 213     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
 214         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
 215             dbp->cachesize, db_strerror(ret));
 216         dbd->db_env->close(dbd->db_env, 0);
 217         dbd->db_env = NULL;
 218         return -1;
 219     }
 220
 221     if (dbd->db_errlog != NULL) {
 222         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 223         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 224     }
 225     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
 226         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 227             db_strerror(ret));
 228         dbd->db_env->close(dbd->db_env, 0);
 229         dbd->db_env = NULL;
 230         return -1;
 231     }
 232
 233     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
 234         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
 235             db_strerror(ret));
 236         dbd->db_env->close(dbd->db_env, 0);
 237         dbd->db_env = NULL;
 238         return -1;
 239     }
 240
 241     if (dbp->logfile_autoremove) {
 242         if (dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) {
 243             LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 244                 db_strerror(ret));
 245             dbd->db_env->close(dbd->db_env, 0);
 246             dbd->db_env = NULL;
 247             return -1;
 248         }
 249         if (logfiles != NULL) {
 250             /* Remember cwd */
 251             if ((cwd = open(".", O_RDONLY)) < 0) {
 252                 LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 253                 goto logfiles_done;
 254             }
 255             /* chdir to db_envhome */
 256             if ((chdir(dbd->db_envhome)) != 0) {
 257                 LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 258                 goto logfiles_done;
 259             }
 260
 261             for (file = logfiles; *file != NULL; file++) {
 262                 if (unlink(*file) < 0)
 263                     LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 264             }
 265
 266             /* chdir back */
 267             if ((fchdir(cwd)) != 0) {
 268                 LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 269                 return -1;
 270             }
 271
 272         logfiles_done:
 273             free(logfiles);
 274         }
 275
 276 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
 277         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
 278             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
 279             db_strerror(ret));
 280             dbd->db_env->close(dbd->db_env, 0);
 281             dbd->db_env = NULL;
 282             return -1;
 283         }
 284 #else
 285         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
 286             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
 287                 db_strerror(ret));
 288             dbd->db_env->close(dbd->db_env, 0);
 289             dbd->db_env = NULL;
 290             return -1;
 291         }
 292 #endif
 293     }
 294
 295     return 0;
 296 }
 297
 298 /* --------------- */
 299 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
 300 {
 301     int ret, i, cwd;
 302     u_int32_t count;
 303     struct stat st;
 304     DB *upgrade_db;
 305
 306     /* Try to upgrade if it's a normal on-disk database */
 307     if (dbd->db_envhome) {
 308         /* Remember cwd */
 309         if ((cwd = open(".", O_RDONLY)) < 0) {
 310             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 311             return -1;
 312         }
 313
 314         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 315         if ((chdir(dbd->db_envhome)) != 0) {
 316             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 317             return -1;
 318         }
 319
 320         if ((stat(dbd->db_filename, &st)) == 0) {
 321             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
 322             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
 323                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
 324                 return -1;
 325             }
 326             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
 327                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
 328                 return -1;
 329             }
 330             if ((ret = upgrade_db->close(upgrade_db, 0))) {
 331                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
 332                 return -1;
 333             }
 334             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
 335                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
 336                 return -1;
 337             }
 338             LOG(log_debug, logtype_cnid, "Finished CNID database upgrade check");
 339         }
 340
 341         if ((fchdir(cwd)) != 0) {
 342             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 343             return -1;
 344         }
 345     }
 346
 347     /* Now open databases ... */
 348     for (i = 0; i != DBIF_DB_CNT; i++) {
 349         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
 350             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 351                 dbd->db_table[i].name, db_strerror(ret));
 352             return -1;
 353         }
 354
 355         if (dbd->db_table[i].flags) {
 356             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
 357                                                       dbd->db_table[i].flags))) {
 358                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 359                     dbd->db_table[i].name, db_strerror(ret));
 360                 return -1;
 361             }
 362         }
 363
 364         if ( ! dbd->db_env) {   /* In memory db */
 365             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
 366                                                           0,
 367                                                           dbp->cachesize,
 368                                                           4)) /* split in 4 memory chunks */
 369                 < 0)  {
 370                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
 371                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
 372                 return -1;
 373             }
 374         }
 375
 376         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
 377                                       dbd->db_txn,
 378                                       dbd->db_filename,
 379                                       dbd->db_table[i].name,
 380                                       dbd->db_table[i].type,
 381                                       dbd->db_table[i].openflags,
 382                                       0664) < 0) {
 383             LOG(log_error, logtype_cnid, "Cant open database");
 384             return -1;
 385         }
 386         if (dbd->db_errlog != NULL)
 387             dbd->db_table[i].db->set_errfile(dbd->db_table[i].db, dbd->db_errlog);
 388
 389         if (reindex && i > 0) {
 390             LOG(log_info, logtype_cnid, "Truncating CNID index.");
 391             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
 392                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 393                     dbd->db_table[i].name, db_strerror(ret));
 394                 return -1;
 395             }
 396         }
 397     }
 398
 399     /* TODO: Implement CNID DB versioning info on new databases. */
 400
 401     /* Associate the secondary with the primary. */
 402     if (reindex)
 403         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
 404     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
 405                                               dbd->db_txn,
 406                                               dbd->db_table[DBIF_IDX_DIDNAME].db,
 407                                               didname,
 408                                               (reindex) ? DB_CREATE : 0))
 409          != 0) {
 410         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 411         return -1;
 412     }
 413     if (reindex)
 414         LOG(log_info, logtype_cnid, "... done.");
 415
 416     if (reindex)
 417         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
 418     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db,
 419                                               dbd->db_txn,
 420                                               dbd->db_table[DBIF_IDX_DEVINO].db,
 421                                               devino,
 422                                               (reindex) ? DB_CREATE : 0))
 423         != 0) {
 424         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 425         return -1;
 426     }
 427     if (reindex)
 428         LOG(log_info, logtype_cnid, "... done.");
 429
 430     return 0;
 431 }
 432
 433 /* ------------------------ */
 434 static int dbif_closedb(DBD *dbd)
 435 {
 436     int i;
 437     int ret;
 438     int err = 0;
 439
 440     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 441         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
 442             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
 443             err++;
 444         }
 445     }
 446     if (err)
 447         return -1;
 448     return 0;
 449 }
 450
 451 /* ------------------------ */
 452 int dbif_close(DBD *dbd)
 453 {
 454     int ret;
 455     int err = 0;
 456
 457     if (dbif_closedb(dbd))
 458         err++;
 459
 460     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
 461         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 462         err++;
 463     }
 464     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
 465         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 466         err++;
 467     }
 468
 469     free(dbd->db_filename);
 470     free(dbd);
 471     dbd = NULL;
 472
 473     if (err)
 474         return -1;
 475     return 0;
 476 }
 477
 478 /*
 479    In order to support silent database upgrades:
 480    destroy env at cnid_dbd shutdown.
 481  */
 482 int dbif_prep_upgrade(const char *path)
 483 {
 484     int cwd, ret;
 485     DBD *dbd;
 486
 487     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
 488
 489     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
 490         return -1;
 491
 492     /* Remember cwd */
 493     if ((cwd = open(".", O_RDONLY)) < 0) {
 494         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 495         return -1;
 496     }
 497
 498     /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 499     if ((chdir(dbd->db_envhome)) != 0) {
 500         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 501         return -1;
 502     }
 503
 504     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 505         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 506
 507     if ((fchdir(cwd)) != 0) {
 508         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 509         return -1;
 510     }
 511
 512     /* Get db_env handle */
 513     if ((ret = db_env_create(&dbd->db_env, 0))) {
 514         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
 515         dbd->db_env = NULL;
 516         return -1;
 517     }
 518
 519     /* Set logfile */
 520     if (dbd->db_errlog != NULL) {
 521         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 522         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 523         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
 524     }
 525
 526     /* Open environment with recovery */
 527     if ((ret = dbd->db_env->open(dbd->db_env,
 528                                  dbd->db_envhome,
 529                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
 530                                  0))) {
 531         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 532             db_strerror(ret));
 533         dbd->db_env->close(dbd->db_env, 0);
 534         dbd->db_env = NULL;
 535         return -1;
 536     }
 537
 538     if (dbd->db_errlog != NULL)
 539         fflush(dbd->db_errlog);
 540
 541     /* Remove logfiles */
 542     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
 543          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
 544          return -1;
 545     }
 546
 547     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 548         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
 549         dbd->db_env = NULL;
 550         return -1;
 551     }
 552
 553     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
 554
 555     /* Get a new db_env handle and then remove environment */
 556     if ((ret = db_env_create(&dbd->db_env, 0))) {
 557         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
 558         dbd->db_env = NULL;
 559         return -1;
 560     }
 561     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
 562         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
 563         return -1;
 564     }
 565
 566     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
 567
 568     return 0;
 569 }
 570
 571 /*
 572  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
 573  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
 574  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
 575  *  the DB_NOOVERWRITE flag was specified and the key already exists.
 576  *
 577  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
 578  *  functions are not expected and therefore error conditions.
 579  */
 580
 581 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 582 {
 583     int ret;
 584
 585     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
 586                                      dbd->db_txn,
 587                                      key,
 588                                      val,
 589                                      flags);
 590
 591     if (ret == DB_NOTFOUND)
 592         return 0;
 593     if (ret) {
 594         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 595             dbd->db_table[dbi].name, db_strerror(errno));
 596         return -1;
 597     } else
 598         return 1;
 599 }
 600
 601 /* search by secondary return primary */
 602 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
 603 {
 604     int ret;
 605
 606     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
 607                                       dbd->db_txn,
 608                                       key,
 609                                       pkey,
 610                                       val,
 611                                       flags);
 612
 613     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
 614         return 0;
 615     }
 616     if (ret) {
 617         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 618             dbd->db_table[dbi].name, db_strerror(errno));
 619         return -1;
 620    } else
 621         return 1;
 622 }
 623
 624 /* -------------------------- */
 625 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 626 {
 627     int ret;
 628
 629     if (dbif_txn_begin(dbd) < 0) {
 630         LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
 631             dbd->db_table[dbi].name, db_strerror(errno));
 632         return -1;
 633     }
 634
 635     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
 636                                      dbd->db_txn,
 637                                      key,
 638                                      val,
 639                                      flags);
 640
 641     if (ret) {
 642         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
 643             return 1;
 644         } else {
 645             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
 646                 dbd->db_table[dbi].name, db_strerror(errno));
 647             return -1;
 648         }
 649     } else
 650         return 0;
 651 }
 652
 653 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
 654 {
 655     int ret;
 656
 657     /* For cooperation with the dbd utility and its usage of a cursor */
 658     if (dbd->db_cur) {
 659         dbd->db_cur->close(dbd->db_cur);
 660         dbd->db_cur = NULL;
 661     }
 662
 663     if (dbif_txn_begin(dbd) < 0) {
 664         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
 665             dbd->db_table[dbi].name, db_strerror(errno));
 666         return -1;
 667     }
 668
 669     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
 670                                      dbd->db_txn,
 671                                      key,
 672                                      flags);
 673
 674     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD)
 675         return 0;
 676     if (ret) {
 677         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
 678             dbd->db_table[dbi].name, db_strerror(errno));
 679         return -1;
 680     } else
 681         return 1;
 682 }
 683
 684 int dbif_txn_begin(DBD *dbd)
 685 {
 686     int ret;
 687
 688     /* If we already have an active txn, just return */
 689     if (dbd->db_txn)
 690         return 0;
 691
 692     /* If our DBD has no env, just return (-> in memory db) */
 693     if (dbd->db_env == NULL)
 694         return 0;
 695
 696     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
 697
 698     if (ret) {
 699         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(errno));
 700         return -1;
 701     } else
 702         return 0;
 703 }
 704
 705 int dbif_txn_commit(DBD *dbd)
 706 {
 707     int ret;
 708
 709     if (! dbd->db_txn)
 710         return 0;
 711
 712     /* If our DBD has no env, just return (-> in memory db) */
 713     if (dbd->db_env == NULL)
 714         return 0;
 715
 716     ret = dbd->db_txn->commit(dbd->db_txn, 0);
 717     dbd->db_txn = NULL;
 718
 719     if (ret) {
 720         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(errno));
 721         return -1;
 722     } else
 723         return 1;
 724 }
 725
 726 int dbif_txn_abort(DBD *dbd)
 727 {
 728     int ret;
 729
 730     if (! dbd->db_txn)
 731         return 0;
 732
 733     /* If our DBD has no env, just return (-> in memory db) */
 734     if (dbd->db_env == NULL)
 735         return 0;
 736
 737     ret = dbd->db_txn->abort(dbd->db_txn);
 738     dbd->db_txn = NULL;
 739
 740     if (ret) {
 741         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(errno));
 742         return -1;
 743     } else
 744         return 0;
 745 }
 746
 747 /*
 748    ret = 1 -> commit txn
 749    ret = 0 -> abort txn -> exit!
 750    anything else -> exit!
 751 */
 752 void dbif_txn_close(DBD *dbd, int ret)
 753 {
 754     if (ret == 0) {
 755         if (dbif_txn_abort(dbd) < 0) {
 756             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
 757             exit(EXIT_FAILURE);
 758         }
 759     } else if (ret == 1) {
 760         ret = dbif_txn_commit(dbd);
 761         if (  ret < 0) {
 762             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
 763             exit(EXIT_FAILURE);
 764         }
 765     } else
 766        exit(EXIT_FAILURE);
 767 }
 768
 769 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
 770 {
 771     int ret;
 772     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
 773     if (ret) {
 774         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(errno));
 775         return -1;
 776     } else
 777         return 0;
 778 }
 779
 780 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
 781 {
 782     int ret;
 783     DB_BTREE_STAT *sp;
 784     DB *db = dbd->db_table[dbi].db;
 785
 786     ret = db->stat(db, NULL, &sp, 0);
 787
 788     if (ret) {
 789         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(errno));
 790         return -1;
 791     }
 792
 793     *count = sp->bt_ndata;
 794     free(sp);
 795
 796     return 0;
 797 }
 798
 799 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
 800 {
 801     DBT key, data;
 802     int rc;
 803
 804     memset(&key, 0, sizeof(key));
 805     memset(&data, 0, sizeof(data));
 806
 807     key.data = ROOTINFO_KEY;
 808     key.size = ROOTINFO_KEYLEN;
 809
 810     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
 811         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
 812         return -1;
 813     }
 814
 815     memset(&key, 0, sizeof(key));
 816     key.data = ROOTINFO_KEY;
 817     key.size = ROOTINFO_KEYLEN;
 818
 819     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
 820         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
 821         return -1;
 822     }
 823
 824     return 0;
 825 }
 826
 827 int dbif_dump(DBD *dbd, int dumpindexes)
 828 {
 829     int rc;
 830     uint32_t max = 0, count = 0, cnid, type, did, lastid;
 831     uint64_t dev, ino;
 832     time_t stamp;
 833     DBC *cur;
 834     DBT key = { 0 }, data = { 0 };
 835     DB *db = dbd->db_table[DBIF_CNID].db;
 836     char *typestring[2] = {"f", "d"};
 837     char timebuf[64];
 838
 839     printf("CNID database dump:\n");
 840
 841     rc = db->cursor(db, NULL, &cur, 0);
 842     if (rc) {
 843         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(errno));
 844         return -1;
 845     }
 846
 847     cur->c_get(cur, &key, &data, DB_FIRST);
 848     while (rc == 0) {
 849         /* Parse and print data */
 850         memcpy(&cnid, key.data, 4);
 851         cnid = ntohl(cnid);
 852         if (cnid > max)
 853             max = cnid;
 854
 855         /* Rootinfo node ? */
 856         if (cnid == 0) {
 857             memcpy(&stamp, (char *)data.data + 4, sizeof(time_t));
 858             memcpy(&lastid, (char *)data.data + 20, sizeof(cnid_t));
 859             lastid = ntohl(lastid);
 860             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
 861             printf("dbd stamp: 0x%08x (%s), next free CNID: %u\n", (unsigned int)stamp, timebuf, lastid + 1);
 862         } else {
 863             /* dev */
 864             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
 865             dev = ntoh64(dev);
 866             /* ino */
 867             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
 868             ino = ntoh64(ino);
 869             /* type */
 870             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
 871             type = ntohl(type);
 872             /* did */
 873             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
 874             did = ntohl(did);
 875
 876             count++;
 877             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n",
 878                    cnid, did, typestring[type],
 879                    (long long unsigned int)dev, (long long unsigned int)ino,
 880                    (char *)data.data + CNID_NAME_OFS);
 881
 882         }
 883
 884         rc = cur->c_get(cur, &key, &data, DB_NEXT);
 885     }
 886
 887     if (rc != DB_NOTFOUND) {
 888         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(errno));
 889         return -1;
 890     }
 891
 892     rc = cur->c_close(cur);
 893     if (rc) {
 894         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(errno));
 895         return -1;
 896     }
 897     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
 898
 899     /* Dump indexes too ? */
 900     if (dumpindexes) {
 901         /* DBIF_IDX_DEVINO */
 902         printf("\ndev/inode index:\n");
 903         count = 0;
 904         db = dbd->db_table[DBIF_IDX_DEVINO].db;
 905         rc = db->cursor(db, NULL, &cur, 0);
 906         if (rc) {
 907             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(errno));
 908             return -1;
 909         }
 910
 911         cur->c_get(cur, &key, &data, DB_FIRST);
 912         while (rc == 0) {
 913             /* Parse and print data */
 914
 915             /* cnid */
 916             memcpy(&cnid, data.data, CNID_LEN);
 917             cnid = ntohl(cnid);
 918             if (cnid == 0) {
 919                 /* Rootinfo node */
 920             } else {
 921                 /* dev */
 922                 memcpy(&dev, key.data, CNID_DEV_LEN);
 923                 dev = ntoh64(dev);
 924                 /* ino */
 925                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
 926                 ino = ntoh64(ino);
 927
 928                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n",
 929                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
 930                 count++;
 931             }
 932             rc = cur->c_get(cur, &key, &data, DB_NEXT);
 933         }
 934         if (rc != DB_NOTFOUND) {
 935             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(errno));
 936             return -1;
 937         }
 938
 939         rc = cur->c_close(cur);
 940         if (rc) {
 941             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(errno));
 942             return -1;
 943         }
 944         printf("%u items\n", count);
 945
 946         /* Now dump DBIF_IDX_DIDNAME */
 947         printf("\ndid/name index:\n");
 948         count = 0;
 949         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
 950         rc = db->cursor(db, NULL, &cur, 0);
 951         if (rc) {
 952             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(errno));
 953             return -1;
 954         }
 955
 956         cur->c_get(cur, &key, &data, DB_FIRST);
 957         while (rc == 0) {
 958             /* Parse and print data */
 959
 960             /* cnid */
 961             memcpy(&cnid, data.data, CNID_LEN);
 962             cnid = ntohl(cnid);
 963             if (cnid == 0) {
 964                 /* Rootinfo node */
 965             } else {
 966                 /* did */
 967                 memcpy(&did, key.data, CNID_LEN);
 968                 did = ntohl(did);
 969
 970                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
 971                 count++;
 972             }
 973             rc = cur->c_get(cur, &key, &data, DB_NEXT);
 974         }
 975         if (rc != DB_NOTFOUND) {
 976             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(errno));
 977             return -1;
 978         }
 979
 980         rc = cur->c_close(cur);
 981         if (rc) {
 982             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(errno));
 983             return -1;
 984         }
 985         printf("%u items\n", count);
 986     }
 987
 988     return 0;
 989 }
 990
 991 /*
 992    Iterates over dbd, returning cnids.
 993    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
 994    If close=1, close cursor.
 995    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
 996 */
 997 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
 998 {
 999     int rc;
1000     int flag;
1001     cnid_t id;
1002
1003     static DBT key = { 0 }, data = { 0 };
1004     DB *db = dbd->db_table[DBIF_CNID].db;
1005
1006     if (close && dbd->db_cur) {
1007         dbd->db_cur->close(dbd->db_cur);
1008         dbd->db_cur = NULL;
1009         return 0;
1010     }
1011
1012     /* An dbif_del will have closed our cursor too */
1013     if ( ! dbd->db_cur ) {
1014         if (db->cursor(db, NULL, &dbd->db_cur, 0) != 0) {
1015             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(errno));
1016             return -1;
1017         }
1018         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1019         id = htonl(*cnid);
1020         key.data = &id;
1021         key.size = sizeof(cnid_t);
1022     } else
1023         flag = DB_NEXT;
1024
1025     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1026         memcpy(cnid, key.data, sizeof(cnid_t));
1027         *cnid = ntohl(*cnid);
1028         return 1;
1029     }
1030
1031     if (rc != DB_NOTFOUND) {
1032         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(errno));
1033         dbd->db_cur->close(dbd->db_cur);
1034         dbd->db_cur = NULL;
1035         return -1;
1036     }
1037
1038     if (dbd->db_cur) {
1039         dbd->db_cur->close(dbd->db_cur);
1040         dbd->db_cur = NULL;
1041     }
1042
1043     return 0;
1044 }