etc/cnid_dbd/dbif.c

   1 /*
   2  * Copyright (C) Joerg Lenneis 2003
   3  * Copyright (C) Frank Lahm 2009
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #include <stdio.h>
  12 #include <errno.h>
  13 #include <stdlib.h>
  14 #ifdef HAVE_SYS_TYPES_H
  15 #include <sys/types.h>
  16 #endif /* HAVE_SYS_TYPES_H */
  17 #include <string.h>
  18 #include <sys/types.h>
  19 #include <sys/stat.h>
  20 #include <sys/cdefs.h>
  21 #include <unistd.h>
  22 #include <atalk/logger.h>
  23 #include <db.h>
  24 #include "db_param.h"
  25 #include "dbif.h"
  26 #include "pack.h"
  27
  28 #define DB_ERRLOGFILE "db_errlog"
  29
  30 static char *old_dbfiles[] = {"cnid.db", NULL};
  31
  32 /* --------------- */
  33 static int upgrade_required(const DBD *dbd)
  34 {
  35     int i;
  36     int cwd = -1;
  37     int ret = 0;
  38     int found = 0;
  39     struct stat st;
  40
  41     if ( ! dbd->db_filename)
  42         /* in memory db */
  43         return 0;
  44
  45     /* Remember cwd */
  46     if ((cwd = open(".", O_RDONLY)) < 0) {
  47         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  48         return -1;
  49     }
  50
  51     /* chdir to db_envhome */
  52     if ((chdir(dbd->db_envhome)) != 0) {
  53         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  54         ret = -1;
  55         goto exit;
  56     }
  57
  58     for (i = 0; old_dbfiles[i] != NULL; i++) {
  59         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
  60             found++;
  61             continue;
  62         }
  63         if (errno != ENOENT) {
  64             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
  65             found++;
  66         }
  67     }
  68
  69 exit:
  70     if (cwd != -1) {
  71         if ((fchdir(cwd)) != 0) {
  72             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
  73             ret = -1;
  74         }
  75         close(cwd);
  76     }
  77     return (ret < 0 ? ret : found);
  78 }
  79
  80 /* --------------- */
  81 static int dbif_openlog(DBD *dbd)
  82 {
  83     int ret = 0;
  84     int cwd = -1;
  85
  86     if ( ! dbd->db_filename)
  87         /* in memory db */
  88         return 0;
  89
  90     /* Remember cwd */
  91     if ((cwd = open(".", O_RDONLY)) < 0) {
  92         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  93         return -1;
  94     }
  95
  96     /* chdir to db_envhome */
  97     if ((chdir(dbd->db_envhome)) != 0) {
  98         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  99         ret = -1;
 100         goto exit;
 101     }
 102
 103     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 104         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 105
 106     if (dbd->db_errlog != NULL) {
 107         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 108         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 109     }
 110
 111 exit:
 112     if (cwd != -1) {
 113         if ((fchdir(cwd)) != 0) {
 114             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 115             ret = -1;
 116         }
 117         close(cwd);
 118     }
 119     return ret;
 120 }
 121
 122 /* --------------- */
 123 static int dbif_logautorem(DBD *dbd)
 124 {
 125     int ret = 0;
 126     int cwd = -1;
 127     char **logfiles = NULL;
 128     char **file;
 129
 130     if ( ! dbd->db_filename)
 131         /* in memory db */
 132         return 0;
 133
 134     /* Remember cwd */
 135     if ((cwd = open(".", O_RDONLY)) < 0) {
 136         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 137         return -1;
 138     }
 139
 140     /* chdir to db_envhome */
 141     if ((chdir(dbd->db_envhome)) != 0) {
 142         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 143         ret = -1;
 144         goto exit;
 145     }
 146
 147     if ((ret = dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) != 0) {
 148         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 149             db_strerror(ret));
 150         dbd->db_env->close(dbd->db_env, 0);
 151         dbd->db_env = NULL;
 152         ret = -1;
 153         goto exit;
 154     }
 155
 156     if (logfiles != NULL) {
 157         for (file = logfiles; *file != NULL; file++) {
 158             if (unlink(*file) < 0)
 159                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 160         }
 161         free(logfiles);
 162     }
 163
 164 exit:
 165     if (cwd != -1) {
 166         if ((fchdir(cwd)) != 0) {
 167             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 168             ret = -1;
 169         }
 170         close(cwd);
 171     }
 172     return ret;
 173 }
 174
 175 /* --------------- */
 176 int dbif_stamp(DBD *dbd, void *buffer, int size)
 177 {
 178     struct stat st;
 179     int         rc,cwd;
 180
 181     if (size < 8)
 182         return -1;
 183
 184     /* Remember cwd */
 185     if ((cwd = open(".", O_RDONLY)) < 0) {
 186         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 187         return -1;
 188     }
 189
 190     /* chdir to db_envhome */
 191     if ((chdir(dbd->db_envhome)) != 0) {
 192         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 193         return -1;
 194     }
 195
 196     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
 197         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(errno));
 198         return -1;
 199     }
 200     memset(buffer, 0, size);
 201     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
 202
 203     if ((fchdir(cwd)) != 0) {
 204         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 205         return -1;
 206     }
 207
 208     return 0;
 209 }
 210
 211 /* --------------- */
 212 DBD *dbif_init(const char *envhome, const char *filename)
 213 {
 214     DBD *dbd;
 215
 216     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
 217         return NULL;
 218
 219     /* filename == NULL means in memory db */
 220     if (filename) {
 221         if (! envhome)
 222             return NULL;
 223
 224         dbd->db_envhome = strdup(envhome);
 225         if (NULL == dbd->db_envhome) {
 226             free(dbd);
 227             return NULL;
 228         }
 229
 230         dbd->db_filename = strdup(filename);
 231         if (NULL == dbd->db_filename) {
 232             free(dbd->db_envhome);
 233             free(dbd);
 234             return NULL;
 235         }
 236     }
 237
 238     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
 239     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
 240     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
 241
 242     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
 243     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
 244     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
 245
 246     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
 247     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
 248     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
 249
 250     return dbd;
 251 }
 252
 253 /*
 254    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
 255    breaks e.g. bdb logfile-rotation with relative pathnames.
 256    But still we use relative paths with upgrade_required() and the DB_ERRLOGFILE
 257    in order to avoid creating absolute paths by copying. Both have no problem with
 258    a relative path.
 259 */
 260 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
 261 {
 262     int ret;
 263
 264     /* Refuse to do anything if this is an old version of the CNID database */
 265     if (upgrade_required(dbd)) {
 266         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 267         return -1;
 268     }
 269
 270     if ((ret = db_env_create(&dbd->db_env, 0))) {
 271         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 272             db_strerror(ret));
 273         dbd->db_env = NULL;
 274         return -1;
 275     }
 276
 277     if ((dbif_openlog(dbd)) != 0)
 278         return -1;
 279
 280     if (dbenv_oflags & DB_RECOVER) {
 281
 282         LOG(log_debug, logtype_cnid, "Running recovery");
 283
 284         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
 285         /* Open the database for recovery using DB_PRIVATE option which is faster */
 286         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
 287             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 288                 db_strerror(ret));
 289             dbd->db_env->close(dbd->db_env, 0);
 290             dbd->db_env = NULL;
 291             return -1;
 292         }
 293         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
 294
 295         if (dbd->db_errlog != NULL)
 296             fflush(dbd->db_errlog);
 297
 298         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 299             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 300                 db_strerror(ret));
 301             dbd->db_env = NULL;
 302             return -1;
 303         }
 304         dbd->db_errlog = NULL;
 305
 306         if ((ret = db_env_create(&dbd->db_env, 0))) {
 307             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 308                 db_strerror(ret));
 309             dbd->db_env = NULL;
 310             return -1;
 311         }
 312
 313         if ((dbif_openlog(dbd)) != 0)
 314             return -1;
 315
 316         LOG(log_debug, logtype_cnid, "Finished recovery.");
 317     }
 318
 319     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
 320         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
 321             dbp->cachesize, db_strerror(ret));
 322         dbd->db_env->close(dbd->db_env, 0);
 323         dbd->db_env = NULL;
 324         return -1;
 325     }
 326
 327     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
 328         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 329             db_strerror(ret));
 330         dbd->db_env->close(dbd->db_env, 0);
 331         dbd->db_env = NULL;
 332         return -1;
 333     }
 334
 335     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
 336         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
 337             db_strerror(ret));
 338         dbd->db_env->close(dbd->db_env, 0);
 339         dbd->db_env = NULL;
 340         return -1;
 341     }
 342
 343     if (dbp->logfile_autoremove) {
 344         if ((dbif_logautorem(dbd)) != 0)
 345             return -1;
 346
 347 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
 348         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
 349             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
 350             db_strerror(ret));
 351             dbd->db_env->close(dbd->db_env, 0);
 352             dbd->db_env = NULL;
 353             return -1;
 354         }
 355 #else
 356         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
 357             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
 358                 db_strerror(ret));
 359             dbd->db_env->close(dbd->db_env, 0);
 360             dbd->db_env = NULL;
 361             return -1;
 362         }
 363 #endif
 364     }
 365
 366     return 0;
 367 }
 368
 369 /* --------------- */
 370 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
 371 {
 372     int ret, i, cwd;
 373     u_int32_t count;
 374     struct stat st;
 375     DB *upgrade_db;
 376
 377     /* Try to upgrade if it's a normal on-disk database */
 378     if (dbd->db_envhome) {
 379         /* Remember cwd */
 380         if ((cwd = open(".", O_RDONLY)) < 0) {
 381             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 382             return -1;
 383         }
 384
 385         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 386         if ((chdir(dbd->db_envhome)) != 0) {
 387             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 388             return -1;
 389         }
 390
 391         if ((stat(dbd->db_filename, &st)) == 0) {
 392             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
 393             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
 394                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
 395                 return -1;
 396             }
 397             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
 398                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
 399                 return -1;
 400             }
 401             if ((ret = upgrade_db->close(upgrade_db, 0))) {
 402                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
 403                 return -1;
 404             }
 405             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
 406                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
 407                 return -1;
 408             }
 409             LOG(log_debug, logtype_cnid, "Finished CNID database upgrade check");
 410         }
 411
 412         if ((fchdir(cwd)) != 0) {
 413             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 414             return -1;
 415         }
 416     }
 417
 418     /* Now open databases ... */
 419     for (i = 0; i != DBIF_DB_CNT; i++) {
 420         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
 421             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 422                 dbd->db_table[i].name, db_strerror(ret));
 423             return -1;
 424         }
 425
 426         if (dbd->db_table[i].flags) {
 427             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
 428                                                       dbd->db_table[i].flags))) {
 429                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 430                     dbd->db_table[i].name, db_strerror(ret));
 431                 return -1;
 432             }
 433         }
 434
 435         if ( ! dbd->db_env) {   /* In memory db */
 436             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
 437                                                           0,
 438                                                           dbp->cachesize,
 439                                                           4)) /* split in 4 memory chunks */
 440                 < 0)  {
 441                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
 442                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
 443                 return -1;
 444             }
 445         }
 446
 447         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
 448                                       dbd->db_txn,
 449                                       dbd->db_filename,
 450                                       dbd->db_table[i].name,
 451                                       dbd->db_table[i].type,
 452                                       dbd->db_table[i].openflags,
 453                                       0664) < 0) {
 454             LOG(log_error, logtype_cnid, "Cant open database");
 455             return -1;
 456         }
 457
 458         if (reindex && i > 0) {
 459             LOG(log_info, logtype_cnid, "Truncating CNID index.");
 460             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
 461                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 462                     dbd->db_table[i].name, db_strerror(ret));
 463                 return -1;
 464             }
 465         }
 466     }
 467
 468     /* TODO: Implement CNID DB versioning info on new databases. */
 469
 470     /* Associate the secondary with the primary. */
 471     if (reindex)
 472         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
 473     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
 474                                               dbd->db_txn,
 475                                               dbd->db_table[DBIF_IDX_DIDNAME].db,
 476                                               didname,
 477                                               (reindex) ? DB_CREATE : 0))
 478          != 0) {
 479         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 480         return -1;
 481     }
 482     if (reindex)
 483         LOG(log_info, logtype_cnid, "... done.");
 484
 485     if (reindex)
 486         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
 487     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db,
 488                                               dbd->db_txn,
 489                                               dbd->db_table[DBIF_IDX_DEVINO].db,
 490                                               devino,
 491                                               (reindex) ? DB_CREATE : 0))
 492         != 0) {
 493         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 494         return -1;
 495     }
 496     if (reindex)
 497         LOG(log_info, logtype_cnid, "... done.");
 498
 499     return 0;
 500 }
 501
 502 /* ------------------------ */
 503 static int dbif_closedb(DBD *dbd)
 504 {
 505     int i;
 506     int ret;
 507     int err = 0;
 508
 509     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 510         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
 511             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
 512             err++;
 513         }
 514     }
 515     if (err)
 516         return -1;
 517     return 0;
 518 }
 519
 520 /* ------------------------ */
 521 int dbif_close(DBD *dbd)
 522 {
 523     int ret;
 524     int err = 0;
 525
 526     if (dbif_closedb(dbd))
 527         err++;
 528
 529     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
 530         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 531         err++;
 532     }
 533     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
 534         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 535         err++;
 536     }
 537
 538     free(dbd->db_filename);
 539     free(dbd);
 540     dbd = NULL;
 541
 542     if (err)
 543         return -1;
 544     return 0;
 545 }
 546
 547 /*
 548    In order to support silent database upgrades:
 549    destroy env at cnid_dbd shutdown.
 550  */
 551 int dbif_prep_upgrade(const char *path)
 552 {
 553     int ret;
 554     DBD *dbd;
 555
 556     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
 557
 558     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
 559         return -1;
 560
 561     /* Get db_env handle */
 562     if ((ret = db_env_create(&dbd->db_env, 0))) {
 563         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
 564         dbd->db_env = NULL;
 565         return -1;
 566     }
 567
 568     if ((dbif_openlog(dbd)) != 0)
 569         return -1;
 570
 571     /* Open environment with recovery */
 572     if ((ret = dbd->db_env->open(dbd->db_env,
 573                                  dbd->db_envhome,
 574                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
 575                                  0))) {
 576         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 577             db_strerror(ret));
 578         dbd->db_env->close(dbd->db_env, 0);
 579         dbd->db_env = NULL;
 580         return -1;
 581     }
 582
 583     if (dbd->db_errlog != NULL)
 584         fflush(dbd->db_errlog);
 585
 586     /* Remove logfiles */
 587     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
 588          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
 589          return -1;
 590     }
 591
 592     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 593         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
 594         dbd->db_env = NULL;
 595         return -1;
 596     }
 597
 598     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
 599
 600     /* Get a new db_env handle and then remove environment */
 601     if ((ret = db_env_create(&dbd->db_env, 0))) {
 602         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
 603         dbd->db_env = NULL;
 604         return -1;
 605     }
 606     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
 607         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
 608         return -1;
 609     }
 610
 611     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
 612
 613     return 0;
 614 }
 615
 616 /*
 617  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
 618  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
 619  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
 620  *  the DB_NOOVERWRITE flag was specified and the key already exists.
 621  *
 622  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
 623  *  functions are not expected and therefore error conditions.
 624  */
 625
 626 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 627 {
 628     int ret;
 629
 630     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
 631                                      dbd->db_txn,
 632                                      key,
 633                                      val,
 634                                      flags);
 635
 636     if (ret == DB_NOTFOUND)
 637         return 0;
 638     if (ret) {
 639         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 640             dbd->db_table[dbi].name, db_strerror(ret));
 641         return -1;
 642     } else
 643         return 1;
 644 }
 645
 646 /* search by secondary return primary */
 647 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
 648 {
 649     int ret;
 650
 651     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
 652                                       dbd->db_txn,
 653                                       key,
 654                                       pkey,
 655                                       val,
 656                                       flags);
 657
 658     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
 659         return 0;
 660     }
 661     if (ret) {
 662         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 663             dbd->db_table[dbi].name, db_strerror(ret));
 664         return -1;
 665    } else
 666         return 1;
 667 }
 668
 669 /* -------------------------- */
 670 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 671 {
 672     int ret;
 673
 674     if (dbif_txn_begin(dbd) < 0) {
 675         LOG(log_error, logtype_cnid, "error setting key/value in %s", dbd->db_table[dbi].name);
 676         return -1;
 677     }
 678
 679     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
 680                                      dbd->db_txn,
 681                                      key,
 682                                      val,
 683                                      flags);
 684
 685
 686     if (ret) {
 687         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
 688             return 1;
 689         } else {
 690             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
 691                 dbd->db_table[dbi].name, db_strerror(ret));
 692             return -1;
 693         }
 694     } else
 695         return 0;
 696 }
 697
 698 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
 699 {
 700     int ret;
 701
 702     /* For cooperation with the dbd utility and its usage of a cursor */
 703     if (dbd->db_cur) {
 704         dbd->db_cur->close(dbd->db_cur);
 705         dbd->db_cur = NULL;
 706     }
 707
 708     if (dbif_txn_begin(dbd) < 0) {
 709         LOG(log_error, logtype_cnid, "error deleting key/value from %s", dbd->db_table[dbi].name);
 710         return -1;
 711     }
 712
 713     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
 714                                      dbd->db_txn,
 715                                      key,
 716                                      flags);
 717
 718     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD)
 719         return 0;
 720     if (ret) {
 721         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
 722             dbd->db_table[dbi].name, db_strerror(ret));
 723         return -1;
 724     } else
 725         return 1;
 726 }
 727
 728 int dbif_txn_begin(DBD *dbd)
 729 {
 730     int ret;
 731
 732     /* If we already have an active txn, just return */
 733     if (dbd->db_txn)
 734         return 0;
 735
 736     /* If our DBD has no env, just return (-> in memory db) */
 737     if (dbd->db_env == NULL)
 738         return 0;
 739
 740     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
 741
 742     if (ret) {
 743         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(ret));
 744         return -1;
 745     } else
 746         return 0;
 747 }
 748
 749 int dbif_txn_commit(DBD *dbd)
 750 {
 751     int ret;
 752
 753     if (! dbd->db_txn)
 754         return 0;
 755
 756     /* If our DBD has no env, just return (-> in memory db) */
 757     if (dbd->db_env == NULL)
 758         return 0;
 759
 760     ret = dbd->db_txn->commit(dbd->db_txn, 0);
 761     dbd->db_txn = NULL;
 762
 763     if (ret) {
 764         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(ret));
 765         return -1;
 766     } else
 767         return 1;
 768 }
 769
 770 int dbif_txn_abort(DBD *dbd)
 771 {
 772     int ret;
 773
 774     if (! dbd->db_txn)
 775         return 0;
 776
 777     /* If our DBD has no env, just return (-> in memory db) */
 778     if (dbd->db_env == NULL)
 779         return 0;
 780
 781     ret = dbd->db_txn->abort(dbd->db_txn);
 782     dbd->db_txn = NULL;
 783
 784     if (ret) {
 785         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(ret));
 786         return -1;
 787     } else
 788         return 0;
 789 }
 790
 791 /*
 792    ret = 1 -> commit txn
 793    ret = 0 -> abort txn -> exit!
 794    anything else -> exit!
 795 */
 796 void dbif_txn_close(DBD *dbd, int ret)
 797 {
 798     if (ret == 0) {
 799         if (dbif_txn_abort(dbd) < 0) {
 800             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
 801             exit(EXIT_FAILURE);
 802         }
 803     } else if (ret == 1) {
 804         ret = dbif_txn_commit(dbd);
 805         if (  ret < 0) {
 806             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
 807             exit(EXIT_FAILURE);
 808         }
 809     } else
 810        exit(EXIT_FAILURE);
 811 }
 812
 813 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
 814 {
 815     int ret;
 816     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
 817     if (ret) {
 818         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(ret));
 819         return -1;
 820     } else
 821         return 0;
 822 }
 823
 824 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
 825 {
 826     int ret;
 827     DB_BTREE_STAT *sp;
 828     DB *db = dbd->db_table[dbi].db;
 829
 830     ret = db->stat(db, NULL, &sp, 0);
 831
 832     if (ret) {
 833         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(ret));
 834         return -1;
 835     }
 836
 837     *count = sp->bt_ndata;
 838     free(sp);
 839
 840     return 0;
 841 }
 842
 843 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
 844 {
 845     DBT key, data;
 846     int rc;
 847
 848     memset(&key, 0, sizeof(key));
 849     memset(&data, 0, sizeof(data));
 850
 851     key.data = ROOTINFO_KEY;
 852     key.size = ROOTINFO_KEYLEN;
 853
 854     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
 855         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
 856         return -1;
 857     }
 858
 859     memset(&key, 0, sizeof(key));
 860     key.data = ROOTINFO_KEY;
 861     key.size = ROOTINFO_KEYLEN;
 862
 863     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
 864         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
 865         return -1;
 866     }
 867
 868     return 0;
 869 }
 870
 871 int dbif_dump(DBD *dbd, int dumpindexes)
 872 {
 873     int rc;
 874     uint32_t max = 0, count = 0, cnid, type, did, lastid;
 875     uint64_t dev, ino;
 876     time_t stamp;
 877     DBC *cur;
 878     DBT key = { 0 }, data = { 0 };
 879     DB *db = dbd->db_table[DBIF_CNID].db;
 880     char *typestring[2] = {"f", "d"};
 881     char timebuf[64];
 882
 883     printf("CNID database dump:\n");
 884
 885     rc = db->cursor(db, NULL, &cur, 0);
 886     if (rc) {
 887         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
 888         return -1;
 889     }
 890
 891     cur->c_get(cur, &key, &data, DB_FIRST);
 892     while (rc == 0) {
 893         /* Parse and print data */
 894         memcpy(&cnid, key.data, 4);
 895         cnid = ntohl(cnid);
 896         if (cnid > max)
 897             max = cnid;
 898
 899         /* Rootinfo node ? */
 900         if (cnid == 0) {
 901             memcpy(&stamp, (char *)data.data + 4, sizeof(time_t));
 902             memcpy(&lastid, (char *)data.data + 20, sizeof(cnid_t));
 903             lastid = ntohl(lastid);
 904             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
 905             printf("dbd stamp: 0x%08x (%s), next free CNID: %u\n", (unsigned int)stamp, timebuf, lastid + 1);
 906         } else {
 907             /* dev */
 908             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
 909             dev = ntoh64(dev);
 910             /* ino */
 911             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
 912             ino = ntoh64(ino);
 913             /* type */
 914             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
 915             type = ntohl(type);
 916             /* did */
 917             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
 918             did = ntohl(did);
 919
 920             count++;
 921             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n",
 922                    cnid, did, typestring[type],
 923                    (long long unsigned int)dev, (long long unsigned int)ino,
 924                    (char *)data.data + CNID_NAME_OFS);
 925
 926         }
 927
 928         rc = cur->c_get(cur, &key, &data, DB_NEXT);
 929     }
 930
 931     if (rc != DB_NOTFOUND) {
 932         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
 933         return -1;
 934     }
 935
 936     rc = cur->c_close(cur);
 937     if (rc) {
 938         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
 939         return -1;
 940     }
 941     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
 942
 943     /* Dump indexes too ? */
 944     if (dumpindexes) {
 945         /* DBIF_IDX_DEVINO */
 946         printf("\ndev/inode index:\n");
 947         count = 0;
 948         db = dbd->db_table[DBIF_IDX_DEVINO].db;
 949         rc = db->cursor(db, NULL, &cur, 0);
 950         if (rc) {
 951             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
 952             return -1;
 953         }
 954
 955         cur->c_get(cur, &key, &data, DB_FIRST);
 956         while (rc == 0) {
 957             /* Parse and print data */
 958
 959             /* cnid */
 960             memcpy(&cnid, data.data, CNID_LEN);
 961             cnid = ntohl(cnid);
 962             if (cnid == 0) {
 963                 /* Rootinfo node */
 964             } else {
 965                 /* dev */
 966                 memcpy(&dev, key.data, CNID_DEV_LEN);
 967                 dev = ntoh64(dev);
 968                 /* ino */
 969                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
 970                 ino = ntoh64(ino);
 971
 972                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n",
 973                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
 974                 count++;
 975             }
 976             rc = cur->c_get(cur, &key, &data, DB_NEXT);
 977         }
 978         if (rc != DB_NOTFOUND) {
 979             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
 980             return -1;
 981         }
 982
 983         rc = cur->c_close(cur);
 984         if (rc) {
 985             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
 986             return -1;
 987         }
 988         printf("%u items\n", count);
 989
 990         /* Now dump DBIF_IDX_DIDNAME */
 991         printf("\ndid/name index:\n");
 992         count = 0;
 993         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
 994         rc = db->cursor(db, NULL, &cur, 0);
 995         if (rc) {
 996             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
 997             return -1;
 998         }
 999
1000         cur->c_get(cur, &key, &data, DB_FIRST);
1001         while (rc == 0) {
1002             /* Parse and print data */
1003
1004             /* cnid */
1005             memcpy(&cnid, data.data, CNID_LEN);
1006             cnid = ntohl(cnid);
1007             if (cnid == 0) {
1008                 /* Rootinfo node */
1009             } else {
1010                 /* did */
1011                 memcpy(&did, key.data, CNID_LEN);
1012                 did = ntohl(did);
1013
1014                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
1015                 count++;
1016             }
1017             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1018         }
1019         if (rc != DB_NOTFOUND) {
1020             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1021             return -1;
1022         }
1023
1024         rc = cur->c_close(cur);
1025         if (rc) {
1026             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1027             return -1;
1028         }
1029         printf("%u items\n", count);
1030     }
1031
1032     return 0;
1033 }
1034
1035 /*
1036    Iterates over dbd, returning cnids.
1037    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
1038    If close=1, close cursor.
1039    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
1040 */
1041 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
1042 {
1043     int rc;
1044     int flag;
1045     cnid_t id;
1046
1047     static DBT key = { 0 }, data = { 0 };
1048     DB *db = dbd->db_table[DBIF_CNID].db;
1049
1050     if (close) {
1051         if (dbd->db_cur) {
1052             dbd->db_cur->close(dbd->db_cur);
1053             dbd->db_cur = NULL;
1054         }
1055         return 0;
1056     }
1057
1058     /* An dbif_del will have closed our cursor too */
1059     if ( ! dbd->db_cur ) {
1060         if ((rc = db->cursor(db, NULL, &dbd->db_cur, 0)) != 0) {
1061             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1062             return -1;
1063         }
1064         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1065         id = htonl(*cnid);
1066         key.data = &id;
1067         key.size = sizeof(cnid_t);
1068     } else
1069         flag = DB_NEXT;
1070
1071     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1072         memcpy(cnid, key.data, sizeof(cnid_t));
1073         *cnid = ntohl(*cnid);
1074         return 1;
1075     }
1076
1077     if (rc != DB_NOTFOUND) {
1078         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1079         dbd->db_cur->close(dbd->db_cur);
1080         dbd->db_cur = NULL;
1081         return -1;
1082     }
1083
1084     if (dbd->db_cur) {
1085         dbd->db_cur->close(dbd->db_cur);
1086         dbd->db_cur = NULL;
1087     }
1088
1089     return 0;
1090 }