etc/cnid_dbd/dbif.c

   1 /*
   2  * Copyright (C) Joerg Lenneis 2003
   3  * Copyright (C) Frank Lahm 2009
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #include <stdio.h>
  12 #include <errno.h>
  13 #include <stdlib.h>
  14 #ifdef HAVE_SYS_TYPES_H
  15 #include <sys/types.h>
  16 #endif /* HAVE_SYS_TYPES_H */
  17 #include <string.h>
  18 #include <sys/types.h>
  19 #include <sys/stat.h>
  20 #include <sys/cdefs.h>
  21 #include <unistd.h>
  22 #include <atalk/logger.h>
  23 #include <db.h>
  24 #include "db_param.h"
  25 #include "dbif.h"
  26 #include "pack.h"
  27
  28 #define DB_ERRLOGFILE "db_errlog"
  29
  30 static char *old_dbfiles[] = {"cnid.db", NULL};
  31
  32 /* --------------- */
  33 static int upgrade_required(const DBD *dbd)
  34 {
  35     int i;
  36     int cwd = -1;
  37     int ret = 0;
  38     int found = 0;
  39     struct stat st;
  40
  41     if ( ! dbd->db_filename)
  42         /* in memory db */
  43         return 0;
  44
  45     /* Remember cwd */
  46     if ((cwd = open(".", O_RDONLY)) < 0) {
  47         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  48         return -1;
  49     }
  50
  51     /* chdir to db_envhome */
  52     if ((chdir(dbd->db_envhome)) != 0) {
  53         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  54         ret = -1;
  55         goto exit;
  56     }
  57
  58     for (i = 0; old_dbfiles[i] != NULL; i++) {
  59         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
  60             found++;
  61             continue;
  62         }
  63         if (errno != ENOENT) {
  64             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
  65             found++;
  66         }
  67     }
  68
  69 exit:
  70     if (cwd != -1) {
  71         if ((fchdir(cwd)) != 0) {
  72             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
  73             ret = -1;
  74         }
  75         close(cwd);
  76     }
  77     return (ret < 0 ? ret : found);
  78 }
  79
  80 /* --------------- */
  81 static int dbif_openlog(DBD *dbd)
  82 {
  83     int ret = 0;
  84     int cwd = -1;
  85
  86     if ( ! dbd->db_filename)
  87         /* in memory db */
  88         return 0;
  89
  90     /* Remember cwd */
  91     if ((cwd = open(".", O_RDONLY)) < 0) {
  92         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
  93         return -1;
  94     }
  95
  96     /* chdir to db_envhome */
  97     if ((chdir(dbd->db_envhome)) != 0) {
  98         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
  99         ret = -1;
 100         goto exit;
 101     }
 102
 103     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 104         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 105
 106     if (dbd->db_errlog != NULL) {
 107         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
 108         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
 109     }
 110
 111 exit:
 112     if (cwd != -1) {
 113         if ((fchdir(cwd)) != 0) {
 114             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 115             ret = -1;
 116         }
 117         close(cwd);
 118     }
 119     return ret;
 120 }
 121
 122 /* --------------- */
 123 static int dbif_logautorem(DBD *dbd)
 124 {
 125     int ret = 0;
 126     int cwd = -1;
 127     char **logfiles = NULL;
 128     char **file;
 129
 130     if ( ! dbd->db_filename)
 131         /* in memory db */
 132         return 0;
 133
 134     /* Remember cwd */
 135     if ((cwd = open(".", O_RDONLY)) < 0) {
 136         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 137         return -1;
 138     }
 139
 140     /* chdir to db_envhome */
 141     if ((chdir(dbd->db_envhome)) != 0) {
 142         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 143         ret = -1;
 144         goto exit;
 145     }
 146
 147     if ((ret = dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) != 0) {
 148         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 149             db_strerror(ret));
 150         dbd->db_env->close(dbd->db_env, 0);
 151         dbd->db_env = NULL;
 152         ret = -1;
 153         goto exit;
 154     }
 155
 156     if (logfiles != NULL) {
 157         for (file = logfiles; *file != NULL; file++) {
 158             if (unlink(*file) < 0)
 159                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 160         }
 161         free(logfiles);
 162     }
 163
 164 exit:
 165     if (cwd != -1) {
 166         if ((fchdir(cwd)) != 0) {
 167             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 168             ret = -1;
 169         }
 170         close(cwd);
 171     }
 172     return ret;
 173 }
 174
 175 /* --------------- */
 176 int dbif_stamp(DBD *dbd, void *buffer, int size)
 177 {
 178     struct stat st;
 179     int         rc,cwd;
 180
 181     if (size < 8)
 182         return -1;
 183
 184     /* Remember cwd */
 185     if ((cwd = open(".", O_RDONLY)) < 0) {
 186         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 187         return -1;
 188     }
 189
 190     /* chdir to db_envhome */
 191     if ((chdir(dbd->db_envhome)) != 0) {
 192         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 193         return -1;
 194     }
 195
 196     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
 197         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(errno));
 198         return -1;
 199     }
 200     memset(buffer, 0, size);
 201     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
 202
 203     if ((fchdir(cwd)) != 0) {
 204         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 205         return -1;
 206     }
 207
 208     return 0;
 209 }
 210
 211 /* --------------- */
 212 DBD *dbif_init(const char *envhome, const char *filename)
 213 {
 214     DBD *dbd;
 215
 216     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
 217         return NULL;
 218
 219     /* filename == NULL means in memory db */
 220     if (filename) {
 221         if (! envhome)
 222             return NULL;
 223
 224         dbd->db_envhome = strdup(envhome);
 225         if (NULL == dbd->db_envhome) {
 226             free(dbd);
 227             return NULL;
 228         }
 229
 230         dbd->db_filename = strdup(filename);
 231         if (NULL == dbd->db_filename) {
 232             free(dbd->db_envhome);
 233             free(dbd);
 234             return NULL;
 235         }
 236     }
 237
 238     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
 239     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
 240     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
 241     dbd->db_table[DBIF_IDX_NAME].name    = "name.db";
 242
 243     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
 244     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
 245     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
 246     dbd->db_table[DBIF_IDX_NAME].type    = DB_BTREE;
 247
 248     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
 249     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
 250     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
 251     dbd->db_table[DBIF_IDX_NAME].openflags    = DB_CREATE;
 252
 253     dbd->db_table[DBIF_IDX_NAME].flags = DB_DUPSORT;
 254
 255     return dbd;
 256 }
 257
 258 /*
 259    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
 260    breaks e.g. bdb logfile-rotation with relative pathnames.
 261    But still we use relative paths with upgrade_required() and the DB_ERRLOGFILE
 262    in order to avoid creating absolute paths by copying. Both have no problem with
 263    a relative path.
 264 */
 265 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
 266 {
 267     int ret;
 268
 269     /* Refuse to do anything if this is an old version of the CNID database */
 270     if (upgrade_required(dbd)) {
 271         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 272         return -1;
 273     }
 274
 275     if ((ret = db_env_create(&dbd->db_env, 0))) {
 276         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 277             db_strerror(ret));
 278         dbd->db_env = NULL;
 279         return -1;
 280     }
 281
 282     if ((dbif_openlog(dbd)) != 0)
 283         return -1;
 284
 285     if (dbenv_oflags & DB_RECOVER) {
 286
 287         LOG(log_debug, logtype_cnid, "Running recovery");
 288
 289         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
 290         /* Open the database for recovery using DB_PRIVATE option which is faster */
 291         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
 292             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 293                 db_strerror(ret));
 294             dbd->db_env->close(dbd->db_env, 0);
 295             dbd->db_env = NULL;
 296             return -1;
 297         }
 298         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
 299
 300         if (dbd->db_errlog != NULL)
 301             fflush(dbd->db_errlog);
 302
 303         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 304             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 305                 db_strerror(ret));
 306             dbd->db_env = NULL;
 307             return -1;
 308         }
 309         dbd->db_errlog = NULL;
 310
 311         if ((ret = db_env_create(&dbd->db_env, 0))) {
 312             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 313                 db_strerror(ret));
 314             dbd->db_env = NULL;
 315             return -1;
 316         }
 317
 318         if ((dbif_openlog(dbd)) != 0)
 319             return -1;
 320
 321         LOG(log_debug, logtype_cnid, "Finished recovery.");
 322     }
 323
 324     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
 325         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
 326             dbp->cachesize, db_strerror(ret));
 327         dbd->db_env->close(dbd->db_env, 0);
 328         dbd->db_env = NULL;
 329         return -1;
 330     }
 331
 332     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
 333         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 334             db_strerror(ret));
 335         dbd->db_env->close(dbd->db_env, 0);
 336         dbd->db_env = NULL;
 337         return -1;
 338     }
 339
 340     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
 341         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
 342             db_strerror(ret));
 343         dbd->db_env->close(dbd->db_env, 0);
 344         dbd->db_env = NULL;
 345         return -1;
 346     }
 347
 348     if (dbp->logfile_autoremove) {
 349         if ((dbif_logautorem(dbd)) != 0)
 350             return -1;
 351
 352 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
 353         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
 354             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
 355             db_strerror(ret));
 356             dbd->db_env->close(dbd->db_env, 0);
 357             dbd->db_env = NULL;
 358             return -1;
 359         }
 360 #else
 361         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
 362             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
 363                 db_strerror(ret));
 364             dbd->db_env->close(dbd->db_env, 0);
 365             dbd->db_env = NULL;
 366             return -1;
 367         }
 368 #endif
 369     }
 370
 371     return 0;
 372 }
 373
 374 /* --------------- */
 375 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
 376 {
 377     int ret, i, cwd;
 378     u_int32_t count;
 379     struct stat st;
 380     DB *upgrade_db;
 381
 382     /* Try to upgrade if it's a normal on-disk database */
 383     if (dbd->db_envhome) {
 384         /* Remember cwd */
 385         if ((cwd = open(".", O_RDONLY)) < 0) {
 386             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
 387             return -1;
 388         }
 389
 390         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
 391         if ((chdir(dbd->db_envhome)) != 0) {
 392             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));
 393             return -1;
 394         }
 395
 396         if ((stat(dbd->db_filename, &st)) == 0) {
 397             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
 398             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
 399                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
 400                 return -1;
 401             }
 402             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
 403                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
 404                 return -1;
 405             }
 406             if ((ret = upgrade_db->close(upgrade_db, 0))) {
 407                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
 408                 return -1;
 409             }
 410             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
 411                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
 412                 return -1;
 413             }
 414             LOG(log_debug, logtype_cnid, "Finished CNID database upgrade check");
 415         }
 416
 417         if ((fchdir(cwd)) != 0) {
 418             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));
 419             return -1;
 420         }
 421     }
 422
 423     /* Now open databases ... */
 424     for (i = 0; i != DBIF_DB_CNT; i++) {
 425         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
 426             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 427                 dbd->db_table[i].name, db_strerror(ret));
 428             return -1;
 429         }
 430
 431         if (dbd->db_table[i].flags) {
 432             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
 433                                                       dbd->db_table[i].flags))) {
 434                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 435                     dbd->db_table[i].name, db_strerror(ret));
 436                 return -1;
 437             }
 438         }
 439
 440         if ( ! dbd->db_env) {   /* In memory db */
 441             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
 442                                                           0,
 443                                                           dbp->cachesize,
 444                                                           4)) /* split in 4 memory chunks */
 445                 < 0)  {
 446                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
 447                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
 448                 return -1;
 449             }
 450         }
 451
 452         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
 453                                       dbd->db_txn,
 454                                       dbd->db_filename,
 455                                       dbd->db_table[i].name,
 456                                       dbd->db_table[i].type,
 457                                       dbd->db_table[i].openflags,
 458                                       0664) < 0) {
 459             LOG(log_error, logtype_cnid, "Cant open database");
 460             return -1;
 461         }
 462
 463         if (reindex && i > 0) {
 464             LOG(log_info, logtype_cnid, "Truncating CNID index.");
 465             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
 466                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 467                     dbd->db_table[i].name, db_strerror(ret));
 468                 return -1;
 469             }
 470         }
 471     }
 472
 473     /* TODO: Implement CNID DB versioning info on new databases. */
 474
 475     /* Associate the secondary with the primary. */
 476     if (reindex)
 477         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
 478     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
 479                                               dbd->db_txn,
 480                                               dbd->db_table[DBIF_IDX_DIDNAME].db,
 481                                               didname,
 482                                               (reindex) ? DB_CREATE : 0))
 483          != 0) {
 484         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 485         return -1;
 486     }
 487     if (reindex)
 488         LOG(log_info, logtype_cnid, "... done.");
 489
 490     if (reindex)
 491         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
 492     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db,
 493                                               dbd->db_txn,
 494                                               dbd->db_table[DBIF_IDX_DEVINO].db,
 495                                               devino,
 496                                               (reindex) ? DB_CREATE : 0))
 497         != 0) {
 498         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 499         return -1;
 500     }
 501     if (reindex)
 502         LOG(log_info, logtype_cnid, "... done.");
 503
 504     if (reindex)
 505         LOG(log_info, logtype_cnid, "Reindexing name index...");
 506     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db,
 507                                               dbd->db_txn,
 508                                               dbd->db_table[DBIF_IDX_NAME].db,
 509                                               idxname,
 510                                               DB_CREATE))
 511         != 0) {
 512         LOG(log_error, logtype_cnid, "Failed to associate name index: %s",db_strerror(ret));
 513         return -1;
 514     }
 515     if (reindex)
 516         LOG(log_info, logtype_cnid, "... done.");
 517
 518     return 0;
 519 }
 520
 521 /* ------------------------ */
 522 static int dbif_closedb(DBD *dbd)
 523 {
 524     int i;
 525     int ret;
 526     int err = 0;
 527
 528     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 529         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
 530             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
 531             err++;
 532         }
 533     }
 534     if (err)
 535         return -1;
 536     return 0;
 537 }
 538
 539 /* ------------------------ */
 540 int dbif_close(DBD *dbd)
 541 {
 542     int ret;
 543     int err = 0;
 544
 545     if (dbif_closedb(dbd))
 546         err++;
 547
 548     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
 549         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 550         err++;
 551     }
 552     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
 553         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 554         err++;
 555     }
 556
 557     free(dbd->db_filename);
 558     free(dbd);
 559     dbd = NULL;
 560
 561     if (err)
 562         return -1;
 563     return 0;
 564 }
 565
 566 /*
 567    In order to support silent database upgrades:
 568    destroy env at cnid_dbd shutdown.
 569  */
 570 int dbif_prep_upgrade(const char *path)
 571 {
 572     int ret;
 573     DBD *dbd;
 574
 575     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
 576
 577     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
 578         return -1;
 579
 580     /* Get db_env handle */
 581     if ((ret = db_env_create(&dbd->db_env, 0))) {
 582         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
 583         dbd->db_env = NULL;
 584         return -1;
 585     }
 586
 587     if ((dbif_openlog(dbd)) != 0)
 588         return -1;
 589
 590     /* Open environment with recovery */
 591     if ((ret = dbd->db_env->open(dbd->db_env,
 592                                  dbd->db_envhome,
 593                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
 594                                  0))) {
 595         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 596             db_strerror(ret));
 597         dbd->db_env->close(dbd->db_env, 0);
 598         dbd->db_env = NULL;
 599         return -1;
 600     }
 601
 602     if (dbd->db_errlog != NULL)
 603         fflush(dbd->db_errlog);
 604
 605     /* Remove logfiles */
 606     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
 607          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
 608          return -1;
 609     }
 610
 611     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
 612         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
 613         dbd->db_env = NULL;
 614         return -1;
 615     }
 616
 617     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
 618
 619     /* Get a new db_env handle and then remove environment */
 620     if ((ret = db_env_create(&dbd->db_env, 0))) {
 621         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
 622         dbd->db_env = NULL;
 623         return -1;
 624     }
 625     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
 626         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
 627         return -1;
 628     }
 629
 630     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
 631
 632     return 0;
 633 }
 634
 635 /*
 636  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
 637  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
 638  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
 639  *  the DB_NOOVERWRITE flag was specified and the key already exists.
 640  *
 641  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
 642  *  functions are not expected and therefore error conditions.
 643  */
 644
 645 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 646 {
 647     int ret;
 648
 649     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
 650                                      dbd->db_txn,
 651                                      key,
 652                                      val,
 653                                      flags);
 654
 655     if (ret == DB_NOTFOUND)
 656         return 0;
 657     if (ret) {
 658         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 659             dbd->db_table[dbi].name, db_strerror(ret));
 660         return -1;
 661     } else
 662         return 1;
 663 }
 664
 665 /* search by secondary return primary */
 666 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
 667 {
 668     int ret;
 669
 670     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
 671                                       dbd->db_txn,
 672                                       key,
 673                                       pkey,
 674                                       val,
 675                                       flags);
 676
 677     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
 678         return 0;
 679     }
 680     if (ret) {
 681         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
 682             dbd->db_table[dbi].name, db_strerror(ret));
 683         return -1;
 684    } else
 685         return 1;
 686 }
 687
 688 /* -------------------------- */
 689 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
 690 {
 691     int ret;
 692
 693     if (dbif_txn_begin(dbd) < 0) {
 694         LOG(log_error, logtype_cnid, "error setting key/value in %s", dbd->db_table[dbi].name);
 695         return -1;
 696     }
 697
 698     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
 699                                      dbd->db_txn,
 700                                      key,
 701                                      val,
 702                                      flags);
 703
 704
 705     if (ret) {
 706         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
 707             return 1;
 708         } else {
 709             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
 710                 dbd->db_table[dbi].name, db_strerror(ret));
 711             return -1;
 712         }
 713     } else
 714         return 0;
 715 }
 716
 717 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
 718 {
 719     int ret;
 720
 721     /* For cooperation with the dbd utility and its usage of a cursor */
 722     if (dbd->db_cur) {
 723         dbd->db_cur->close(dbd->db_cur);
 724         dbd->db_cur = NULL;
 725     }
 726
 727     if (dbif_txn_begin(dbd) < 0) {
 728         LOG(log_error, logtype_cnid, "error deleting key/value from %s", dbd->db_table[dbi].name);
 729         return -1;
 730     }
 731
 732     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
 733                                      dbd->db_txn,
 734                                      key,
 735                                      flags);
 736
 737     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD)
 738         return 0;
 739     if (ret) {
 740         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
 741             dbd->db_table[dbi].name, db_strerror(ret));
 742         return -1;
 743     } else
 744         return 1;
 745 }
 746
 747 /*!
 748  * Search the database by name
 749  *
 750  * @param resbuf    (w) buffer for search results CNIDs, maxsize is assumed to be
 751  *                      DBD_MAX_SRCH_RSLTS * sizefof(cnid_t)
 752  *
 753  * @returns -1 on error, 0 when nothing found, else the number of matches
 754  */
 755 int dbif_search(DBD *dbd, DBT *key, char *resbuf)
 756 {
 757     int ret = 0;
 758     int count = 0;
 759     DBC *cursorp = NULL;
 760     DBT pkey, data;
 761     char *cnids = resbuf;
 762     cnid_t cnid;
 763     char *namebkp = key->data;
 764     int namelenbkp = key->size;
 765
 766     memset(&pkey, 0, sizeof(DBT));
 767     memset(&data, 0, sizeof(DBT));
 768
 769     /* Get a cursor */
 770     ret = dbd->db_table[DBIF_IDX_NAME].db->cursor(dbd->db_table[DBIF_IDX_NAME].db,
 771                                                   NULL,
 772                                                   &cursorp,
 773                                                   0);
 774     if (ret != 0) {
 775         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(ret));
 776         ret = -1;
 777         goto exit;
 778     }
 779
 780     ret = cursorp->pget(cursorp, key, &pkey, &data, DB_SET_RANGE);
 781     while (count < DBD_MAX_SRCH_RSLTS && ret != DB_NOTFOUND) {
 782         if (namelenbkp <= key->size && strncmp(namebkp, key->data, namelenbkp) == 0) {
 783             count++;
 784             memcpy(cnids, pkey.data, sizeof(cnid_t));
 785             memcpy(&cnid, pkey.data, sizeof(cnid_t));
 786             cnids += sizeof(cnid_t);
 787             LOG(log_error, logtype_cnid, "match: CNID %" PRIu32, ntohl(cnid));
 788         } else {
 789             LOG(log_error, logtype_cnid, "ignoring: CNID %" PRIu32, ntohl(cnid));
 790         }
 791         ret = cursorp->pget(cursorp, key, &pkey, &data, DB_NEXT);
 792     }
 793
 794     ret = count;
 795
 796 exit:
 797     if (cursorp != NULL)
 798         cursorp->close(cursorp);
 799     return ret;
 800 }
 801
 802 int dbif_txn_begin(DBD *dbd)
 803 {
 804     int ret;
 805
 806     /* If we already have an active txn, just return */
 807     if (dbd->db_txn)
 808         return 0;
 809
 810     /* If our DBD has no env, just return (-> in memory db) */
 811     if (dbd->db_env == NULL)
 812         return 0;
 813
 814     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
 815
 816     if (ret) {
 817         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(ret));
 818         return -1;
 819     } else
 820         return 0;
 821 }
 822
 823 int dbif_txn_commit(DBD *dbd)
 824 {
 825     int ret;
 826
 827     if (! dbd->db_txn)
 828         return 0;
 829
 830     /* If our DBD has no env, just return (-> in memory db) */
 831     if (dbd->db_env == NULL)
 832         return 0;
 833
 834     ret = dbd->db_txn->commit(dbd->db_txn, 0);
 835     dbd->db_txn = NULL;
 836
 837     if (ret) {
 838         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(ret));
 839         return -1;
 840     } else
 841         return 1;
 842 }
 843
 844 int dbif_txn_abort(DBD *dbd)
 845 {
 846     int ret;
 847
 848     if (! dbd->db_txn)
 849         return 0;
 850
 851     /* If our DBD has no env, just return (-> in memory db) */
 852     if (dbd->db_env == NULL)
 853         return 0;
 854
 855     ret = dbd->db_txn->abort(dbd->db_txn);
 856     dbd->db_txn = NULL;
 857
 858     if (ret) {
 859         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(ret));
 860         return -1;
 861     } else
 862         return 0;
 863 }
 864
 865 /*
 866    ret = 1 -> commit txn
 867    ret = 0 -> abort txn -> exit!
 868    anything else -> exit!
 869 */
 870 void dbif_txn_close(DBD *dbd, int ret)
 871 {
 872     if (ret == 0) {
 873         if (dbif_txn_abort(dbd) < 0) {
 874             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
 875             exit(EXIT_FAILURE);
 876         }
 877     } else if (ret == 1) {
 878         ret = dbif_txn_commit(dbd);
 879         if (  ret < 0) {
 880             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
 881             exit(EXIT_FAILURE);
 882         }
 883     } else
 884        exit(EXIT_FAILURE);
 885 }
 886
 887 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
 888 {
 889     int ret;
 890     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
 891     if (ret) {
 892         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(ret));
 893         return -1;
 894     } else
 895         return 0;
 896 }
 897
 898 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
 899 {
 900     int ret;
 901     DB_BTREE_STAT *sp;
 902     DB *db = dbd->db_table[dbi].db;
 903
 904     ret = db->stat(db, NULL, &sp, 0);
 905
 906     if (ret) {
 907         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(ret));
 908         return -1;
 909     }
 910
 911     *count = sp->bt_ndata;
 912     free(sp);
 913
 914     return 0;
 915 }
 916
 917 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
 918 {
 919     DBT key, data;
 920     int rc;
 921
 922     memset(&key, 0, sizeof(key));
 923     memset(&data, 0, sizeof(data));
 924
 925     key.data = ROOTINFO_KEY;
 926     key.size = ROOTINFO_KEYLEN;
 927
 928     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
 929         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
 930         return -1;
 931     }
 932
 933     memset(&key, 0, sizeof(key));
 934     key.data = ROOTINFO_KEY;
 935     key.size = ROOTINFO_KEYLEN;
 936
 937     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
 938         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
 939         return -1;
 940     }
 941
 942     return 0;
 943 }
 944
 945 int dbif_dump(DBD *dbd, int dumpindexes)
 946 {
 947     int rc;
 948     uint32_t max = 0, count = 0, cnid, type, did, lastid;
 949     uint64_t dev, ino;
 950     time_t stamp;
 951     DBC *cur;
 952     DBT key = { 0 }, data = { 0 };
 953     DB *db = dbd->db_table[DBIF_CNID].db;
 954     char *typestring[2] = {"f", "d"};
 955     char timebuf[64];
 956
 957     printf("CNID database dump:\n");
 958
 959     rc = db->cursor(db, NULL, &cur, 0);
 960     if (rc) {
 961         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
 962         return -1;
 963     }
 964
 965     cur->c_get(cur, &key, &data, DB_FIRST);
 966     while (rc == 0) {
 967         /* Parse and print data */
 968         memcpy(&cnid, key.data, 4);
 969         cnid = ntohl(cnid);
 970         if (cnid > max)
 971             max = cnid;
 972
 973         /* Rootinfo node ? */
 974         if (cnid == 0) {
 975             memcpy(&stamp, (char *)data.data + 4, sizeof(time_t));
 976             memcpy(&lastid, (char *)data.data + 20, sizeof(cnid_t));
 977             lastid = ntohl(lastid);
 978             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
 979             printf("dbd stamp: 0x%08x (%s), next free CNID: %u\n", (unsigned int)stamp, timebuf, lastid + 1);
 980         } else {
 981             /* dev */
 982             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
 983             dev = ntoh64(dev);
 984             /* ino */
 985             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
 986             ino = ntoh64(ino);
 987             /* type */
 988             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
 989             type = ntohl(type);
 990             /* did */
 991             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
 992             did = ntohl(did);
 993
 994             count++;
 995             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n",
 996                    cnid, did, typestring[type],
 997                    (long long unsigned int)dev, (long long unsigned int)ino,
 998                    (char *)data.data + CNID_NAME_OFS);
 999
1000         }
1001
1002         rc = cur->c_get(cur, &key, &data, DB_NEXT);
1003     }
1004
1005     if (rc != DB_NOTFOUND) {
1006         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1007         return -1;
1008     }
1009
1010     rc = cur->c_close(cur);
1011     if (rc) {
1012         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1013         return -1;
1014     }
1015     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
1016
1017     /* Dump indexes too ? */
1018     if (dumpindexes) {
1019         /* DBIF_IDX_DEVINO */
1020         printf("\ndev/inode index:\n");
1021         count = 0;
1022         db = dbd->db_table[DBIF_IDX_DEVINO].db;
1023         rc = db->cursor(db, NULL, &cur, 0);
1024         if (rc) {
1025             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1026             return -1;
1027         }
1028
1029         cur->c_get(cur, &key, &data, DB_FIRST);
1030         while (rc == 0) {
1031             /* Parse and print data */
1032
1033             /* cnid */
1034             memcpy(&cnid, data.data, CNID_LEN);
1035             cnid = ntohl(cnid);
1036             if (cnid == 0) {
1037                 /* Rootinfo node */
1038             } else {
1039                 /* dev */
1040                 memcpy(&dev, key.data, CNID_DEV_LEN);
1041                 dev = ntoh64(dev);
1042                 /* ino */
1043                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
1044                 ino = ntoh64(ino);
1045
1046                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n",
1047                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
1048                 count++;
1049             }
1050             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1051         }
1052         if (rc != DB_NOTFOUND) {
1053             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1054             return -1;
1055         }
1056
1057         rc = cur->c_close(cur);
1058         if (rc) {
1059             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1060             return -1;
1061         }
1062         printf("%u items\n", count);
1063
1064         /* Now dump DBIF_IDX_DIDNAME */
1065         printf("\ndid/name index:\n");
1066         count = 0;
1067         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
1068         rc = db->cursor(db, NULL, &cur, 0);
1069         if (rc) {
1070             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1071             return -1;
1072         }
1073
1074         cur->c_get(cur, &key, &data, DB_FIRST);
1075         while (rc == 0) {
1076             /* Parse and print data */
1077
1078             /* cnid */
1079             memcpy(&cnid, data.data, CNID_LEN);
1080             cnid = ntohl(cnid);
1081             if (cnid == 0) {
1082                 /* Rootinfo node */
1083             } else {
1084                 /* did */
1085                 memcpy(&did, key.data, CNID_LEN);
1086                 did = ntohl(did);
1087
1088                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
1089                 count++;
1090             }
1091             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1092         }
1093         if (rc != DB_NOTFOUND) {
1094             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1095             return -1;
1096         }
1097
1098         rc = cur->c_close(cur);
1099         if (rc) {
1100             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1101             return -1;
1102         }
1103         printf("%u items\n", count);
1104     }
1105
1106     return 0;
1107 }
1108
1109 /*
1110    Iterates over dbd, returning cnids.
1111    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
1112    If close=1, close cursor.
1113    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
1114 */
1115 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
1116 {
1117     int rc;
1118     int flag;
1119     cnid_t id;
1120
1121     static DBT key = { 0 }, data = { 0 };
1122     DB *db = dbd->db_table[DBIF_CNID].db;
1123
1124     if (close) {
1125         if (dbd->db_cur) {
1126             dbd->db_cur->close(dbd->db_cur);
1127             dbd->db_cur = NULL;
1128         }
1129         return 0;
1130     }
1131
1132     /* An dbif_del will have closed our cursor too */
1133     if ( ! dbd->db_cur ) {
1134         if ((rc = db->cursor(db, NULL, &dbd->db_cur, 0)) != 0) {
1135             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1136             return -1;
1137         }
1138         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1139         id = htonl(*cnid);
1140         key.data = &id;
1141         key.size = sizeof(cnid_t);
1142     } else
1143         flag = DB_NEXT;
1144
1145     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1146         memcpy(cnid, key.data, sizeof(cnid_t));
1147         *cnid = ntohl(*cnid);
1148         return 1;
1149     }
1150
1151     if (rc != DB_NOTFOUND) {
1152         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1153         dbd->db_cur->close(dbd->db_cur);
1154         dbd->db_cur = NULL;
1155         return -1;
1156     }
1157
1158     if (dbd->db_cur) {
1159         dbd->db_cur->close(dbd->db_cur);
1160         dbd->db_cur = NULL;
1161     }
1162
1163     return 0;
1164 }