bin/cnid/cnid_index.c

   1 /*
   2  * $Id: cnid_index.c,v 1.1.2.3 2005-01-25 14:34:26 didg Exp $
   3  *
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #ifdef HAVE_UNISTD_H
  12 #include <unistd.h>
  13 #endif /* HAVE_UNISTD_H */
  14 #ifdef HAVE_FCNTL_H
  15 #include <fcntl.h>
  16 #endif /* HAVE_FCNTL_H */
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <errno.h>
  20 #include <signal.h>
  21 #include <string.h>
  22 #ifdef HAVE_SYS_TYPES_H
  23 #include <sys/types.h>
  24 #endif /* HAVE_SYS_TYPES_H */
  25 #include <sys/param.h>
  26 #ifdef HAVE_SYS_STAT_H
  27 #include <sys/stat.h>
  28 #endif /* HAVE_SYS_STAT_H */
  29 #include <time.h>
  30 #include <sys/file.h>
  31
  32 #include <netatalk/endian.h>
  33 #include <atalk/cnid_dbd_private.h>
  34 #include <atalk/logger.h>
  35
  36 #define LOCKFILENAME  "lock"
  37 static int exit_sig = 0;
  38
  39 /* Copy and past from etc/cnid_dbd/dbif.c */
  40 #include <db.h>
  41
  42 #define DB_ERRLOGFILE "db_errlog"
  43
  44 static DB_ENV *db_env = NULL;
  45 static DB_TXN *db_txn = NULL;
  46 static FILE   *db_errlog = NULL;
  47
  48 #ifdef CNID_BACKEND_DBD_TXN
  49 #define DBOPTIONS    (DB_CREATE | DB_INIT_LOCK | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_TXN)
  50 #else
  51 #define DBOPTIONS    (DB_CREATE | DB_INIT_CDB | DB_INIT_MPOOL | DB_PRIVATE)
  52 #endif
  53
  54 #define DBIF_DB_CNT 3
  55
  56 #define DBIF_IDX_CNID      0
  57 #define DBIF_IDX_DEVINO    1
  58 #define DBIF_IDX_DIDNAME   2
  59
  60 static struct db_table {
  61      char            *name;
  62      DB              *db;
  63      u_int32_t       general_flags;
  64      DBTYPE          type;
  65 } db_table[] =
  66 {
  67      { "cnid2.db",       NULL,      0, DB_BTREE},
  68      { "devino.db",      NULL,      0, DB_BTREE},
  69      { "didname.db",     NULL,      0, DB_BTREE},
  70 };
  71
  72 static char *old_dbfiles[] = {"cnid.db", NULL};
  73
  74 /* --------------- */
  75 int didname(dbp, pkey, pdata, skey)
  76 DB *dbp;
  77 const DBT *pkey, *pdata;
  78 DBT *skey;
  79 {
  80 int len;
  81
  82     memset(skey, 0, sizeof(DBT));
  83     skey->data = (char *)pdata->data + CNID_DID_OFS;
  84     /* FIXME: At least DB 4.0.14 and 4.1.25 pass in the correct length of
  85        pdata.size. strlen is therefore not needed. Also, skey should be zeroed
  86        out already. */
  87     len = strlen((char *)skey->data + CNID_DID_LEN);
  88     skey->size = CNID_DID_LEN + len + 1;
  89     return (0);
  90 }
  91
  92 /* --------------- */
  93 int devino(dbp, pkey, pdata, skey)
  94 DB *dbp;
  95 const DBT *pkey, *pdata;
  96 DBT *skey;
  97 {
  98     memset(skey, 0, sizeof(DBT));
  99     skey->data = (char *)pdata->data + CNID_DEVINO_OFS;
 100     skey->size = CNID_DEVINO_LEN;
 101     return (0);
 102 }
 103
 104 /* --------------- */
 105 static int  db_compat_associate (DB *p, DB *s,
 106                    int (*callback)(DB *, const DBT *,const DBT *, DBT *),
 107                    u_int32_t flags)
 108 {
 109 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 110     return p->associate(p, db_txn, s, callback, flags);
 111 #else
 112 #if (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR == 0)
 113     return p->associate(p,       s, callback, flags);
 114 #else
 115     return 0;
 116 #endif
 117 #endif
 118 }
 119
 120 /* --------------- */
 121 static int db_compat_open(DB *db, char *file, char *name, DBTYPE type, int mode)
 122 {
 123     int ret;
 124
 125 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 126     ret = db->open(db, db_txn, file, name, type, DB_CREATE, mode);
 127 #else
 128     ret = db->open(db,       file, name, type, DB_CREATE, mode);
 129 #endif
 130
 131     if (ret) {
 132         LOG(log_error, logtype_cnid, "error opening database %s: %s", name, db_strerror(ret));
 133         return -1;
 134     } else {
 135         return 0;
 136     }
 137 }
 138
 139 /* --------------- */
 140 static int dbif_open(int do_truncate)
 141 {
 142     int ret;
 143     int i;
 144     u_int32_t count;
 145
 146     for (i = 0; i != DBIF_DB_CNT; i++) {
 147         if ((ret = db_create(&(db_table[i].db), db_env, 0))) {
 148             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 149                 db_table[i].name, db_strerror(ret));
 150             return -1;
 151         }
 152
 153         if (db_table[i].general_flags) {
 154             if ((ret = db_table[i].db->set_flags(db_table[i].db, db_table[i].general_flags))) {
 155                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 156                     db_table[i].name, db_strerror(ret));
 157                 return -1;
 158             }
 159         }
 160
 161         if (db_compat_open(db_table[i].db, db_table[0].name, db_table[i].name, db_table[i].type, 0664) < 0)
 162             return -1;
 163         if (db_errlog != NULL)
 164             db_table[i].db->set_errfile(db_table[i].db, db_errlog);
 165
 166         if (do_truncate && i > 0) {
 167             if ((ret = db_table[i].db->truncate(db_table[i].db, db_txn, &count, 0))) {
 168                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 169                     db_table[i].name, db_strerror(ret));
 170                 return -1;
 171             }
 172         }
 173     }
 174
 175     /* TODO: Implement CNID DB versioning info on new databases. */
 176     /* TODO: Make transaction support a runtime option. */
 177     /* Associate the secondary with the primary. */
 178     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DIDNAME].db, didname, (do_truncate)?DB_CREATE:0)) != 0) {
 179         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 180         return -1;
 181     }
 182
 183     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DEVINO].db, devino, (do_truncate)?DB_CREATE:0)) != 0) {
 184         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 185         return -1;
 186     }
 187
 188     return 0;
 189 }
 190
 191 /* ------------------------ */
 192 static int dbif_closedb(void)
 193 {
 194     int i;
 195     int ret;
 196     int err = 0;
 197
 198     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 199         if (db_table[i].db != NULL && (ret = db_table[i].db->close(db_table[i].db, 0))) {
 200             LOG(log_error, logtype_cnid, "error closing database %s: %s", db_table[i].name, db_strerror(ret));
 201             err++;
 202         }
 203     }
 204     if (err)
 205         return -1;
 206     return 0;
 207 }
 208
 209 /* ------------------------ */
 210 static int dbif_close(void)
 211 {
 212     int ret;
 213     int err = 0;
 214
 215     if (dbif_closedb())
 216         err++;
 217
 218     if (db_env != NULL && (ret = db_env->close(db_env, 0))) {
 219         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 220         err++;
 221     }
 222     if (db_errlog != NULL && fclose(db_errlog) == EOF) {
 223         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 224         err++;
 225     }
 226     if (err)
 227         return -1;
 228     return 0;
 229 }
 230 /* --------------- */
 231 static int upgrade_required(void)
 232 {
 233     int i;
 234     int found = 0;
 235     struct stat st;
 236
 237     for (i = 0; old_dbfiles[i] != NULL; i++) {
 238         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
 239             found++;
 240             continue;
 241         }
 242         if (errno != ENOENT) {
 243             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
 244             found++;
 245         }
 246     }
 247     return found;
 248 }
 249
 250 /* -------------------------- */
 251 static int dbif_sync(void)
 252 {
 253     int i;
 254     int ret;
 255     int err = 0;
 256
 257     for (i = 0; i != /* DBIF_DB_CNT*/ 1; i++) {
 258         if ((ret = db_table[i].db->sync(db_table[i].db, 0))) {
 259             LOG(log_error, logtype_cnid, "error syncing database %s: %s", db_table[i].name, db_strerror(ret));
 260             err++;
 261         }
 262     }
 263
 264     if (err)
 265         return -1;
 266     else
 267         return 0;
 268 }
 269
 270 /* -------------------------- */
 271 static int dbif_count(const int dbi, u_int32_t *count)
 272 {
 273     int ret;
 274     DB_BTREE_STAT *sp;
 275     DB *db = db_table[dbi].db;
 276
 277     ret = db->stat(db, &sp, 0);
 278
 279     if (ret) {
 280         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(errno));
 281         return -1;
 282     }
 283
 284     *count = sp->bt_ndata;
 285     free(sp);
 286
 287     return 0;
 288 }
 289
 290 /* -------------------------- */
 291 static int dbd_check(char *dbdir)
 292 {
 293     u_int32_t c_didname = 0, c_devino = 0, c_cnid = 0;
 294
 295     LOG(log_debug, logtype_cnid, "CNID database at `%s' is being checked (quick)", dbdir);
 296
 297     if (dbif_count(DBIF_IDX_CNID, &c_cnid))
 298         return -1;
 299
 300     if (dbif_count(DBIF_IDX_DIDNAME, &c_didname))
 301         return -1;
 302
 303     if (dbif_count(DBIF_IDX_DEVINO, &c_devino))
 304         return -1;
 305
 306     /* bailout after the first error */
 307     if ( c_cnid != c_devino) {
 308         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_devino);
 309         return 1;
 310     }
 311
 312     if (dbif_count(DBIF_IDX_DIDNAME, &c_didname))
 313         return -1;
 314
 315     if ( c_cnid != c_didname) {
 316         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_didname);
 317         return 1;
 318     }
 319
 320     LOG(log_debug, logtype_cnid, "CNID database at `%s' seems ok, %u entries.", dbdir, c_cnid);
 321     return 0;
 322 }
 323
 324 /* --------------- */
 325 /*
 326  *  We assume our current directory is already the BDB homedir. Otherwise
 327  *  opening the databases will not work as expected. If we use transactions,
 328  *  dbif_env_init(), dbif_close() and dbif_stamp() are the only interface
 329  *  functions that can be called without a valid transaction handle in db_txn.
 330  */
 331 static int dbif_env_init(void)
 332 {
 333     int ret;
 334 #ifdef CNID_BACKEND_DBD_TXN
 335     char **logfiles = NULL;
 336     char **file;
 337 #endif
 338
 339     /* Refuse to do anything if this is an old version of the CNID database */
 340     if (upgrade_required()) {
 341         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 342         return -1;
 343     }
 344
 345     if ((db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 346         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 347
 348 #ifdef CNID_BACKEND_DBD_TXN
 349     if ((ret = db_env_create(&db_env, 0))) {
 350         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 351             db_strerror(ret));
 352         db_env = NULL;
 353         return -1;
 354     }
 355     if (db_errlog != NULL)
 356         db_env->set_errfile(db_env, db_errlog);
 357     db_env->set_verbose(db_env, DB_VERB_RECOVERY, 1);
 358     db_env->set_verbose(db_env, DB_VERB_CHKPOINT, 1);
 359     if ((ret = db_env->open(db_env, ".", DBOPTIONS | DB_PRIVATE | DB_RECOVER, 0))) {
 360         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 361             db_strerror(ret));
 362         db_env->close(db_env, 0);
 363         db_env = NULL;
 364         return -1;
 365     }
 366
 367     if (db_errlog != NULL)
 368         fflush(db_errlog);
 369
 370     if ((ret = db_env->close(db_env, 0))) {
 371         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 372             db_strerror(ret));
 373         db_env = NULL;
 374         return -1;
 375     }
 376 #endif
 377     if ((ret = db_env_create(&db_env, 0))) {
 378         LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 379             db_strerror(ret));
 380         db_env = NULL;
 381         return -1;
 382     }
 383     if (db_errlog != NULL)
 384         db_env->set_errfile(db_env, db_errlog);
 385     if ((ret = db_env->open(db_env, ".", DBOPTIONS , 0))) {
 386         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 387             db_strerror(ret));
 388         db_env->close(db_env, 0);
 389         db_env = NULL;
 390         return -1;
 391     }
 392
 393 #ifdef CNID_BACKEND_DBD_TXN
 394     if (db_env->log_archive(db_env, &logfiles, 0)) {
 395         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 396             db_strerror(ret));
 397         db_env->close(db_env, 0);
 398         db_env = NULL;
 399         return -1;
 400     }
 401     if (logfiles != NULL) {
 402         for (file = logfiles; *file != NULL; file++) {
 403             if (unlink(*file) < 0)
 404                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 405         }
 406         free(logfiles);
 407     }
 408 #endif
 409     return 0;
 410 }
 411
 412
 413 static void sig_exit(int signo)
 414 {
 415     exit_sig = signo;
 416     return;
 417 }
 418
 419 static void block_sigs_onoff(int block)
 420 {
 421     sigset_t set;
 422
 423     sigemptyset(&set);
 424     sigaddset(&set, SIGINT);
 425     sigaddset(&set, SIGTERM);
 426     if (block)
 427         sigprocmask(SIG_BLOCK, &set, NULL);
 428     else
 429         sigprocmask(SIG_UNBLOCK, &set, NULL);
 430     return;
 431 }
 432
 433 /* ------------------------ */
 434 int get_lock(void)
 435 {
 436     int lockfd;
 437     struct flock lock;
 438
 439     if ((lockfd = open(LOCKFILENAME, O_RDWR | O_CREAT, 0644)) < 0) {
 440         LOG(log_error, logtype_cnid, "main: error opening lockfile: %s", strerror(errno));
 441         exit(1);
 442     }
 443
 444     lock.l_start  = 0;
 445     lock.l_whence = SEEK_SET;
 446     lock.l_len    = 0;
 447     lock.l_type   = F_WRLCK;
 448
 449     if (fcntl(lockfd, F_SETLK, &lock) < 0) {
 450         if (errno == EACCES || errno == EAGAIN) {
 451             exit(0);
 452         } else {
 453             LOG(log_error, logtype_cnid, "main: fcntl F_WRLCK lockfile: %s", strerror(errno));
 454             exit(1);
 455         }
 456     }
 457
 458     return lockfd;
 459 }
 460
 461 /* ----------------------- */
 462 void set_signal(void)
 463 {
 464     struct sigaction sv;
 465
 466     sv.sa_handler = sig_exit;
 467     sv.sa_flags = 0;
 468     sigemptyset(&sv.sa_mask);
 469     sigaddset(&sv.sa_mask, SIGINT);
 470     sigaddset(&sv.sa_mask, SIGTERM);
 471     if (sigaction(SIGINT, &sv, NULL) < 0 || sigaction(SIGTERM, &sv, NULL) < 0) {
 472         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 473         exit(1);
 474     }
 475     sv.sa_handler = SIG_IGN;
 476     sigemptyset(&sv.sa_mask);
 477     if (sigaction(SIGPIPE, &sv, NULL) < 0) {
 478         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 479         exit(1);
 480     }
 481 }
 482
 483 /* ----------------------- */
 484 void free_lock(int lockfd)
 485 {
 486     struct flock lock;
 487
 488     lock.l_start  = 0;
 489     lock.l_whence = SEEK_SET;
 490     lock.l_len    = 0;
 491     lock.l_type = F_UNLCK;
 492     fcntl(lockfd, F_SETLK, &lock);
 493     close(lockfd);
 494 }
 495
 496 /* ------------------------ */
 497 int main(int argc, char *argv[])
 498 {
 499 #ifdef CNID_BACKEND_DBD_TXN
 500
 501     fprintf(stderr, "%s doesn't work with db transaction enabled\n", argv[0]);
 502     exit (1);
 503
 504 #else
 505     int err = 0;
 506     int ret;
 507     int lockfd;
 508     char *dir;
 509
 510     set_processname("cnid_index");
 511     syslog_setup(log_debug, logtype_default, logoption_ndelay | logoption_pid, logfacility_daemon);
 512
 513     if (argc  != 2) {
 514         LOG(log_error, logtype_cnid, "main: not enough arguments");
 515         exit(1);
 516     }
 517
 518     dir = argv[1];
 519
 520     if (chdir(dir) < 0) {
 521         LOG(log_error, logtype_cnid, "chdir to %s failed: %s", dir, strerror(errno));
 522         exit(1);
 523     }
 524
 525     /* Before we do anything else, check if there is an instance of cnid_dbd
 526        running already and silently exit if yes. */
 527     lockfd = get_lock();
 528
 529     LOG(log_info, logtype_cnid, "Startup, DB dir %s", dir);
 530
 531     set_signal();
 532
 533     /* SIGINT and SIGTERM are always off, unless we get a return code of 0 from
 534        comm_rcv (no requests for one second, see above in loop()). That means we
 535        only shut down after one second of inactivity. */
 536     block_sigs_onoff(1);
 537
 538     if (dbif_env_init() < 0)
 539         exit(2); /* FIXME: same exit code as failure for dbif_open() */
 540
 541 #ifdef CNID_BACKEND_DBD_TXN
 542     if (dbif_txn_begin() < 0)
 543         exit(6);
 544 #endif
 545
 546     if (dbif_open(0) < 0) {
 547 #ifdef CNID_BACKEND_DBD_TXN
 548         dbif_txn_abort();
 549 #endif
 550         dbif_close();
 551         exit(2);
 552     }
 553
 554 #ifndef CNID_BACKEND_DBD_TXN
 555     if ((ret = dbd_check(dir))) {
 556         if (ret < 0) {
 557             dbif_close();
 558             exit(2);
 559         }
 560         dbif_closedb();
 561         LOG(log_info, logtype_cnid, "main: re-opening, secondaries will be rebuilt. This may take some time");
 562         if (dbif_open(1) < 0) {
 563             LOG(log_info, logtype_cnid, "main: re-opening databases failed");
 564             dbif_close();
 565             exit(2);
 566         }
 567         LOG(log_info, logtype_cnid, "main: rebuilt done");
 568     }
 569 #endif
 570
 571 #ifdef CNID_BACKEND_DBD_TXN
 572     if (dbif_txn_commit() < 0)
 573         exit(6);
 574 #endif
 575
 576 #ifndef CNID_BACKEND_DBD_TXN
 577     /* FIXME: Do we really need to sync before closing the DB? Just closing it
 578        should be enough. */
 579     if (dbif_sync() < 0)
 580         err++;
 581 #endif
 582
 583     if (dbif_close() < 0)
 584         err++;
 585
 586     free_lock(lockfd);
 587
 588     if (err)
 589         exit(4);
 590 #endif
 591     return 0;
 592 }