bin/cnid/cnid_index.c

   1 /*
   2  * $Id: cnid_index.c,v 1.1.2.1 2004-12-21 13:36:11 didg Exp $
   3  *
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #ifdef HAVE_UNISTD_H
  12 #include <unistd.h>
  13 #endif /* HAVE_UNISTD_H */
  14 #ifdef HAVE_FCNTL_H
  15 #include <fcntl.h>
  16 #endif /* HAVE_FCNTL_H */
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <errno.h>
  20 #include <signal.h>
  21 #include <string.h>
  22 #ifdef HAVE_SYS_TYPES_H
  23 #include <sys/types.h>
  24 #endif /* HAVE_SYS_TYPES_H */
  25 #include <sys/param.h>
  26 #ifdef HAVE_SYS_STAT_H
  27 #include <sys/stat.h>
  28 #endif /* HAVE_SYS_STAT_H */
  29 #include <time.h>
  30 #include <sys/file.h>
  31
  32 #include <netatalk/endian.h>
  33 #include <atalk/cnid_dbd_private.h>
  34 #include <atalk/logger.h>
  35
  36 #define LOCKFILENAME  "lock"
  37 static int exit_sig = 0;
  38
  39 /* Copy and past from etc/cnid_dbd/dbif.c */
  40 #include <db.h>
  41
  42 #define DB_ERRLOGFILE "db_errlog"
  43
  44 static DB_ENV *db_env = NULL;
  45 static DB_TXN *db_txn = NULL;
  46 static FILE   *db_errlog = NULL;
  47
  48 #ifdef CNID_BACKEND_DBD_TXN
  49 #define DBOPTIONS    (DB_CREATE | DB_INIT_LOCK | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_TXN)
  50 #else
  51 #define DBOPTIONS    (DB_CREATE | DB_INIT_CDB | DB_INIT_MPOOL | DB_PRIVATE)
  52 #endif
  53
  54 #define DBIF_DB_CNT 3
  55
  56 #define DBIF_IDX_CNID      0
  57 #define DBIF_IDX_DEVINO    1
  58 #define DBIF_IDX_DIDNAME   2
  59
  60 static struct db_table {
  61      char            *name;
  62      DB              *db;
  63      u_int32_t       general_flags;
  64      DBTYPE          type;
  65 } db_table[] =
  66 {
  67      { "cnid2.db",       NULL,      0, DB_BTREE},
  68      { "devino.db",      NULL,      0, DB_BTREE},
  69      { "didname.db",     NULL,      0, DB_BTREE},
  70 };
  71
  72 static char *old_dbfiles[] = {"cnid.db", NULL};
  73
  74 /* --------------- */
  75 int didname(dbp, pkey, pdata, skey)
  76 DB *dbp;
  77 const DBT *pkey, *pdata;
  78 DBT *skey;
  79 {
  80 int len;
  81
  82     memset(skey, 0, sizeof(DBT));
  83     skey->data = (char *)pdata->data + CNID_DID_OFS;
  84     /* FIXME: At least DB 4.0.14 and 4.1.25 pass in the correct length of
  85        pdata.size. strlen is therefore not needed. Also, skey should be zeroed
  86        out already. */
  87     len = strlen((char *)skey->data + CNID_DID_LEN);
  88     skey->size = CNID_DID_LEN + len + 1;
  89     return (0);
  90 }
  91
  92 /* --------------- */
  93 int devino(dbp, pkey, pdata, skey)
  94 DB *dbp;
  95 const DBT *pkey, *pdata;
  96 DBT *skey;
  97 {
  98     memset(skey, 0, sizeof(DBT));
  99     skey->data = (char *)pdata->data + CNID_DEVINO_OFS;
 100     skey->size = CNID_DEVINO_LEN;
 101     return (0);
 102 }
 103
 104 /* --------------- */
 105 static int  db_compat_associate (DB *p, DB *s,
 106                    int (*callback)(DB *, const DBT *,const DBT *, DBT *),
 107                    u_int32_t flags)
 108 {
 109 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 110     return p->associate(p, db_txn, s, callback, flags);
 111 #else
 112 #if (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR == 0)
 113     return p->associate(p,       s, callback, flags);
 114 #else
 115     return 0;
 116 #endif
 117 #endif
 118 }
 119
 120 /* --------------- */
 121 static int db_compat_open(DB *db, char *file, char *name, DBTYPE type, int mode)
 122 {
 123     int ret;
 124
 125 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 126     ret = db->open(db, db_txn, file, name, type, DB_CREATE, mode);
 127 #else
 128     ret = db->open(db,       file, name, type, DB_CREATE, mode);
 129 #endif
 130
 131     if (ret) {
 132         LOG(log_error, logtype_cnid, "error opening database %s: %s", name, db_strerror(ret));
 133         return -1;
 134     } else {
 135         return 0;
 136     }
 137 }
 138
 139 /* --------------- */
 140 static int dbif_open(int do_truncate)
 141 {
 142     int ret;
 143     int i;
 144     u_int32_t count;
 145
 146     for (i = 0; i != DBIF_DB_CNT; i++) {
 147         if ((ret = db_create(&(db_table[i].db), db_env, 0))) {
 148             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 149                 db_table[i].name, db_strerror(ret));
 150             return -1;
 151         }
 152
 153         if (db_table[i].general_flags) {
 154             if ((ret = db_table[i].db->set_flags(db_table[i].db, db_table[i].general_flags))) {
 155                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 156                     db_table[i].name, db_strerror(ret));
 157                 return -1;
 158             }
 159         }
 160
 161         if (db_compat_open(db_table[i].db, db_table[0].name, db_table[i].name, db_table[i].type, 0664) < 0)
 162             return -1;
 163         if (db_errlog != NULL)
 164             db_table[i].db->set_errfile(db_table[i].db, db_errlog);
 165
 166         if (do_truncate && i > 0) {
 167             if ((ret = db_table[i].db->truncate(db_table[i].db, db_txn, &count, 0))) {
 168                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 169                     db_table[i].name, db_strerror(ret));
 170                 return -1;
 171             }
 172         }
 173     }
 174
 175     /* TODO: Implement CNID DB versioning info on new databases. */
 176     /* TODO: Make transaction support a runtime option. */
 177     /* Associate the secondary with the primary. */
 178     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DIDNAME].db, didname, (do_truncate)?DB_CREATE:0)) != 0) {
 179         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 180         return -1;
 181     }
 182
 183     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DEVINO].db, devino, (do_truncate)?DB_CREATE:0)) != 0) {
 184         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 185         return -1;
 186     }
 187
 188     return 0;
 189 }
 190
 191 /* ------------------------ */
 192 static int dbif_closedb(void)
 193 {
 194     int i;
 195     int ret;
 196     int err = 0;
 197
 198     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 199         if (db_table[i].db != NULL && (ret = db_table[i].db->close(db_table[i].db, 0))) {
 200             LOG(log_error, logtype_cnid, "error closing database %s: %s", db_table[i].name, db_strerror(ret));
 201             err++;
 202         }
 203     }
 204     if (err)
 205         return -1;
 206     return 0;
 207 }
 208
 209 /* ------------------------ */
 210 static int dbif_close(void)
 211 {
 212     int ret;
 213     int err = 0;
 214
 215     if (dbif_closedb())
 216         err++;
 217
 218     if (db_env != NULL && (ret = db_env->close(db_env, 0))) {
 219         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 220         err++;
 221     }
 222     if (db_errlog != NULL && fclose(db_errlog) == EOF) {
 223         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 224         err++;
 225     }
 226     if (err)
 227         return -1;
 228     return 0;
 229 }
 230 /* --------------- */
 231 static int upgrade_required(void)
 232 {
 233     int i;
 234     int found = 0;
 235     struct stat st;
 236
 237     for (i = 0; old_dbfiles[i] != NULL; i++) {
 238         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
 239             found++;
 240             continue;
 241         }
 242         if (errno != ENOENT) {
 243             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
 244             found++;
 245         }
 246     }
 247     return found;
 248 }
 249
 250 /* -------------------------- */
 251 static int dbif_sync(void)
 252 {
 253     int i;
 254     int ret;
 255     int err = 0;
 256
 257     for (i = 0; i != /* DBIF_DB_CNT*/ 1; i++) {
 258         if ((ret = db_table[i].db->sync(db_table[i].db, 0))) {
 259             LOG(log_error, logtype_cnid, "error syncing database %s: %s", db_table[i].name, db_strerror(ret));
 260             err++;
 261         }
 262     }
 263
 264     if (err)
 265         return -1;
 266     else
 267         return 0;
 268 }
 269
 270 /* -------------------------- */
 271 static int dbif_count(const int dbi, u_int32_t *count)
 272 {
 273     int ret;
 274     DB_BTREE_STAT *sp;
 275     DB *db = db_table[dbi].db;
 276
 277     ret = db->stat(db, &sp, 0);
 278
 279     if (ret) {
 280         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(errno));
 281         return -1;
 282     }
 283
 284     *count = sp->bt_ndata;
 285     free(sp);
 286
 287     return 0;
 288 }
 289
 290 /* -------------------------- */
 291 static int dbd_check(char *dbdir)
 292 {
 293     u_int32_t c_didname = 0, c_devino = 0, c_cnid = 0;
 294
 295     LOG(log_debug, logtype_cnid, "CNID database at `%s' is being checked (quick)", dbdir);
 296
 297     if (dbif_count(DBIF_IDX_CNID, &c_cnid))
 298         return -1;
 299
 300     if (dbif_count(DBIF_IDX_DIDNAME, &c_didname))
 301         return -1;
 302
 303     /* bailout after the first error */
 304     if (dbif_count(DBIF_IDX_DEVINO, &c_devino))
 305         return -1;
 306
 307     if ( c_cnid != c_devino) {
 308         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_devino);
 309         return 1;
 310     }
 311
 312     if ( c_cnid != c_didname) {
 313         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_didname);
 314         return 1;
 315     }
 316
 317     LOG(log_debug, logtype_cnid, "CNID database at `%s' seems ok, %u entries.", dbdir, c_cnid);
 318     return 0;
 319 }
 320
 321 /* --------------- */
 322 /*
 323  *  We assume our current directory is already the BDB homedir. Otherwise
 324  *  opening the databases will not work as expected. If we use transactions,
 325  *  dbif_env_init(), dbif_close() and dbif_stamp() are the only interface
 326  *  functions that can be called without a valid transaction handle in db_txn.
 327  */
 328 static int dbif_env_init(void)
 329 {
 330     int ret;
 331 #ifdef CNID_BACKEND_DBD_TXN
 332     char **logfiles = NULL;
 333     char **file;
 334 #endif
 335
 336     /* Refuse to do anything if this is an old version of the CNID database */
 337     if (upgrade_required()) {
 338         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 339         return -1;
 340     }
 341
 342     if ((db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 343         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 344
 345 #ifdef CNID_BACKEND_DBD_TXN
 346     if ((ret = db_env_create(&db_env, 0))) {
 347         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 348             db_strerror(ret));
 349         db_env = NULL;
 350         return -1;
 351     }
 352     if (db_errlog != NULL)
 353         db_env->set_errfile(db_env, db_errlog);
 354     db_env->set_verbose(db_env, DB_VERB_RECOVERY, 1);
 355     db_env->set_verbose(db_env, DB_VERB_CHKPOINT, 1);
 356     if ((ret = db_env->open(db_env, ".", DBOPTIONS | DB_PRIVATE | DB_RECOVER, 0))) {
 357         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 358             db_strerror(ret));
 359         db_env->close(db_env, 0);
 360         db_env = NULL;
 361         return -1;
 362     }
 363
 364     if (db_errlog != NULL)
 365         fflush(db_errlog);
 366
 367     if ((ret = db_env->close(db_env, 0))) {
 368         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 369             db_strerror(ret));
 370         db_env = NULL;
 371         return -1;
 372     }
 373 #endif
 374     if ((ret = db_env_create(&db_env, 0))) {
 375         LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 376             db_strerror(ret));
 377         db_env = NULL;
 378         return -1;
 379     }
 380     if (db_errlog != NULL)
 381         db_env->set_errfile(db_env, db_errlog);
 382     if ((ret = db_env->open(db_env, ".", DBOPTIONS , 0))) {
 383         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 384             db_strerror(ret));
 385         db_env->close(db_env, 0);
 386         db_env = NULL;
 387         return -1;
 388     }
 389
 390 #ifdef CNID_BACKEND_DBD_TXN
 391     if (db_env->log_archive(db_env, &logfiles, 0)) {
 392         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 393             db_strerror(ret));
 394         db_env->close(db_env, 0);
 395         db_env = NULL;
 396         return -1;
 397     }
 398     if (logfiles != NULL) {
 399         for (file = logfiles; *file != NULL; file++) {
 400             if (unlink(*file) < 0)
 401                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 402         }
 403         free(logfiles);
 404     }
 405 #endif
 406     return 0;
 407 }
 408
 409
 410 static void sig_exit(int signo)
 411 {
 412     exit_sig = signo;
 413     return;
 414 }
 415
 416 static void block_sigs_onoff(int block)
 417 {
 418     sigset_t set;
 419
 420     sigemptyset(&set);
 421     sigaddset(&set, SIGINT);
 422     sigaddset(&set, SIGTERM);
 423     if (block)
 424         sigprocmask(SIG_BLOCK, &set, NULL);
 425     else
 426         sigprocmask(SIG_UNBLOCK, &set, NULL);
 427     return;
 428 }
 429
 430 /* ------------------------ */
 431 int get_lock(void)
 432 {
 433     int lockfd;
 434     struct flock lock;
 435
 436     if ((lockfd = open(LOCKFILENAME, O_RDWR | O_CREAT, 0644)) < 0) {
 437         LOG(log_error, logtype_cnid, "main: error opening lockfile: %s", strerror(errno));
 438         exit(1);
 439     }
 440
 441     lock.l_start  = 0;
 442     lock.l_whence = SEEK_SET;
 443     lock.l_len    = 0;
 444     lock.l_type   = F_WRLCK;
 445
 446     if (fcntl(lockfd, F_SETLK, &lock) < 0) {
 447         if (errno == EACCES || errno == EAGAIN) {
 448             exit(0);
 449         } else {
 450             LOG(log_error, logtype_cnid, "main: fcntl F_WRLCK lockfile: %s", strerror(errno));
 451             exit(1);
 452         }
 453     }
 454
 455     return lockfd;
 456 }
 457
 458 /* ----------------------- */
 459 void set_signal(void)
 460 {
 461     struct sigaction sv;
 462
 463     sv.sa_handler = sig_exit;
 464     sv.sa_flags = 0;
 465     sigemptyset(&sv.sa_mask);
 466     sigaddset(&sv.sa_mask, SIGINT);
 467     sigaddset(&sv.sa_mask, SIGTERM);
 468     if (sigaction(SIGINT, &sv, NULL) < 0 || sigaction(SIGTERM, &sv, NULL) < 0) {
 469         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 470         exit(1);
 471     }
 472     sv.sa_handler = SIG_IGN;
 473     sigemptyset(&sv.sa_mask);
 474     if (sigaction(SIGPIPE, &sv, NULL) < 0) {
 475         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 476         exit(1);
 477     }
 478 }
 479
 480 /* ----------------------- */
 481 void free_lock(int lockfd)
 482 {
 483     struct flock lock;
 484
 485     lock.l_start  = 0;
 486     lock.l_whence = SEEK_SET;
 487     lock.l_len    = 0;
 488     lock.l_type = F_UNLCK;
 489     fcntl(lockfd, F_SETLK, &lock);
 490     close(lockfd);
 491 }
 492
 493 /* ------------------------ */
 494 int main(int argc, char *argv[])
 495 {
 496     int err = 0;
 497     int ret;
 498     int lockfd;
 499     char *dir;
 500
 501     set_processname("cnid_index");
 502     syslog_setup(log_debug, logtype_default, logoption_ndelay | logoption_pid, logfacility_daemon);
 503
 504     if (argc  != 2) {
 505         LOG(log_error, logtype_cnid, "main: not enough arguments");
 506         exit(1);
 507     }
 508
 509     dir = argv[1];
 510
 511     if (chdir(dir) < 0) {
 512         LOG(log_error, logtype_cnid, "chdir to %s failed: %s", dir, strerror(errno));
 513         exit(1);
 514     }
 515
 516     /* Before we do anything else, check if there is an instance of cnid_dbd
 517        running already and silently exit if yes. */
 518     lockfd = get_lock();
 519
 520     LOG(log_info, logtype_cnid, "Startup, DB dir %s", dir);
 521
 522     set_signal();
 523
 524     /* SIGINT and SIGTERM are always off, unless we get a return code of 0 from
 525        comm_rcv (no requests for one second, see above in loop()). That means we
 526        only shut down after one second of inactivity. */
 527     block_sigs_onoff(1);
 528
 529     if (dbif_env_init() < 0)
 530         exit(2); /* FIXME: same exit code as failure for dbif_open() */
 531
 532 #ifdef CNID_BACKEND_DBD_TXN
 533     if (dbif_txn_begin() < 0)
 534         exit(6);
 535 #endif
 536
 537     if (dbif_open(0) < 0) {
 538 #ifdef CNID_BACKEND_DBD_TXN
 539         dbif_txn_abort();
 540 #endif
 541         dbif_close();
 542         exit(2);
 543     }
 544
 545 #ifndef CNID_BACKEND_DBD_TXN
 546     if ((ret = dbd_check(dir))) {
 547         if (ret < 0) {
 548             dbif_close();
 549             exit(2);
 550         }
 551         dbif_closedb();
 552         LOG(log_info, logtype_cnid, "main: re-opening, secondaries will be rebuilt. This may take some time");
 553         if (dbif_open(1) < 0) {
 554             LOG(log_info, logtype_cnid, "main: re-opening databases failed");
 555             dbif_close();
 556             exit(2);
 557         }
 558         LOG(log_info, logtype_cnid, "main: rebuilt done");
 559     }
 560 #endif
 561
 562 #ifdef CNID_BACKEND_DBD_TXN
 563     if (dbif_txn_commit() < 0)
 564         exit(6);
 565 #endif
 566
 567 #ifndef CNID_BACKEND_DBD_TXN
 568     /* FIXME: Do we really need to sync before closing the DB? Just closing it
 569        should be enough. */
 570     if (dbif_sync() < 0)
 571         err++;
 572 #endif
 573
 574     if (dbif_close() < 0)
 575         err++;
 576
 577     free_lock(lockfd);
 578
 579     if (err)
 580         exit(4);
 581     return 0;
 582 }