bin/cnid/cnid_index.c

   1 /*
   2  * $Id: cnid_index.c,v 1.1.2.6 2005-09-27 10:40:40 didg Exp $
   3  *
   4  * All Rights Reserved.  See COPYING.
   5  */
   6
   7 #ifdef HAVE_CONFIG_H
   8 #include "config.h"
   9 #endif /* HAVE_CONFIG_H */
  10
  11 #ifdef HAVE_UNISTD_H
  12 #include <unistd.h>
  13 #endif /* HAVE_UNISTD_H */
  14 #ifdef HAVE_FCNTL_H
  15 #include <fcntl.h>
  16 #endif /* HAVE_FCNTL_H */
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <errno.h>
  20 #include <signal.h>
  21 #include <string.h>
  22 #ifdef HAVE_SYS_TYPES_H
  23 #include <sys/types.h>
  24 #endif /* HAVE_SYS_TYPES_H */
  25 #include <sys/param.h>
  26 #ifdef HAVE_SYS_STAT_H
  27 #include <sys/stat.h>
  28 #endif /* HAVE_SYS_STAT_H */
  29 #include <time.h>
  30 #include <sys/file.h>
  31
  32 #include <netatalk/endian.h>
  33 #include <atalk/cnid_dbd_private.h>
  34 #include <atalk/logger.h>
  35
  36 #define LOCKFILENAME  "lock"
  37 static int exit_sig = 0;
  38
  39 /* Copy and past from etc/cnid_dbd/dbif.c */
  40 #include <db.h>
  41
  42 #define DB_ERRLOGFILE "db_errlog"
  43
  44 static DB_ENV *db_env = NULL;
  45 static DB_TXN *db_txn = NULL;
  46 static FILE   *db_errlog = NULL;
  47
  48 #ifdef CNID_BACKEND_DBD_TXN
  49 #define DBOPTIONS    (DB_CREATE | DB_INIT_LOCK | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_TXN)
  50 #else
  51 #define DBOPTIONS    (DB_CREATE | DB_INIT_CDB | DB_INIT_MPOOL | DB_PRIVATE)
  52 #endif
  53
  54 #define DBIF_DB_CNT 3
  55
  56 #define DBIF_IDX_CNID      0
  57 #define DBIF_IDX_DEVINO    1
  58 #define DBIF_IDX_DIDNAME   2
  59
  60 static struct db_table {
  61      char            *name;
  62      DB              *db;
  63      u_int32_t       general_flags;
  64      DBTYPE          type;
  65 } db_table[] =
  66 {
  67      { "cnid2.db",       NULL,      0, DB_BTREE},
  68      { "devino.db",      NULL,      0, DB_BTREE},
  69      { "didname.db",     NULL,      0, DB_BTREE},
  70 };
  71
  72 static char *old_dbfiles[] = {"cnid.db", NULL};
  73
  74 /* --------------- */
  75 int didname(dbp, pkey, pdata, skey)
  76 DB *dbp _U_;
  77 const DBT *pkey _U_, *pdata;
  78 DBT *skey;
  79 {
  80 int len;
  81
  82     memset(skey, 0, sizeof(DBT));
  83     skey->data = (char *)pdata->data + CNID_DID_OFS;
  84     /* FIXME: At least DB 4.0.14 and 4.1.25 pass in the correct length of
  85        pdata.size. strlen is therefore not needed. Also, skey should be zeroed
  86        out already. */
  87     len = strlen((char *)skey->data + CNID_DID_LEN);
  88     skey->size = CNID_DID_LEN + len + 1;
  89     return (0);
  90 }
  91
  92 /* --------------- */
  93 int devino(dbp, pkey, pdata, skey)
  94 DB *dbp _U_;
  95 const DBT *pkey _U_, *pdata;
  96 DBT *skey;
  97 {
  98     memset(skey, 0, sizeof(DBT));
  99     skey->data = (char *)pdata->data + CNID_DEVINO_OFS;
 100     skey->size = CNID_DEVINO_LEN;
 101     return (0);
 102 }
 103
 104 /* --------------- */
 105 static int  db_compat_associate (DB *p, DB *s,
 106                    int (*callback)(DB *, const DBT *,const DBT *, DBT *),
 107                    u_int32_t flags)
 108 {
 109 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 110     return p->associate(p, db_txn, s, callback, flags);
 111 #else
 112 #if (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR == 0)
 113     return p->associate(p,       s, callback, flags);
 114 #else
 115     return 0;
 116 #endif
 117 #endif
 118 }
 119
 120 /* --------------- */
 121 static int db_compat_open(DB *db, char *file, char *name, DBTYPE type, int mode)
 122 {
 123     int ret;
 124
 125 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 126     ret = db->open(db, db_txn, file, name, type, DB_CREATE, mode);
 127 #else
 128     ret = db->open(db,       file, name, type, DB_CREATE, mode);
 129 #endif
 130
 131     if (ret) {
 132         LOG(log_error, logtype_cnid, "error opening database %s: %s", name, db_strerror(ret));
 133         return -1;
 134     } else {
 135         return 0;
 136     }
 137 }
 138
 139 /* --------------- */
 140 static int dbif_open(int do_truncate)
 141 {
 142     int ret;
 143     int i;
 144     u_int32_t count;
 145
 146     for (i = 0; i != DBIF_DB_CNT; i++) {
 147         if ((ret = db_create(&(db_table[i].db), db_env, 0))) {
 148             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
 149                 db_table[i].name, db_strerror(ret));
 150             return -1;
 151         }
 152
 153         if (db_table[i].general_flags) {
 154             if ((ret = db_table[i].db->set_flags(db_table[i].db, db_table[i].general_flags))) {
 155                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
 156                     db_table[i].name, db_strerror(ret));
 157                 return -1;
 158             }
 159         }
 160
 161         if (db_compat_open(db_table[i].db, db_table[0].name, db_table[i].name, db_table[i].type, 0664) < 0)
 162             return -1;
 163         if (db_errlog != NULL)
 164             db_table[i].db->set_errfile(db_table[i].db, db_errlog);
 165
 166         if (do_truncate && i > 0) {
 167             if ((ret = db_table[i].db->truncate(db_table[i].db, db_txn, &count, 0))) {
 168                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
 169                     db_table[i].name, db_strerror(ret));
 170                 return -1;
 171             }
 172         }
 173     }
 174
 175     /* TODO: Implement CNID DB versioning info on new databases. */
 176     /* TODO: Make transaction support a runtime option. */
 177     /* Associate the secondary with the primary. */
 178     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DIDNAME].db, didname, (do_truncate)?DB_CREATE:0)) != 0) {
 179         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
 180         return -1;
 181     }
 182
 183     if ((ret = db_compat_associate(db_table[0].db, db_table[DBIF_IDX_DEVINO].db, devino, (do_truncate)?DB_CREATE:0)) != 0) {
 184         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
 185         return -1;
 186     }
 187
 188     return 0;
 189 }
 190
 191 /* ------------------------ */
 192 static int dbif_closedb(void)
 193 {
 194     int i;
 195     int ret;
 196     int err = 0;
 197
 198     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
 199         if (db_table[i].db != NULL && (ret = db_table[i].db->close(db_table[i].db, 0))) {
 200             LOG(log_error, logtype_cnid, "error closing database %s: %s", db_table[i].name, db_strerror(ret));
 201             err++;
 202         }
 203     }
 204     if (err)
 205         return -1;
 206     return 0;
 207 }
 208
 209 /* ------------------------ */
 210 static int dbif_close(void)
 211 {
 212     int ret;
 213     int err = 0;
 214
 215     if (dbif_closedb())
 216         err++;
 217
 218     if (db_env != NULL && (ret = db_env->close(db_env, 0))) {
 219         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
 220         err++;
 221     }
 222     if (db_errlog != NULL && fclose(db_errlog) == EOF) {
 223         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
 224         err++;
 225     }
 226     if (err)
 227         return -1;
 228     return 0;
 229 }
 230 /* --------------- */
 231 static int upgrade_required(void)
 232 {
 233     int i;
 234     int found = 0;
 235     struct stat st;
 236
 237     for (i = 0; old_dbfiles[i] != NULL; i++) {
 238         if ( !(stat(old_dbfiles[i], &st) < 0) ) {
 239             found++;
 240             continue;
 241         }
 242         if (errno != ENOENT) {
 243             LOG(log_error, logtype_cnid, "cnid_open: Checking %s gave %s", old_dbfiles[i], strerror(errno));
 244             found++;
 245         }
 246     }
 247     return found;
 248 }
 249
 250 /* -------------------------- */
 251 static int dbif_sync(void)
 252 {
 253     int i;
 254     int ret;
 255     int err = 0;
 256
 257     for (i = 0; i != /* DBIF_DB_CNT*/ 1; i++) {
 258         if ((ret = db_table[i].db->sync(db_table[i].db, 0))) {
 259             LOG(log_error, logtype_cnid, "error syncing database %s: %s", db_table[i].name, db_strerror(ret));
 260             err++;
 261         }
 262     }
 263
 264     if (err)
 265         return -1;
 266     else
 267         return 0;
 268 }
 269
 270 /* -------------------------- */
 271 static int dbif_count(const int dbi, u_int32_t *count)
 272 {
 273     int ret;
 274     DB_BTREE_STAT *sp;
 275     DB *db = db_table[dbi].db;
 276
 277 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 3)
 278     ret = db->stat(db, db_txn, &sp, 0);
 279 #else
 280     ret = db->stat(db, &sp, 0);
 281 #endif
 282
 283     if (ret) {
 284         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(errno));
 285         return -1;
 286     }
 287
 288     *count = sp->bt_ndata;
 289     free(sp);
 290
 291     return 0;
 292 }
 293
 294 /* -------------------------- */
 295 static int dbd_check(char *dbdir)
 296 {
 297     u_int32_t c_didname = 0, c_devino = 0, c_cnid = 0;
 298
 299     LOG(log_debug, logtype_cnid, "CNID database at `%s' is being checked (quick)", dbdir);
 300
 301     if (dbif_count(DBIF_IDX_CNID, &c_cnid))
 302         return -1;
 303
 304     if (dbif_count(DBIF_IDX_DEVINO, &c_devino))
 305         return -1;
 306
 307     /* bailout after the first error */
 308     if ( c_cnid != c_devino) {
 309         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_devino);
 310         return 1;
 311     }
 312
 313     if (dbif_count(DBIF_IDX_DIDNAME, &c_didname))
 314         return -1;
 315
 316     if ( c_cnid != c_didname) {
 317         LOG(log_error, logtype_cnid, "CNID database at `%s' corrupted (%u/%u)", dbdir, c_cnid, c_didname);
 318         return 1;
 319     }
 320
 321     LOG(log_debug, logtype_cnid, "CNID database at `%s' seems ok, %u entries.", dbdir, c_cnid);
 322     return 0;
 323 }
 324
 325 /* --------------- */
 326 /*
 327  *  We assume our current directory is already the BDB homedir. Otherwise
 328  *  opening the databases will not work as expected. If we use transactions,
 329  *  dbif_env_init(), dbif_close() and dbif_stamp() are the only interface
 330  *  functions that can be called without a valid transaction handle in db_txn.
 331  */
 332 static int dbif_env_init(void)
 333 {
 334     int ret;
 335 #ifdef CNID_BACKEND_DBD_TXN
 336     char **logfiles = NULL;
 337     char **file;
 338 #endif
 339
 340     /* Refuse to do anything if this is an old version of the CNID database */
 341     if (upgrade_required()) {
 342         LOG(log_error, logtype_cnid, "Found version 1 of the CNID database. Please upgrade to version 2");
 343         return -1;
 344     }
 345
 346     if ((db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
 347         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
 348
 349 #ifdef CNID_BACKEND_DBD_TXN
 350     if ((ret = db_env_create(&db_env, 0))) {
 351         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
 352             db_strerror(ret));
 353         db_env = NULL;
 354         return -1;
 355     }
 356     if (db_errlog != NULL)
 357         db_env->set_errfile(db_env, db_errlog);
 358     db_env->set_verbose(db_env, DB_VERB_RECOVERY, 1);
 359     db_env->set_verbose(db_env, DB_VERB_CHKPOINT, 1);
 360     if ((ret = db_env->open(db_env, ".", DBOPTIONS | DB_PRIVATE | DB_RECOVER, 0))) {
 361         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
 362             db_strerror(ret));
 363         db_env->close(db_env, 0);
 364         db_env = NULL;
 365         return -1;
 366     }
 367
 368     if (db_errlog != NULL)
 369         fflush(db_errlog);
 370
 371     if ((ret = db_env->close(db_env, 0))) {
 372         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
 373             db_strerror(ret));
 374         db_env = NULL;
 375         return -1;
 376     }
 377 #endif
 378     if ((ret = db_env_create(&db_env, 0))) {
 379         LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
 380             db_strerror(ret));
 381         db_env = NULL;
 382         return -1;
 383     }
 384     if (db_errlog != NULL)
 385         db_env->set_errfile(db_env, db_errlog);
 386     if ((ret = db_env->open(db_env, ".", DBOPTIONS , 0))) {
 387         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
 388             db_strerror(ret));
 389         db_env->close(db_env, 0);
 390         db_env = NULL;
 391         return -1;
 392     }
 393
 394 #ifdef CNID_BACKEND_DBD_TXN
 395     if (db_env->log_archive(db_env, &logfiles, 0)) {
 396         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
 397             db_strerror(ret));
 398         db_env->close(db_env, 0);
 399         db_env = NULL;
 400         return -1;
 401     }
 402     if (logfiles != NULL) {
 403         for (file = logfiles; *file != NULL; file++) {
 404             if (unlink(*file) < 0)
 405                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
 406         }
 407         free(logfiles);
 408     }
 409 #endif
 410     return 0;
 411 }
 412
 413
 414 static void sig_exit(int signo)
 415 {
 416     exit_sig = signo;
 417     return;
 418 }
 419
 420 static void block_sigs_onoff(int block)
 421 {
 422     sigset_t set;
 423
 424     sigemptyset(&set);
 425     sigaddset(&set, SIGINT);
 426     sigaddset(&set, SIGTERM);
 427     if (block)
 428         sigprocmask(SIG_BLOCK, &set, NULL);
 429     else
 430         sigprocmask(SIG_UNBLOCK, &set, NULL);
 431     return;
 432 }
 433
 434 /* ------------------------ */
 435 int get_lock(void)
 436 {
 437     int lockfd;
 438     struct flock lock;
 439
 440     if ((lockfd = open(LOCKFILENAME, O_RDWR | O_CREAT, 0644)) < 0) {
 441         LOG(log_error, logtype_cnid, "main: error opening lockfile: %s", strerror(errno));
 442         exit(1);
 443     }
 444
 445     lock.l_start  = 0;
 446     lock.l_whence = SEEK_SET;
 447     lock.l_len    = 0;
 448     lock.l_type   = F_WRLCK;
 449
 450     if (fcntl(lockfd, F_SETLK, &lock) < 0) {
 451         if (errno == EACCES || errno == EAGAIN) {
 452             exit(0);
 453         } else {
 454             LOG(log_error, logtype_cnid, "main: fcntl F_WRLCK lockfile: %s", strerror(errno));
 455             exit(1);
 456         }
 457     }
 458
 459     return lockfd;
 460 }
 461
 462 /* ----------------------- */
 463 void set_signal(void)
 464 {
 465     struct sigaction sv;
 466
 467     sv.sa_handler = sig_exit;
 468     sv.sa_flags = 0;
 469     sigemptyset(&sv.sa_mask);
 470     sigaddset(&sv.sa_mask, SIGINT);
 471     sigaddset(&sv.sa_mask, SIGTERM);
 472     if (sigaction(SIGINT, &sv, NULL) < 0 || sigaction(SIGTERM, &sv, NULL) < 0) {
 473         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 474         exit(1);
 475     }
 476     sv.sa_handler = SIG_IGN;
 477     sigemptyset(&sv.sa_mask);
 478     if (sigaction(SIGPIPE, &sv, NULL) < 0) {
 479         LOG(log_error, logtype_cnid, "main: sigaction: %s", strerror(errno));
 480         exit(1);
 481     }
 482 }
 483
 484 /* ----------------------- */
 485 void free_lock(int lockfd)
 486 {
 487     struct flock lock;
 488
 489     lock.l_start  = 0;
 490     lock.l_whence = SEEK_SET;
 491     lock.l_len    = 0;
 492     lock.l_type = F_UNLCK;
 493     fcntl(lockfd, F_SETLK, &lock);
 494     close(lockfd);
 495 }
 496
 497 /* ------------------------ */
 498 int main(int argc, char *argv[])
 499 {
 500 #ifdef CNID_BACKEND_DBD_TXN
 501
 502     fprintf(stderr, "%s doesn't work with db transaction enabled\n", argv[0]);
 503     exit (1);
 504
 505 #else
 506     int err = 0;
 507     int ret;
 508     int lockfd;
 509     char *dir;
 510
 511     set_processname("cnid_index");
 512     syslog_setup(log_debug, logtype_default, logoption_ndelay | logoption_pid, logfacility_daemon);
 513
 514     if (argc  != 2) {
 515         LOG(log_error, logtype_cnid, "main: not enough arguments");
 516         exit(1);
 517     }
 518
 519     dir = argv[1];
 520
 521     if (chdir(dir) < 0) {
 522         LOG(log_error, logtype_cnid, "chdir to %s failed: %s", dir, strerror(errno));
 523         exit(1);
 524     }
 525
 526     /* Before we do anything else, check if there is an instance of cnid_dbd
 527        running already and silently exit if yes. */
 528     lockfd = get_lock();
 529
 530     LOG(log_info, logtype_cnid, "Startup, DB dir %s", dir);
 531
 532     set_signal();
 533
 534     /* SIGINT and SIGTERM are always off, unless we get a return code of 0 from
 535        comm_rcv (no requests for one second, see above in loop()). That means we
 536        only shut down after one second of inactivity. */
 537     block_sigs_onoff(1);
 538
 539     if (dbif_env_init() < 0)
 540         exit(2); /* FIXME: same exit code as failure for dbif_open() */
 541
 542 #ifdef CNID_BACKEND_DBD_TXN
 543     if (dbif_txn_begin() < 0)
 544         exit(6);
 545 #endif
 546
 547     if (dbif_open(0) < 0) {
 548 #ifdef CNID_BACKEND_DBD_TXN
 549         dbif_txn_abort();
 550 #endif
 551         dbif_close();
 552         exit(2);
 553     }
 554
 555 #ifndef CNID_BACKEND_DBD_TXN
 556     if ((ret = dbd_check(dir))) {
 557         if (ret < 0) {
 558             dbif_close();
 559             exit(2);
 560         }
 561         dbif_closedb();
 562         LOG(log_info, logtype_cnid, "main: re-opening, secondaries will be rebuilt. This may take some time");
 563         if (dbif_open(1) < 0) {
 564             LOG(log_info, logtype_cnid, "main: re-opening databases failed");
 565             dbif_close();
 566             exit(2);
 567         }
 568         LOG(log_info, logtype_cnid, "main: rebuilt done");
 569     }
 570 #endif
 571
 572 #ifdef CNID_BACKEND_DBD_TXN
 573     if (dbif_txn_commit() < 0)
 574         exit(6);
 575 #endif
 576
 577 #ifndef CNID_BACKEND_DBD_TXN
 578     /* FIXME: Do we really need to sync before closing the DB? Just closing it
 579        should be enough. */
 580     if (dbif_sync() < 0)
 581         err++;
 582 #endif
 583
 584     if (dbif_close() < 0)
 585         err++;
 586
 587     free_lock(lockfd);
 588
 589     if (err)
 590         exit(4);
 591 #endif
 592     return 0;
 593 }