libatalk/cnid/cnid_open.c

   1 /*
   2  * $Id: cnid_open.c,v 1.25 2001-12-10 22:55:13 jmarcus Exp $
   3  *
   4  * Copyright (c) 1999. Adrian Sun (asun@zoology.washington.edu)
   5  * All Rights Reserved. See COPYRIGHT.
   6  *
   7  * CNID database support.
   8  *
   9  * here's the deal:
  10  *  1) afpd already caches did's.
  11  *  2) the database stores cnid's as both did/name and dev/ino pairs.
  12  *  3) RootInfo holds the value of the NextID.
  13  *  4) the cnid database gets called in the following manner --
  14  *     start a database:
  15  *     cnid = cnid_open(root_dir);
  16  *
  17  *     allocate a new id:
  18  *     newid = cnid_add(cnid, dev, ino, parent did,
  19  *     name, id); id is a hint for a specific id. pass 0 if you don't
  20  *     care. if the id is already assigned, you won't get what you
  21  *     requested.
  22  *
  23  *     given an id, get a did/name and dev/ino pair.
  24  *     name = cnid_get(cnid, &id); given an id, return the corresponding
  25  *     info.
  26  *     return code = cnid_delete(cnid, id); delete an entry.
  27  *
  28  * with AFP, CNIDs 0-2 have special meanings. here they are:
  29  * 0 -- invalid cnid
  30  * 1 -- parent of root directory (handled by afpd)
  31  * 2 -- root directory (handled by afpd)
  32  *
  33  * so, CNID_START begins at 3.
  34  */
  35
  36 #ifdef HAVE_CONFIG_H
  37 #include "config.h"
  38 #endif /* HAVE_CONFIG_H */
  39
  40 #ifdef CNID_DB
  41 #include <errno.h>
  42 #include <stdlib.h>
  43 #include <string.h>
  44 #ifdef HAVE_UNISTD_H
  45 #include <unistd.h>
  46 #endif /* HAVE_UNISTD_H */
  47 #ifdef HAVE_FCNTL_H
  48 #include <fcntl.h>
  49 #endif /* HAVE_FCNTL_H */
  50 #include <sys/param.h>
  51 #include <sys/stat.h>
  52 #include <syslog.h>
  53
  54 #include <db.h>
  55
  56 #include <atalk/adouble.h>
  57 #include <atalk/cnid.h>
  58 #include <atalk/util.h>
  59
  60 #include "cnid_private.h"
  61
  62 #ifndef MIN
  63 #define MIN(a, b)  ((a) < (b) ? (a) : (b))
  64 #endif /* ! MIN */
  65
  66 #define DBHOME       ".AppleDB"
  67 #define DBCNID       "cnid.db"
  68 #define DBDEVINO     "devino.db"
  69 #define DBDIDNAME    "didname.db"   /* did/full name mapping */
  70 #define DBSHORTNAME  "shortname.db" /* did/8+3 mapping */
  71 #define DBMACNAME    "macname.db"   /* did/31 mapping */
  72 #define DBLONGNAME   "longname.db"  /* did/unicode mapping */
  73 #define DBLOCKFILE   "cnid.lock"
  74 #define DBRECOVERFILE "cnid.dbrecover"
  75
  76 #define DBHOMELEN    8
  77 #define DBLEN        10
  78
  79 /* we version the did/name database so that we can change the format
  80  * if necessary. the key is in the form of a did/name pair. in this case,
  81  * we use 0/0. */
  82 #define DBVERSION_KEY    "\0\0\0\0\0"
  83 #define DBVERSION_KEYLEN 5
  84 #define DBVERSION1       0x00000001U
  85 #define DBVERSION        DBVERSION1
  86
  87 #if DB_VERSION_MINOR > 1
  88 #define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
  89 DB_INIT_LOG | DB_INIT_TXN)
  90 #else /* DB_VERSION_MINOR < 1 */
  91 #define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
  92 DB_INIT_LOG | DB_INIT_TXN | DB_TXN_NOSYNC)
  93 /*#define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
  94 DB_INIT_LOG | DB_INIT_TXN)*/
  95 #endif /* DB_VERSION_MINOR */
  96
  97 /* Let's try and use the random deadlock decider if available.  This adds
  98  * a bit of entropy to the mix that might be beneficial.  If random isn't
  99  * available, we'll decide deadlocks by kicking off the youngest process.
 100  * If we can't do that, then let DB3 use its default deadlock detector. */
 101 #ifdef DB_LOCK_RANDOM
 102 #define DEAD_LOCK_DETECT DB_LOCK_RANDOM
 103 #elif defined DB_LOCK_YOUNGEST
 104 #define DEAD_LOCK_DETECT DB_LOCK_YOUNGEST
 105 #else /* DB_LOCK_RANDOM */
 106 #define DEAD_LOCK_DETECT DB_LOCK_DEFAULT
 107 #endif /* DB_LOCK_RANDOM */
 108
 109 #define MAXITER     0xFFFF /* maximum number of simultaneously open CNID
 110 * databases. */
 111
 112 /* the first compare that's always done. */
 113 static __inline__ int compare_did(const DBT *a, const DBT *b)
 114 {
 115     u_int32_t dida, didb;
 116
 117     memcpy(&dida, a->data, sizeof(dida));
 118     memcpy(&didb, b->data, sizeof(didb));
 119     return dida - didb;
 120 }
 121
 122 /* sort did's and then names. this is for unix paths.
 123  * i.e., did/unixname lookups. */
 124 #if DB_VERSION_MINOR > 1
 125 static int compare_unix(DB *db, const DBT *a, const DBT *b)
 126 #else /* DB_VERSION_MINOR < 1 */
 127 static int compare_unix(const DBT *a, const DBT *b)
 128 #endif /* DB_VERSION_MINOR */
 129 {
 130     u_int8_t *sa, *sb;
 131     int len, ret;
 132
 133     /* sort by did */
 134     if ((ret = compare_did(a, b)))
 135         return ret;
 136
 137     sa = (u_int8_t *) a->data + 4; /* shift past did */
 138     sb = (u_int8_t *) b->data + 4;
 139     for (len = MIN(a->size, b->size); len-- > 4; sa++, sb++)
 140         if ((ret = (*sa - *sb)))
 141             return ret; /* sort by lexical ordering */
 142
 143     return a->size - b->size; /* sort by length */
 144 }
 145
 146 /* sort did's and then names. this is for macified paths (i.e.,
 147  * did/macname, and did/shortname. i think did/longname needs a
 148  * unicode table to work. also, we can't use strdiacasecmp as that
 149  * returns a match if a < b. */
 150 #if DB_VERSION_MINOR > 1
 151 static int compare_mac(DB *db, const DBT *a, const DBT *b)
 152 #else /* DB_VERSION_MINOR < 1 */
 153 static int compare_mac(const DBT *a, const DBT *b)
 154 #endif /* DB_VERSION_MINOR */
 155 {
 156     u_int8_t *sa, *sb;
 157     int len, ret;
 158
 159     /* sort by did */
 160     if ((ret = compare_did(a, b)))
 161         return ret;
 162
 163     sa = (u_int8_t *) a->data + 4;
 164     sb = (u_int8_t *) b->data + 4;
 165     for (len = MIN(a->size, b->size); len-- > 4; sa++, sb++)
 166         if ((ret = (_diacasemap[*sa] - _diacasemap[*sb])))
 167             return ret; /* sort by lexical ordering */
 168
 169     return a->size - b->size; /* sort by length */
 170 }
 171
 172
 173 /* for unicode names -- right now it's the same as compare_mac. */
 174 #if DB_VERSION_MINOR > 1
 175 static int compare_unicode(DB *db, const DBT *a, const DBT *b)
 176 #else /* DB_VERSION_MINOR < 1 */
 177 static int compare_unicode(const DBT *a, const DBT *b)
 178 #endif /* DB_VERSION_MINOR */
 179 {
 180 #if DB_VERSION_MINOR > 1
 181     return compare_mac(db,a,b);
 182 #else /* DB_VERSION_MINOR < 1 */
 183     return compare_mac(a,b);
 184 #endif /* DB_VERSION_MINOR */
 185 }
 186
 187 static int have_lock = 0;
 188
 189 void *cnid_open(const char *dir) {
 190     struct stat st, rsb;
 191     struct flock lock;
 192     char path[MAXPATHLEN + 1];
 193         char recover_file[MAXPATHLEN + 1];
 194     CNID_private *db;
 195     DBT key, data;
 196     DB_TXN *tid;
 197     u_int32_t DBEXTRAS = 0;
 198     int open_flag, len;
 199     int rc, rfd = -1;
 200
 201     if (!dir) {
 202         return NULL;
 203     }
 204
 205     /* this checks .AppleDB */
 206     if ((len = strlen(dir)) > (MAXPATHLEN - DBLEN - 1)) {
 207         syslog(LOG_ERR, "cnid_open: Pathname too large: %s", dir);
 208         return NULL;
 209     }
 210
 211     if ((db = (CNID_private *)calloc(1, sizeof(CNID_private))) == NULL) {
 212         syslog(LOG_ERR, "cnid_open: Unable to allocate memory for database");
 213         return NULL;
 214     }
 215
 216     db->magic = CNID_DB_MAGIC;
 217
 218     strcpy(path, dir);
 219     if (path[len - 1] != '/') {
 220         strcat(path, "/");
 221         len++;
 222     }
 223
 224     lock.l_type = F_WRLCK;
 225     lock.l_whence = SEEK_SET;
 226
 227     strcpy(path + len, DBHOME);
 228     if ((stat(path, &st) < 0) && (ad_mkdir(path, 0777) < 0)) {
 229         syslog(LOG_ERR, "cnid_open: DBHOME mkdir failed for %s", path);
 230         goto fail_adouble;
 231     }
 232
 233         /* Make sure cnid.lock goes in .AppleDB. */
 234         strcat(path, "/");
 235         len++;
 236
 237         strcpy(recover_file, path);
 238         strcat(recover_file, DBRECOVERFILE);
 239
 240     /* Search for a byte lock.  This allows us to cleanup the log files
 241      * at cnid_close() in a clean fashion.
 242      *
 243      * NOTE: This won't work if multiple volumes for the same user refer
 244      * to the sahe directory. */
 245     strcat(path, DBLOCKFILE);
 246     if ((db->lockfd = open(path, O_RDWR | O_CREAT, 0666)) > -1) {
 247         lock.l_start = 0;
 248         lock.l_len = 1;
 249         while (fcntl(db->lockfd, F_SETLK, &lock) < 0) {
 250                 if (++lock.l_start > MAXITER) {
 251                 syslog(LOG_ERR, "cnid_open: Cannot establish logfile cleanup for database environment %s lock (lock failed)", path);
 252                 close(db->lockfd);
 253                 db->lockfd = -1;
 254                 break;
 255                 }
 256         }
 257         }
 258     else {
 259         syslog(LOG_ERR, "cnid_open: Cannot establish logfile cleanup lock for database environment %s (open() failed)", path);
 260     }
 261
 262         /* Create a file to represent database recovery.  While this file
 263          * exists, the database is being recovered, and all other clients will
 264          * sleep until recovery is complete, and this file goes away. */
 265         if (!have_lock && db->lockfd > -1 && lock.l_start == 0) {
 266                 if (stat(recover_file, &rsb) < 0) {
 267                         if ((rfd = open(recover_file, O_RDWR | O_CREAT, 0666)) > -1) {
 268                         DBEXTRAS |= DB_RECOVER;
 269                                 have_lock = 1;
 270                         }
 271                 }
 272         }
 273         else if (!have_lock) {
 274                 while (stat(recover_file, &rsb) == 0) {
 275                         sleep(1);
 276                 }
 277         }
 278
 279     path[len + DBHOMELEN] = '\0';
 280     open_flag = DB_CREATE;
 281
 282     /* We need to be able to open the database environment with full
 283      * transaction, logging, and locking support if we ever hope to
 284      * be a true multi-acess file server. */
 285     if ((rc = db_env_create(&db->dbenv, 0)) != 0) {
 286         syslog(LOG_ERR, "cnid_open: db_env_create: %s", db_strerror(rc));
 287         goto fail_lock;
 288     }
 289
 290     /* Setup internal deadlock detection. */
 291     if ((rc = db->dbenv->set_lk_detect(db->dbenv, DEAD_LOCK_DETECT)) != 0) {
 292         syslog(LOG_ERR, "cnid_open: set_lk_detect: %s", db_strerror(rc));
 293         goto fail_lock;
 294     }
 295
 296 #if DB_VERSION_MINOR > 1
 297     /* Take care of setting the DB_TXN_NOSYNC flag in db3 > 3.1.x. */
 298     if ((rc = db->dbenv->set_flags(db->dbenv, DB_TXN_NOSYNC, 1)) != 0) {
 299         syslog(LOG_ERR, "cnid_open: set_flags: %s", db_strerror(rc));
 300         goto fail_lock;
 301     }
 302 #endif /* DB_VERSION_MINOR > 1 */
 303
 304     /* Open the database environment. */
 305     if ((rc = db->dbenv->open(db->dbenv, path, DBOPTIONS | DBEXTRAS, 0666)) != 0) {
 306         if (rc == DB_RUNRECOVERY) {
 307             /* This is the mother of all errors.  We _must_ fail here. */
 308             syslog(LOG_ERR, "cnid_open: CATASTROPHIC ERROR opening database environment %s.  Run db_recovery -c immediately", path);
 309             goto fail_lock;
 310         }
 311
 312         /* We can't get a full transactional environment, so multi-access
 313          * is out of the question.  Let's assume a read-only environment,
 314          * and try to at least get a shared memory pool. */
 315         if ((rc = db->dbenv->open(db->dbenv, path, DB_INIT_MPOOL, 0666)) != 0) {
 316             /* Nope, not a MPOOL, either.  Last-ditch effort: we'll try to
 317              * open the environment with no flags. */
 318             if ((rc = db->dbenv->open(db->dbenv, path, 0, 0666)) != 0) {
 319                 syslog(LOG_ERR, "cnid_open: dbenv->open of %s failed: %s",
 320                        path, db_strerror(rc));
 321                 goto fail_lock;
 322             }
 323         }
 324         db->flags |= CNIDFLAG_DB_RO;
 325         open_flag = DB_RDONLY;
 326         syslog(LOG_INFO, "cnid_open: Obtained read-only database environment %s", path);
 327     }
 328
 329         /* If we have the recovery lock, close the file, remove it, so other
 330          * clients can proceed opening the DB environment. */
 331         if (rfd > -1) {
 332                 close(rfd);
 333                 (void)remove(recover_file);
 334                 rfd = -1;
 335         }
 336
 337     /* did/name reverse mapping.  We use a BTree for this one. */
 338     if ((rc = db_create(&db->db_didname, db->dbenv, 0)) != 0) {
 339         syslog(LOG_ERR, "cnid_open: Failed to create did/name database: %s",
 340                db_strerror(rc));
 341         goto fail_appinit;
 342     }
 343
 344     db->db_didname->set_bt_compare(db->db_didname, &compare_unix);
 345     if ((rc = db->db_didname->open(db->db_didname, DBDIDNAME, NULL,
 346                                    DB_BTREE, open_flag, 0666))) {
 347         syslog(LOG_ERR, "cnid_open: Failed to open did/name database: %s",
 348                db_strerror(rc));
 349         goto fail_appinit;
 350     }
 351
 352     /* Check for version.  This way we can update the database if we need
 353      * to change the format in any way. */
 354     memset(&key, 0, sizeof(key));
 355     memset(&data, 0, sizeof(data));
 356     key.data = DBVERSION_KEY;
 357     key.size = DBVERSION_KEYLEN;
 358
 359 dbversion_retry:
 360     if ((rc = txn_begin(db->dbenv, NULL, &tid, 0)) != 0) {
 361         syslog(LOG_ERR, "cnid_open: txn_begin: failed to check db version: %s",
 362                db_strerror(rc));
 363         db->db_didname->close(db->db_didname, 0);
 364         goto fail_appinit;
 365     }
 366
 367     while ((rc = db->db_didname->get(db->db_didname, tid, &key, &data, DB_RMW))) {
 368         int ret;
 369         switch (rc) {
 370         case DB_LOCK_DEADLOCK:
 371             if ((ret = txn_abort(tid)) != 0) {
 372                 syslog(LOG_ERR, "cnid_open: txn_abort: %s", db_strerror(ret));
 373                 db->db_didname->close(db->db_didname, 0);
 374                 goto fail_appinit;
 375             }
 376             goto dbversion_retry;
 377         case DB_NOTFOUND:
 378             {
 379                 u_int32_t version = htonl(DBVERSION);
 380
 381                 data.data = &version;
 382                 data.size = sizeof(version);
 383             }
 384
 385             if ((ret = db->db_didname->put(db->db_didname, tid, &key, &data,
 386                                            DB_NOOVERWRITE))) {
 387                 if (ret == DB_LOCK_DEADLOCK) {
 388                     if ((ret = txn_abort(tid)) != 0) {
 389                         syslog(LOG_ERR, "cnid_open: txn_abort: %s",
 390                                db_strerror(ret));
 391                         db->db_didname->close(db->db_didname, 0);
 392                         goto fail_appinit;
 393                     }
 394                     goto dbversion_retry;
 395                 }
 396                 else if (ret == DB_RUNRECOVERY) {
 397                     /* At this point, we don't care if the transaction aborts
 398                      * successfully or not. */
 399                     txn_abort(tid);
 400                     syslog(LOG_ERR, "cnid_open: Error putting new version: %s",
 401                            db_strerror(ret));
 402                     db->db_didname->close(db->db_didname, 0);
 403                     goto fail_appinit;
 404                 }
 405             }
 406             break; /* while loop */
 407         default:
 408             txn_abort(tid);
 409             syslog(LOG_ERR, "cnid_open: Failed to check db version: %s",
 410                    db_strerror(rc));
 411             db->db_didname->close(db->db_didname, 0);
 412             goto fail_appinit;
 413         }
 414     }
 415
 416     if ((rc = txn_commit(tid, 0)) != 0) {
 417         syslog(LOG_ERR, "cnid_open: Failed to commit db version: %s",
 418                db_strerror(rc));
 419         db->db_didname->close(db->db_didname, 0);
 420         goto fail_appinit;
 421     }
 422
 423     /* TODO In the future we might check for version number here. */
 424 #if 0
 425     memcpy(&version, data.data, sizeof(version));
 426     if (version != ntohl(DBVERSION)) {
 427         /* Do stuff here. */
 428     }
 429 #endif /* 0 */
 430
 431 #ifdef EXTENDED_DB
 432     /* did/macname (31 character) mapping.  Use a BTree for this one. */
 433     if ((rc = db_create(&db->db_macname, db->dbenv, 0)) != 0) {
 434         syslog(LOG_ERR, "cnid_open: Failed to create did/macname database: %s",
 435                db_strerror(rc));
 436         db->db_didname->close(db->db_didname, 0);
 437         goto fail_appinit;
 438     }
 439
 440     db->db_macname->set_bt_compare(db->db_macname, &compare_mac);
 441     if ((rc = db->db_macname->open(db->db_macname, DBMACNAME, NULL, DB_BTREE, open_flag, 0666)) != 0) {
 442         syslog(LOG_ERR, "cnid_open: Failed to open did/macname database: %s",
 443                db_strerror(rc));
 444         db->db_didname->close(db->db_didname, 0);
 445         goto fail_appinit;
 446     }
 447
 448     /* did/shortname (DOS 8.3) mapping.  Use a BTree for this one. */
 449     if ((rc = db_create(&db->db_shortname, db->dbenv, 0)) != 0) {
 450         syslog(LOG_ERR, "cnid_open: Failed to create did/shortname database: %s",
 451                db_strerror(rc));
 452         db->db_didname->close(db->db_didname, 0);
 453         db->db_macname->close(db->db_macname, 0);
 454         goto fail_appinit;
 455     }
 456
 457     db->db_shortname->set_bt_compare(db->db_shortname, &compare_mac);
 458     if ((rc = db->db_shortname->open(db->db_shortname, DBSHORTNAME, NULL, DB_BTREE, open_flag, 0666)) != 0) {
 459         syslog(LOG_ERR, "cnid_open: Failed to open did/shortname database: %s",
 460                db_strerror(rc));
 461         db->db_didname->close(db->db_didname, 0);
 462         db->db_macname->close(db->db_macname, 0);
 463         goto fail_appinit;
 464     }
 465
 466     /* did/longname (Unicode) mapping.  Use a BTree for this one. */
 467     if ((rc = db_create(&db->db_longname, db->dbenv, 0)) != 0) {
 468         syslog(LOG_ERR, "cnid_open: Failed to create did/longname database: %s",
 469                db_strerror(rc));
 470         db->db_didname->close(db->db_didname, 0);
 471         db->db_macname->close(db->db_macname, 0);
 472         db->db_shortname->close(db->db_shortname, 0);
 473         goto fail_appinit;
 474     }
 475
 476     db->db_longname->set_bt_compare(db->db_longname, &compare_unicode);
 477     if ((rc = db->db_longname->open(db->db_longname, DBLONGNAME, NULL, DB_BTREE, open_flag, 0666)) != 0) {
 478         syslog(LOG_ERR, "cnid_open: Failed to open did/longname database: %s",
 479                db_strerror(rc));
 480         db->db_didname->close(db->db_didname, 0);
 481         db->db_macname->close(db->db_macname, 0);
 482         db->db_shortname->close(db->db_shortname, 0);
 483         goto fail_appinit;
 484     }
 485 #endif /* EXTENDED_DB */
 486
 487     /* dev/ino reverse mapping.  Use a hash for this one. */
 488     if ((rc = db_create(&db->db_devino, db->dbenv, 0)) != 0) {
 489         syslog(LOG_ERR, "cnid_open: Failed to create dev/ino database: %s",
 490                db_strerror(rc));
 491         db->db_didname->close(db->db_didname, 0);
 492 #ifdef EXTENDED_DB
 493         db->db_macname->close(db->db_macname, 0);
 494         db->db_shortname->close(db->db_shortname, 0);
 495         db->db_longname->close(db->db_longname, 0);
 496 #endif /* EXTENDED_DB */
 497         goto fail_appinit;
 498     }
 499
 500     if ((rc = db->db_devino->open(db->db_devino, DBDEVINO, NULL, DB_HASH, open_flag, 0666)) != 0) {
 501         syslog(LOG_ERR, "cnid_open: Failed to open devino database: %s",
 502                db_strerror(rc));
 503         db->db_didname->close(db->db_didname, 0);
 504 #ifdef EXTENDED_DB
 505         db->db_macname->close(db->db_macname, 0);
 506         db->db_shortname->close(db->db_shortname, 0);
 507         db->db_longname->close(db->db_longname, 0);
 508 #endif /* EXTENDED_DB */
 509         goto fail_appinit;
 510     }
 511
 512     /* Main CNID database.  Use a hash for this one. */
 513     if ((rc = db_create(&db->db_cnid, db->dbenv, 0)) != 0) {
 514         syslog(LOG_ERR, "cnid_open: Failed to create cnid database: %s",
 515                db_strerror(rc));
 516         db->db_didname->close(db->db_didname, 0);
 517 #ifdef EXTENDED_DB
 518         db->db_macname->close(db->db_macname, 0);
 519         db->db_shortname->close(db->db_shortname, 0);
 520         db->db_longname->close(db->db_longname, 0);
 521 #endif /* EXTENDED_DB */
 522         db->db_devino->close(db->db_devino, 0);
 523         goto fail_appinit;
 524     }
 525
 526
 527     if ((rc = db->db_cnid->open(db->db_cnid, DBCNID, NULL, DB_HASH, open_flag, 0666)) != 0) {
 528         syslog(LOG_ERR, "cnid_open: Failed to open dev/ino database: %s",
 529                db_strerror(rc));
 530         db->db_didname->close(db->db_didname, 0);
 531 #ifdef EXTENDED_DB
 532         db->db_macname->close(db->db_macname, 0);
 533         db->db_shortname->close(db->db_shortname, 0);
 534         db->db_longname->close(db->db_longname, 0);
 535 #endif /* EXTENDED_DB */
 536         goto fail_appinit;
 537     }
 538
 539     return db;
 540
 541 fail_appinit:
 542     syslog(LOG_ERR, "cnid_open: Failed to setup CNID DB environment");
 543     db->dbenv->close(db->dbenv, 0);
 544
 545 fail_lock:
 546     if (db->lockfd > -1) {
 547         close(db->lockfd);
 548     }
 549
 550 fail_adouble:
 551
 552 fail_db:
 553     free(db);
 554     return NULL;
 555 }
 556 #endif /* CNID_DB */
 557
 558