]> arthur.barton.de Git - netatalk.git/commitdiff
MFH: Sync CNID DB code with HEAD.
authorjmarcus <jmarcus>
Sat, 15 Dec 2001 06:35:28 +0000 (06:35 +0000)
committerjmarcus <jmarcus>
Sat, 15 Dec 2001 06:35:28 +0000 (06:35 +0000)
ChangeLog
libatalk/cnid/cnid_add.c
libatalk/cnid/cnid_close.c
libatalk/cnid/cnid_delete.c
libatalk/cnid/cnid_get.c
libatalk/cnid/cnid_lookup.c
libatalk/cnid/cnid_nextid.c
libatalk/cnid/cnid_open.c
libatalk/cnid/cnid_private.h
libatalk/cnid/cnid_resolve.c
libatalk/cnid/cnid_update.c

index 1e493e1328be3cbebbff76e6525f5645777a15f5..97a761725032e5a9f5ad5be5a4773bea6128da75 100644 (file)
--- a/ChangeLog
+++ b/ChangeLog
@@ -2,6 +2,8 @@
        * etc/afpd/unix.c: MFH: Fix afpd sharing NFSv3 mounts (thanks to
          Pierre Beyssac <beyssac@enst.fr>)
 
+       * libatalk/cnid/*.[ch]: MFH: Sync CNID DB code with HEAD.
+
 2001-12-03  joe c  <marcus@marcuscom.com>
        * etc/afpd/*.[ch], libatalk/cnid/*.[ch]: Big commit to clean up code
        with astyle (readable code is hackable code).  Also committed a fix
index a8236258e2d140811009671614db507a09862f0b..6591088a7d91f2c2b42ba55090f422fdb748c25b 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_add.c,v 1.14.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_add.c,v 1.14.2.3 2001-12-15 06:35:28 jmarcus Exp $
  *
  * Copyright (c) 1999. Adrian Sun (asun@zoology.washington.edu)
  * All Rights Reserved. See COPYRIGHT.
@@ -220,12 +220,14 @@ retry_get:
     }
 
 
+    if (0) {
 retry:
-    t.tv_usec = rand() % 1000000;
+        t.tv_usec = rand() % 1000000;
 #ifdef DEBUG
-    syslog(LOG_INFO, "cnid_add: Hitting MAX_ABORTS, sleeping");
+        syslog(LOG_INFO, "cnid_add: Hitting MAX_ABORTS, sleeping");
 #endif
-    (void)select(0, NULL, NULL, NULL, &t);
+        (void)select(0, NULL, NULL, NULL, &t);
+    }
     if ((rc = txn_begin(db->dbenv, NULL, &tid, 0)) != 0) {
         syslog(LOG_ERR, "cnid_add: Failed to begin transaction: %s",
                db_strerror(rc));
index dde16a7ee53235e356404e87d7b536077eaee6c7..ecef6c4ec15b481ec3c3f251b8013b6dc843e918 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_close.c,v 1.12.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_close.c,v 1.12.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifdef HAVE_CONFIG_H
@@ -34,38 +34,49 @@ void cnid_close(void *CNID) {
     /* Flush the transaction log and delete the log file if we can. */
     if ((db->lockfd > -1) && ((db->flags & CNIDFLAG_DB_RO) == 0)) {
         struct flock lock;
-        char wd[MAXPATHLEN + 1];
-
-        /* Save the current working directory so we can restore it
-         * when we're done. */
-        getcwd(wd, MAXPATHLEN);
 
         lock.l_type = F_WRLCK;
         lock.l_whence = SEEK_SET;
         lock.l_start = lock.l_len = 0;
         if (fcntl(db->lockfd, F_SETLK, &lock) == 0) {
             char **list, **first;
+            int cfd = -1;
+
+            if ((cfd = open(db->close_file, O_RDWR | O_CREAT, 0666)) > -1) {
+
+                /* Checkpoint the databases until we can checkpoint no
+                 * more. */
+                rc = txn_checkpoint(db->dbenv, 0, 0, 0);
+                while (rc == DB_INCOMPLETE) {
+                    rc = txn_checkpoint(db->dbenv, 0, 0, 0);
+                }
 
-            chdir(db->dbenv->db_log_dir ? db->dbenv->db_log_dir : db->dbenv->db_home);
 #if DB_VERSION_MINOR > 2
-            if ((rc = log_archive(db->dbenv, &list, 0)) != 0) {
+                if ((rc = log_archive(db->dbenv, &list, DB_ARCH_LOG | DB_ARCH_ABS)) != 0) {
 #else /* DB_VERSION_MINOR < 2 */
-            if ((rc = log_archive(db->dbenv, &list, 0, NULL)) != 0) {
+                if ((rc = log_archive(db->dbenv, &list, DB_ARCH_LOG | DB_ARCH_ABS, NULL)) != 0) {
 #endif /* DB_VERSION_MINOR */
-                syslog(LOG_ERR, "cnid_close: Unable to archive logfiles: %s",
-                       db_strerror(rc));
-            }
+                    syslog(LOG_ERR, "cnid_close: Unable to archive logfiles: %s",
+                           db_strerror(rc));
+                }
 
-            if (list != NULL) {
-                for (first = list; *list != NULL; ++list) {
-                    if ((rc = remove(*list)) != 0) {
-                        syslog(LOG_INFO, "cnid_close: failed to remove %s: %s",
-                               *list, strerror(rc));
+                if (list != NULL) {
+                    for (first = list; *list != NULL; ++list) {
+                        if ((rc = remove(*list)) != 0) {
+#ifdef DEBUG
+                            syslog(LOG_INFO, "cnid_close: failed to remove %s: %s",
+                                   *list, strerror(rc));
+#endif
+                        }
                     }
+                    free(first);
                 }
-                free(first);
+                (void)remove(db->close_file);
+                close(cfd);
+            }
+            else {
+                syslog(LOG_ERR, "cnid_close: Failed to open database closing lock file: %s", strerror(errno));
             }
-            chdir(wd);
         }
     }
 
index a4b0f3477c41ff462062f62784c57c5ee8c7f13e..a151f7b4a12f15bb671163f3a144887fc214a740 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_delete.c,v 1.9.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_delete.c,v 1.9.2.3 2001-12-15 06:35:28 jmarcus Exp $
  *
  * Copyright (c) 1999. Adrian Sun (asun@zoology.washington.edu)
  * All Rights Reserved. See COPYRIGHT.
@@ -28,7 +28,7 @@ int cnid_delete(void *CNID, const cnid_t id) {
     CNID_private *db;
     DBT key, data;
     DB_TXN *tid;
-    int rc;
+    int rc, found = 0;
 
     if (!(db = CNID) || !id || (db->flags & CNIDFLAG_DB_RO)) {
         return -1;
@@ -37,6 +37,30 @@ int cnid_delete(void *CNID, const cnid_t id) {
     memset(&key, 0, sizeof(key));
     memset(&data, 0, sizeof(data));
 
+    /* Get from ain CNID database. */
+    key.data = (cnid_t *)&id;
+    key.size = sizeof(id);
+    while (!found) {
+        rc = db->db_cnid->get(db->db_cnid, NULL, &key, &data, 0);
+        switch (rc) {
+        case 0:
+            found = 1;
+            break;
+        case DB_LOCK_DEADLOCK:
+            break;
+        case DB_NOTFOUND:
+#ifdef DEBUG
+            syslog(LOG_INFO, "cnid_delete: CNID %u not in database",
+                   ntohl(id));
+#endif
+            return 0;
+        default:
+            syslog(LOG_ERR, "cnid_delete: Unable to delete entry: %s",
+                   db_strerror(rc));
+            return rc;
+        }
+    }
+
 retry:
     if ((rc = txn_begin(db->dbenv, NULL, &tid, 0)) != 0) {
         syslog(LOG_ERR, "cnid_delete: Failed to begin transaction: %s",
@@ -44,10 +68,10 @@ retry:
         return rc;
     }
 
-    /* Get from ain CNID database. */
+    /* Now delete from the main CNID database. */
     key.data = (cnid_t *)&id;
     key.size = sizeof(id);
-    if ((rc = db->db_cnid->get(db->db_cnid, tid, &key, &data, 0))) {
+    if ((rc = db->db_cnid->del(db->db_cnid, tid, &key, 0))) {
         int ret;
         if ((ret = txn_abort(tid)) != 0) {
             syslog(LOG_ERR, "cnid_delete: txn_abort: %s", db_strerror(ret));
@@ -56,14 +80,8 @@ retry:
         switch (rc) {
         case DB_LOCK_DEADLOCK:
             goto retry;
-        case DB_NOTFOUND:
-            syslog(LOG_INFO, "cnid_delete: CNID %u not in database",
-                   ntohl(id));
-            return 0;
         default:
-            syslog(LOG_ERR, "cnid_delete: Unable to delete entry: %s",
-                   db_strerror(rc));
-            return rc;
+            goto abort_err;
         }
     }
 
@@ -94,7 +112,6 @@ retry:
 
     /* Get data from the did/name database.
      * TODO Also handle did/macname, did/shortname, and did/longname. */
-
     key.data = (char *)data.data + CNID_DEVINO_LEN;
     key.size = data.size - CNID_DEVINO_LEN;
     if ((rc = db->db_didname->del(db->db_didname, tid, &key, 0))) {
@@ -118,23 +135,6 @@ retry:
         }
     }
 
-    /* Now delete from the main CNID database. */
-    key.data = (cnid_t *)&id;
-    key.size = sizeof(id);
-    if ((rc = db->db_cnid->del(db->db_cnid, tid, &key, 0))) {
-        int ret;
-        if ((ret = txn_abort(tid)) != 0) {
-            syslog(LOG_ERR, "cnid_delete: txn_abort: %s", db_strerror(ret));
-            return ret;
-        }
-        switch (rc) {
-        case DB_LOCK_DEADLOCK:
-            goto retry;
-        default:
-            goto abort_err;
-        }
-    }
-
 #ifdef DEBUG
     syslog(LOG_INFO, "cnid_delete: Deleting CNID %u", ntohl(id));
 #endif
index c10faf72b09895c7757e4904d26461bde5a8e63f..53ca2212851e5dbbaa05fa67ab8930285b8de8f4 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_get.c,v 1.9.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_get.c,v 1.9.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifdef HAVE_CONFIG_H
index 7e1d9c6c620817af854150093a7d4df4db1cd270..01acaff3406c251deffbba26175931a7799d8c67 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_lookup.c,v 1.9.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_lookup.c,v 1.9.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifdef HAVE_CONFIG_H
index 9d0491416d4333aa8bd7b488d4c9f0d488380153..3742fbbef9306d6ec1c930ccd38a73b16b1a7e8a 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_nextid.c,v 1.6.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_nextid.c,v 1.6.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 #ifdef unused
 
index bdf86bbffa2eb24d7e73740fa9e26303a1a71244..02c07ee00dd27d1d117105159d46bb39a38cd96f 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_open.c,v 1.19.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_open.c,v 1.19.2.3 2001-12-15 06:35:28 jmarcus Exp $
  *
  * Copyright (c) 1999. Adrian Sun (asun@zoology.washington.edu)
  * All Rights Reserved. See COPYRIGHT.
@@ -50,6 +50,9 @@
 #include <sys/param.h>
 #include <sys/stat.h>
 #include <syslog.h>
+#ifdef HAVE_SYS_TIME_H
+#include <sys/time.h>
+#endif /* HAVE_SYS_TIME_H */
 
 #include <db.h>
 
 #define MIN(a, b)  ((a) < (b) ? (a) : (b))
 #endif /* ! MIN */
 
-#define DBHOME       ".AppleDB"
-#define DBCNID       "cnid.db"
-#define DBDEVINO     "devino.db"
-#define DBDIDNAME    "didname.db"   /* did/full name mapping */
-#define DBSHORTNAME  "shortname.db" /* did/8+3 mapping */
-#define DBMACNAME    "macname.db"   /* did/31 mapping */
-#define DBLONGNAME   "longname.db"  /* did/unicode mapping */
-#define DBLOCKFILE   "cnid.lock"
+#define DBHOME        ".AppleDB"
+#define DBCNID        "cnid.db"
+#define DBDEVINO      "devino.db"
+#define DBDIDNAME     "didname.db"   /* did/full name mapping */
+#define DBSHORTNAME   "shortname.db" /* did/8+3 mapping */
+#define DBMACNAME     "macname.db"   /* did/31 mapping */
+#define DBLONGNAME    "longname.db"  /* did/unicode mapping */
+#define DBLOCKFILE    "cnid.lock"
+#define DBRECOVERFILE "cnid.dbrecover"
+#define DBCLOSEFILE   "cnid.close"
 
 #define DBHOMELEN    8
 #define DBLEN        10
 #define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
 DB_INIT_LOG | DB_INIT_TXN)
 #else /* DB_VERSION_MINOR < 1 */
-/*#define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
-DB_INIT_LOG | DB_INIT_TXN | DB_TXN_NOSYNC)*/
 #define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
-DB_INIT_LOG | DB_INIT_TXN)
+DB_INIT_LOG | DB_INIT_TXN | DB_TXN_NOSYNC)
+/*#define DBOPTIONS    (DB_CREATE | DB_INIT_MPOOL | DB_INIT_LOCK | \
+DB_INIT_LOG | DB_INIT_TXN)*/
 #endif /* DB_VERSION_MINOR */
 
+/* Let's try and use the random deadlock decider if available.  This adds
+ * a bit of entropy to the mix that might be beneficial.  If random isn't
+ * available, we'll decide deadlocks by kicking off the youngest process.
+ * If we can't do that, then let DB3 use its default deadlock detector. */
+#ifdef DB_LOCK_RANDOM
+#define DEAD_LOCK_DETECT DB_LOCK_RANDOM
+#elif defined DB_LOCK_YOUNGEST
+#define DEAD_LOCK_DETECT DB_LOCK_YOUNGEST
+#else /* DB_LOCK_RANDOM */
+#define DEAD_LOCK_DETECT DB_LOCK_DEFAULT
+#endif /* DB_LOCK_RANDOM */
+
 #define MAXITER     0xFFFF /* maximum number of simultaneously open CNID
 * databases. */
 
@@ -174,15 +191,16 @@ static int compare_unicode(const DBT *a, const DBT *b)
 static int have_lock = 0;
 
 void *cnid_open(const char *dir) {
-    struct stat st;
+    struct stat st, rsb, csb;
     struct flock lock;
     char path[MAXPATHLEN + 1];
+    char recover_file[MAXPATHLEN + 1];
     CNID_private *db;
     DBT key, data;
     DB_TXN *tid;
     u_int32_t DBEXTRAS = 0;
     int open_flag, len;
-    int rc;
+    int rc, rfd = -1;
 
     if (!dir) {
         return NULL;
@@ -216,6 +234,25 @@ void *cnid_open(const char *dir) {
         goto fail_adouble;
     }
 
+    /* Make sure cnid.lock goes in .AppleDB. */
+    strcat(path, "/");
+    len++;
+
+    strcpy(db->close_file, path);
+    strcat(db->close_file, DBCLOSEFILE);
+
+    /* Check to make sure that a client isn't in the process of closing
+     * the database environment.  To do this, select on the close file. */
+    while(stat(db->close_file, &csb) == 0) {
+        struct timeval ct;
+        ct.tv_sec = 1;
+        ct.tv_usec = 0;
+        (void)select(0, NULL, NULL, NULL, &ct);
+    }
+
+    strcpy(recover_file, path);
+    strcat(recover_file, DBRECOVERFILE);
+
     /* Search for a byte lock.  This allows us to cleanup the log files
      * at cnid_close() in a clean fashion.
      *
@@ -227,7 +264,7 @@ void *cnid_open(const char *dir) {
         lock.l_len = 1;
         while (fcntl(db->lockfd, F_SETLK, &lock) < 0) {
             if (++lock.l_start > MAXITER) {
-                syslog(LOG_INFO, "cnid_open: Cannot establish logfile cleanup for database environment %s lock (lock failed)", path);
+                syslog(LOG_ERR, "cnid_open: Cannot establish logfile cleanup for database environment %s lock (lock failed)", path);
                 close(db->lockfd);
                 db->lockfd = -1;
                 break;
@@ -235,20 +272,29 @@ void *cnid_open(const char *dir) {
         }
     }
     else {
-        syslog(LOG_INFO, "cnid_open: Cannot establish logfile cleanup lock for database environment %s (open() failed)", path);
+        syslog(LOG_ERR, "cnid_open: Cannot establish logfile cleanup lock for database environment %s (open() failed)", path);
     }
 
+    /* Create a file to represent database recovery.  While this file
+     * exists, the database is being recovered, and all other clients will
+     * select until recovery is complete, and this file goes away. */
     if (!have_lock && db->lockfd > -1 && lock.l_start == 0) {
-        /* We test to see if we have exclusive database access.  If we do, we
-         * will open the database with the DB_RECOVER flag.
-         */
-#ifdef DEBUG
-        syslog(LOG_INFO, "cnid_open: Opening database environment %s with DB_RECOVER flag", path);
-#endif
-        DBEXTRAS |= DB_RECOVER;
-        have_lock = 1;
+        if (stat(recover_file, &rsb) == 0) {
+            (void)remove(recover_file);
+        }
+        if ((rfd = open(recover_file, O_RDWR | O_CREAT, 0666)) > -1) {
+            DBEXTRAS |= DB_RECOVER;
+            have_lock = 1;
+        }
+    }
+    else if (!have_lock) {
+        while (stat(recover_file, &rsb) == 0) {
+            struct timeval rt;
+            rt.tv_sec = 1;
+            rt.tv_usec = 0;
+            (void)select(0, NULL, NULL, NULL, &rt);
+        }
     }
-
 
     path[len + DBHOMELEN] = '\0';
     open_flag = DB_CREATE;
@@ -262,17 +308,17 @@ void *cnid_open(const char *dir) {
     }
 
     /* Setup internal deadlock detection. */
-    if ((rc = db->dbenv->set_lk_detect(db->dbenv, DB_LOCK_DEFAULT)) != 0) {
+    if ((rc = db->dbenv->set_lk_detect(db->dbenv, DEAD_LOCK_DETECT)) != 0) {
         syslog(LOG_ERR, "cnid_open: set_lk_detect: %s", db_strerror(rc));
         goto fail_lock;
     }
 
 #if DB_VERSION_MINOR > 1
     /* Take care of setting the DB_TXN_NOSYNC flag in db3 > 3.1.x. */
-    /* if ((rc = db->dbenv->set_flags(db->dbenv, DB_TXN_NOSYNC, 1)) != 0) {
-               syslog(LOG_ERR, "cnid_open: set_flags: %s", db_strerror(rc));
-               goto fail_lock;
-       }*/
+    if ((rc = db->dbenv->set_flags(db->dbenv, DB_TXN_NOSYNC, 1)) != 0) {
+        syslog(LOG_ERR, "cnid_open: set_flags: %s", db_strerror(rc));
+        goto fail_lock;
+    }
 #endif /* DB_VERSION_MINOR > 1 */
 
     /* Open the database environment. */
@@ -300,6 +346,22 @@ void *cnid_open(const char *dir) {
         syslog(LOG_INFO, "cnid_open: Obtained read-only database environment %s", path);
     }
 
+    /* If we have the recovery lock, close the file, remove it, so other
+     * clients can proceed opening the DB environment. */
+    if (rfd > -1) {
+        (void)remove(recover_file);
+        switch(errno) {
+        case 0:
+        case ENOENT:
+            break;
+        default:
+            syslog(LOG_ERR, "cnid_open: Unable to remove %s: %s",
+                   recover_file, strerror(errno));
+        }
+        close(rfd);
+        rfd = -1;
+    }
+
     /* did/name reverse mapping.  We use a BTree for this one. */
     if ((rc = db_create(&db->db_didname, db->dbenv, 0)) != 0) {
         syslog(LOG_ERR, "cnid_open: Failed to create did/name database: %s",
@@ -512,6 +574,10 @@ fail_lock:
     if (db->lockfd > -1) {
         close(db->lockfd);
     }
+    if (rfd > -1) {
+        (void)remove(recover_file);
+        close(rfd);
+    }
 
 fail_adouble:
 
index 8c19c9ca7cea903ed7d179c0923cc85625bfa727..a315dfb5db709d3b3a6bee1f4c3ecbbdeda55059 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_private.h,v 1.3.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_private.h,v 1.3.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifndef LIBATALK_CNID_PRIVATE_H
@@ -46,6 +46,7 @@ typedef struct CNID_private {
 #endif /* EXTENDED_DB */
     DB_ENV* dbenv;
     int lockfd, flags;
+    char close_file[MAXPATHLEN + 1];
 } CNID_private;
 
 /* on-disk data format (in network byte order where appropriate) --
index 41a7dbee2a823b1ab3db490030d938327abc36bf..023a8f60f4d0d74444cf0188e8916e0ece38b242 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_resolve.c,v 1.8.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_resolve.c,v 1.8.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifdef HAVE_CONFIG_H
index d83753b0e83e41e0e1ca8ec7652190e6cc213fa4..c8d6b52d21801eeb6c67c08b5df8c6d829766410 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $Id: cnid_update.c,v 1.12.2.2 2001-12-03 15:53:39 jmarcus Exp $
+ * $Id: cnid_update.c,v 1.12.2.3 2001-12-15 06:35:28 jmarcus Exp $
  */
 
 #ifdef HAVE_CONFIG_H
@@ -56,6 +56,11 @@ retry:
         switch (rc) {
         case DB_LOCK_DEADLOCK:
             goto retry;
+        case DB_NOTFOUND:
+            /* Silently fail here.  We're allowed to do this since this CNID
+             * might have been deleted out from under us, or someone has
+             * called cnid_lookup then cnid_update (which is redundant). */
+            return 0;
         default:
             goto update_err;
         }