]> arthur.barton.de Git - netatalk.git/blob - etc/cnid_dbd/dbif.c
Commit rootinfo key txn and open dbenv with path not just .
[netatalk.git] / etc / cnid_dbd / dbif.c
1 /*
2  * Copyright (C) Joerg Lenneis 2003
3  * Copyright (C) Frank Lahm 2009
4  * All Rights Reserved.  See COPYING.
5  */
6
7 #ifdef HAVE_CONFIG_H
8 #include "config.h"
9 #endif /* HAVE_CONFIG_H */
10
11 #include <stdio.h>
12 #include <errno.h>
13 #include <stdlib.h>
14 #include <string.h>
15 #include <sys/types.h>
16 #include <sys/stat.h>
17 #include <sys/cdefs.h>
18 #include <unistd.h>
19
20 #include <db.h>
21
22 #include <atalk/logger.h>
23 #include <atalk/util.h>
24
25 #include "db_param.h"
26 #include "dbif.h"
27 #include "pack.h"
28
29 #define DB_ERRLOGFILE "db_errlog"
30
31 /*!
32  * Get the db stamp which is the st_ctime of the file "cnid2.db" and store it in buffer
33  */
34 static int dbif_stamp(DBD *dbd, void *buffer, int size)
35 {
36     struct stat st;
37     int         rc,cwd;
38
39     if (size < 8)
40         return -1;
41
42     /* Remember cwd */
43     if ((cwd = open(".", O_RDONLY)) < 0) {
44         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
45         return -1;
46     }
47
48     /* chdir to db_envhome */
49     if ((chdir(dbd->db_envhome)) != 0) {
50         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
51         return -1;
52     }
53
54     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
55         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(errno));
56         return -1;
57     }
58
59     LOG(log_maxdebug, logtype_cnid,"stamp: %s", asctime(localtime(&st.st_ctime)));
60
61     memset(buffer, 0, size);
62     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
63
64     if ((fchdir(cwd)) != 0) {
65         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
66         return -1;
67     }
68
69     return 0;
70 }
71
72 /*!
73  * Inititialize rootinfo key (which has CNID 0 as key)
74  *
75  * This also "stamps" the database, which means storing st.st_ctime of the
76  * "cnid2.db" file in the rootinfo data at the DEV offset
77  *
78  * @param dbd      (rw) database handle
79  * @param version  (r)  database version number
80  *
81  * @returns -1 on error, 0 on success
82  */
83 static int dbif_init_rootinfo(DBD *dbd, int version)
84 {
85     DBT key, data;
86     uint32_t v;
87     char buf[ROOTINFO_DATALEN];
88
89     LOG(log_debug, logtype_cnid, "Setting CNID database version to %u", version);
90
91     v = version;
92     v = htonl(v);
93
94     memset(&key, 0, sizeof(key));
95     memset(&data, 0, sizeof(data));
96     key.data = ROOTINFO_KEY;
97     key.size = ROOTINFO_KEYLEN;
98     data.data = buf;
99     data.size = ROOTINFO_DATALEN;
100
101     memcpy(buf, ROOTINFO_DATA, ROOTINFO_DATALEN);
102     memcpy(buf + CNID_DID_OFS, &v, sizeof(v));
103     if (dbif_stamp(dbd, buf + CNID_DEV_OFS, CNID_DEV_LEN) < 0)
104         return -1;
105
106     if (dbif_put(dbd, DBIF_CNID, &key, &data, 0) < 0)
107         return -1;
108     if (dbif_txn_commit(dbd) != 1) {
109         LOG(log_error, logtype_cnid, "dbif_init_rootinfo: cant commit txn");
110         return -1;
111     }
112
113     return 0;
114 }
115
116 /*!
117  * Return CNID database version number
118  *
119  * Returns version in *version
120  *
121  * @returns -1 on error, 0 if theres no rootinfo key yet, 1 if *version is returned
122  */
123 static int dbif_getversion(DBD *dbd, uint32_t *version)
124 {
125     DBT key, data;
126     int ret;
127
128     memset(&key, 0, sizeof(key));
129     memset(&data, 0, sizeof(data));
130     key.data = ROOTINFO_KEY;
131     key.size = ROOTINFO_KEYLEN;
132
133     switch (dbif_get(dbd, DBIF_CNID, &key, &data, 0)) {
134     case 1: /* found */
135         memcpy(version, (char *)data.data + CNID_DID_OFS, sizeof(uint32_t));
136         *version = ntohl(*version);
137         LOG(log_debug, logtype_cnid, "CNID database version %u", *version);
138         ret = 1;
139         break;
140     case 0: /* not found */
141         ret = 0;
142         break;
143     default:
144         ret = -1;
145         break;
146     }
147
148     return ret;
149 }
150
151 /*!
152  * Set CNID database version number
153  *
154  * Initializes rootinfo key as neccessary
155  * @returns -1 on error, 0 on success
156  */
157 static int dbif_setversion(DBD *dbd, uint32_t version)
158 {
159     int ret;
160     DBT key, data;
161     uint32_t v;
162
163     LOG(log_debug, logtype_cnid, "Setting CNID database version to %u", version);
164
165     v = version;
166     v = htonl(v);
167
168     memset(&key, 0, sizeof(key));
169     memset(&data, 0, sizeof(data));
170     key.data = ROOTINFO_KEY;
171     key.size = ROOTINFO_KEYLEN;
172
173     if ((ret = dbif_get(dbd, DBIF_CNID, &key, &data, 0)) == -1)
174         return -1;
175     if (ret == 0) {
176         /* No rootinfo key yet, init it */
177         if (dbif_init_rootinfo(dbd, CNID_VERSION) != 0)
178             return -1;
179         /* Now try again */
180         if (dbif_get(dbd, DBIF_CNID, &key, &data, 0) == -1)
181             return -1;
182     }
183     memcpy((char *)data.data + CNID_DID_OFS, &v, sizeof(v));
184     data.size = ROOTINFO_DATALEN;
185     if (dbif_put(dbd, DBIF_CNID, &key, &data, 0) < 0)
186         return -1;
187
188     return 0;
189 }
190
191 /*!
192  * Upgrade CNID database versions
193  *
194  * For now this does nothing, as upgrading from ver. 0 to 1 is done in dbif_open
195  */
196 static int dbif_upgrade(DBD *dbd)
197 {
198     uint32_t version;
199
200     if (dbif_getversion(dbd, &version) == -1)
201         return -1;
202
203     /* 
204      * Do upgrade stuff ...
205      */
206
207     /* Write current version to database */
208     if (version != CNID_VERSION) {
209         if (dbif_setversion(dbd, CNID_VERSION) != 0)
210             return -1;
211     }
212
213     LOG(log_debug, logtype_cnid, "Finished CNID database version upgrade check");
214
215     return 0;
216 }
217
218 /* --------------- */
219 static int dbif_openlog(DBD *dbd)
220 {
221     int ret = 0;
222     int cwd = -1;
223
224     if ( ! dbd->db_filename)
225         /* in memory db */
226         return 0;
227
228     /* Remember cwd */
229     if ((cwd = open(".", O_RDONLY)) < 0) {
230         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
231         return -1;
232     }
233
234     /* chdir to db_envhome */
235     if ((chdir(dbd->db_envhome)) != 0) {
236         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
237         ret = -1;
238         goto exit;
239     }
240
241     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
242         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
243
244     if (dbd->db_errlog != NULL) {
245         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
246         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
247     }
248
249 exit:
250     if (cwd != -1) {
251         if ((fchdir(cwd)) != 0) {
252             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
253             ret = -1;
254         }
255         close(cwd);
256     }
257     return ret;
258 }
259
260 /* --------------- */
261 static int dbif_logautorem(DBD *dbd)
262 {
263     int ret = 0;
264     int cwd = -1;
265     char **logfiles = NULL;
266     char **file;
267
268     if ( ! dbd->db_filename)
269         /* in memory db */
270         return 0;
271
272     /* Remember cwd */
273     if ((cwd = open(".", O_RDONLY)) < 0) {
274         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
275         return -1;
276     }
277
278     /* chdir to db_envhome */
279     if ((chdir(dbd->db_envhome)) != 0) {
280         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
281         ret = -1;
282         goto exit;
283     }
284
285     if ((ret = dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) != 0) {
286         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
287             db_strerror(ret));
288         dbd->db_env->close(dbd->db_env, 0);
289         dbd->db_env = NULL;
290         ret = -1;
291         goto exit;
292     }
293
294     if (logfiles != NULL) {
295         for (file = logfiles; *file != NULL; file++) {
296             if (unlink(*file) < 0)
297                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
298         }
299         free(logfiles);
300     }
301
302 exit:
303     if (cwd != -1) {
304         if ((fchdir(cwd)) != 0) {
305             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
306             ret = -1;
307         }
308         close(cwd);
309     }
310     return ret;
311 }
312
313 /* --------------- */
314 DBD *dbif_init(const char *envhome, const char *filename)
315 {
316     DBD *dbd;
317
318     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
319         return NULL;
320
321     /* filename == NULL means in memory db */
322     if (filename) {
323         if (! envhome)
324             return NULL;
325
326         dbd->db_envhome = strdup(envhome);
327         if (NULL == dbd->db_envhome) {
328             free(dbd);
329             return NULL;
330         }
331
332         dbd->db_filename = strdup(filename);
333         if (NULL == dbd->db_filename) {
334             free(dbd->db_envhome);
335             free(dbd);
336             return NULL;
337         }
338     }
339     
340     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
341     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
342     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
343     dbd->db_table[DBIF_IDX_NAME].name    = "name.db";
344
345     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
346     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
347     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
348     dbd->db_table[DBIF_IDX_NAME].type    = DB_BTREE;
349
350     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
351     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
352     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
353     dbd->db_table[DBIF_IDX_NAME].openflags    = DB_CREATE;
354
355     dbd->db_table[DBIF_IDX_NAME].flags = DB_DUPSORT;
356
357     return dbd;
358 }
359
360 /* 
361    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
362    breaks e.g. bdb logfile-rotation with relative pathnames.
363    But still we use relative paths with DB_ERRLOGFILE
364    in order to avoid creating absolute paths by copying. Both have no problem with
365    a relative path.
366 */
367 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
368 {
369     int ret;
370
371     if ((ret = db_env_create(&dbd->db_env, 0))) {
372         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
373             db_strerror(ret));
374         dbd->db_env = NULL;
375         return -1;
376     }
377
378     if ((dbif_openlog(dbd)) != 0)
379         return -1;
380
381     if (dbenv_oflags & DB_RECOVER) {
382
383         LOG(log_debug, logtype_cnid, "Running recovery");
384
385         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
386         /* Open the database for recovery using DB_PRIVATE option which is faster */
387         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
388             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
389                 db_strerror(ret));
390             dbd->db_env->close(dbd->db_env, 0);
391             dbd->db_env = NULL;
392             return -1;
393         }
394         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
395
396         if (dbd->db_errlog != NULL)
397             fflush(dbd->db_errlog);
398
399         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
400             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
401                 db_strerror(ret));
402             dbd->db_env = NULL;
403             return -1;
404         }
405         dbd->db_errlog = NULL;        
406
407         if ((ret = db_env_create(&dbd->db_env, 0))) {
408             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
409                 db_strerror(ret));
410             dbd->db_env = NULL;
411             return -1;
412         }
413
414         if ((dbif_openlog(dbd)) != 0)
415             return -1;
416
417         LOG(log_debug, logtype_cnid, "Finished recovery.");
418     }
419
420     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
421         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
422             dbp->cachesize, db_strerror(ret));
423         dbd->db_env->close(dbd->db_env, 0);
424         dbd->db_env = NULL;
425         return -1;
426     }
427
428     if ((ret = dbd->db_env->set_lk_max_locks(dbd->db_env, dbp->maxlocks))) {
429         LOG(log_error, logtype_cnid, "error setting DB environment maxlocks to %i: %s",
430             10000, db_strerror(ret));
431         dbd->db_env->close(dbd->db_env, 0);
432         dbd->db_env = NULL;
433         return -1;
434     }
435
436     if ((ret = dbd->db_env->set_lk_max_objects(dbd->db_env, dbp->maxlockobjs))) {
437         LOG(log_error, logtype_cnid, "error setting DB environment max lockobjects to %i: %s",
438             10000, db_strerror(ret));
439         dbd->db_env->close(dbd->db_env, 0);
440         dbd->db_env = NULL;
441         return -1;
442     }
443
444     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
445         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
446             db_strerror(ret));
447         dbd->db_env->close(dbd->db_env, 0);
448         dbd->db_env = NULL;
449         return -1;
450     }
451
452     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
453         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
454             db_strerror(ret));
455         dbd->db_env->close(dbd->db_env, 0);
456         dbd->db_env = NULL;
457         return -1;
458     }
459
460     if (dbp->logfile_autoremove) {
461         if ((dbif_logautorem(dbd)) != 0)
462             return -1;
463
464 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
465         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
466             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
467             db_strerror(ret));
468             dbd->db_env->close(dbd->db_env, 0);
469             dbd->db_env = NULL;
470             return -1;
471         }
472 #else
473         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
474             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
475                 db_strerror(ret));
476             dbd->db_env->close(dbd->db_env, 0);
477             dbd->db_env = NULL;
478             return -1;
479         }
480 #endif
481     }
482
483     return 0;
484 }
485
486 /* --------------- */
487 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
488 {
489     int ret, i, cwd;
490     u_int32_t count;
491     struct stat st;
492     DB *upgrade_db;
493
494     /* Try to upgrade if it's a normal on-disk database */
495     if (dbd->db_envhome) {
496         /* Remember cwd */
497         if ((cwd = open(".", O_RDONLY)) < 0) {
498             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
499             return -1;
500         }
501         
502         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
503         if ((chdir(dbd->db_envhome)) != 0) {
504             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
505             return -1;
506         }
507         
508         if ((stat(dbd->db_filename, &st)) == 0) {
509             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
510             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
511                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
512                 return -1;
513             }
514             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
515                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
516                 return -1;
517             }
518             if ((ret = upgrade_db->close(upgrade_db, 0))) {
519                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
520                 return -1;
521             }
522             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
523                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
524                 return -1;
525             }
526             LOG(log_debug, logtype_cnid, "Finished BerkeleyBD upgrade check");
527         }
528         
529         if ((fchdir(cwd)) != 0) {
530             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
531             return -1;
532         }
533     }
534
535     /* Now open databases ... */
536     for (i = 0; i != DBIF_DB_CNT; i++) {
537         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
538             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
539                 dbd->db_table[i].name, db_strerror(ret));
540             return -1;
541         }
542
543         if (dbd->db_table[i].flags) {
544             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
545                                                       dbd->db_table[i].flags))) {
546                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
547                     dbd->db_table[i].name, db_strerror(ret));
548                 return -1;
549             }
550         }
551
552         if ( ! dbd->db_env) {   /* In memory db */
553             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
554                                                           0,
555                                                           dbp->cachesize,
556                                                           4)) /* split in 4 memory chunks */
557                 < 0)  {
558                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
559                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
560                 return -1;
561             }
562         }
563
564         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
565                                       dbd->db_txn,
566                                       dbd->db_filename,
567                                       dbd->db_table[i].name,
568                                       dbd->db_table[i].type,
569                                       dbd->db_table[i].openflags,
570                                       0664) < 0) {
571             LOG(log_error, logtype_cnid, "Cant open database");
572             return -1;
573         }
574
575         if (reindex && i > 0) {
576             LOG(log_info, logtype_cnid, "Truncating CNID index.");
577             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
578                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
579                     dbd->db_table[i].name, db_strerror(ret));
580                 return -1;
581             }
582         }
583     }
584
585     /* TODO: Implement CNID DB versioning info on new databases. */
586
587     /* Associate the secondary with the primary. */
588     if (reindex)
589         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
590     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
591                                               dbd->db_txn,
592                                               dbd->db_table[DBIF_IDX_DIDNAME].db, 
593                                               didname,
594                                               (reindex) ? DB_CREATE : 0))
595          != 0) {
596         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
597         return -1;
598     }
599     if (reindex)
600         LOG(log_info, logtype_cnid, "... done.");
601
602     if (reindex)
603         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
604     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db, 
605                                               dbd->db_txn,
606                                               dbd->db_table[DBIF_IDX_DEVINO].db, 
607                                               devino,
608                                               (reindex) ? DB_CREATE : 0))
609         != 0) {
610         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
611         return -1;
612     }
613     if (reindex)
614         LOG(log_info, logtype_cnid, "... done.");
615
616     if (reindex)
617         LOG(log_info, logtype_cnid, "Reindexing name index...");
618
619     uint32_t version = CNID_VERSION;
620     if (dbd->db_envhome && !reindex) {
621         if (dbif_getversion(dbd, &version) == -1)
622             return -1;
623     }
624
625     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db, 
626                                               dbd->db_txn,
627                                               dbd->db_table[DBIF_IDX_NAME].db, 
628                                               idxname,
629                                               (reindex
630                                                || 
631                                                ((CNID_VERSION == CNID_VERSION_1) && (version == CNID_VERSION_0)))
632                                               ? DB_CREATE : 0)) != 0) {
633         LOG(log_error, logtype_cnid, "Failed to associate name index: %s", db_strerror(ret));
634         return -1;
635     }
636     if (reindex)
637         LOG(log_info, logtype_cnid, "... done.");
638
639     if ((dbd->db_envhome) && ((ret = dbif_upgrade(dbd)) != 0)) {
640         LOG(log_error, logtype_cnid, "Error upgrading CNID database to version %d", CNID_VERSION);
641         return -1;
642     }
643     
644     return 0;
645 }
646
647 /* ------------------------ */
648 static int dbif_closedb(DBD *dbd)
649 {
650     int i;
651     int ret;
652     int err = 0;
653
654     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
655         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
656             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
657             err++;
658         }
659     }
660     if (err)
661         return -1;
662     return 0;
663 }
664
665 /* ------------------------ */
666 int dbif_close(DBD *dbd)
667 {
668     int ret;
669     int err = 0;
670
671     if (dbif_closedb(dbd))
672         err++;
673
674     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
675         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
676         err++;
677     }
678     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
679         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
680         err++;
681     }
682
683     free(dbd->db_filename);
684     free(dbd);
685     dbd = NULL;
686
687     if (err)
688         return -1;
689     return 0;
690 }
691
692 /* 
693    In order to support silent database upgrades:
694    destroy env at cnid_dbd shutdown.
695  */
696 int dbif_env_remove(const char *path)
697 {
698     int ret;
699     DBD *dbd;
700
701     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
702     
703     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
704         return -1;
705
706     /* Get db_env handle */
707     if ((ret = db_env_create(&dbd->db_env, 0))) {
708         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
709         dbd->db_env = NULL;
710         return -1;
711     }
712
713     if ((dbif_openlog(dbd)) != 0)
714         return -1;
715
716     /* Open environment with recovery */
717     if ((ret = dbd->db_env->open(dbd->db_env, 
718                                  dbd->db_envhome,
719                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
720                                  0))) {
721         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
722             db_strerror(ret));
723         dbd->db_env->close(dbd->db_env, 0);
724         dbd->db_env = NULL;
725         return -1;
726     }
727
728     if (dbd->db_errlog != NULL)
729         fflush(dbd->db_errlog);
730
731     /* Remove logfiles */
732     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
733          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
734          return -1;
735     }
736
737     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
738         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
739         dbd->db_env = NULL;
740         return -1;
741     }
742
743     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
744
745     /* Get a new db_env handle and then remove environment */
746     if ((ret = db_env_create(&dbd->db_env, 0))) {
747         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
748         dbd->db_env = NULL;
749         return -1;
750     }
751     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
752         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
753         return -1;
754     }
755
756     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
757
758     return 0;
759 }
760
761 /*
762  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
763  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
764  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
765  *  the DB_NOOVERWRITE flag was specified and the key already exists.
766  *
767  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
768  *  functions are not expected and therefore error conditions.
769  */
770
771 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
772 {
773     int ret;
774
775     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
776                                      dbd->db_txn,
777                                      key,
778                                      val,
779                                      flags);
780
781     if (ret == DB_NOTFOUND)
782         return 0;
783     if (ret) {
784         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
785             dbd->db_table[dbi].name, db_strerror(ret));
786         return -1;
787     } else
788         return 1;
789 }
790
791 /* search by secondary return primary */
792 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
793 {
794     int ret;
795
796     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
797                                       dbd->db_txn,
798                                       key,
799                                       pkey,
800                                       val,
801                                       flags);
802
803     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
804         return 0;
805     }
806     if (ret) {
807         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
808             dbd->db_table[dbi].name, db_strerror(ret));
809         return -1;
810    } else
811         return 1;
812 }
813
814 /* -------------------------- */
815 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
816 {
817     int ret;
818
819     if (dbif_txn_begin(dbd) < 0) {
820         LOG(log_error, logtype_cnid, "error setting key/value in %s", dbd->db_table[dbi].name);
821         return -1;
822     }
823
824     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
825                                      dbd->db_txn,
826                                      key,
827                                      val,
828                                      flags);
829
830     
831     if (ret) {
832         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
833             return 1;
834         } else {
835             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
836                 dbd->db_table[dbi].name, db_strerror(ret));
837             return -1;
838         }
839     } else
840         return 0;
841 }
842
843 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
844 {
845     int ret;
846
847     /* For cooperation with the dbd utility and its usage of a cursor */
848     if (dbd->db_cur) {
849         dbd->db_cur->close(dbd->db_cur);
850         dbd->db_cur = NULL;
851     }    
852
853     if (dbif_txn_begin(dbd) < 0) {
854         LOG(log_error, logtype_cnid, "error deleting key/value from %s", dbd->db_table[dbi].name);
855         return -1;
856     }
857
858     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
859                                      dbd->db_txn,
860                                      key,
861                                      flags);
862     
863     if (ret == DB_NOTFOUND) {
864         LOG(log_info, logtype_cnid, "key not found");
865         return 0;
866     }
867     if (ret) {
868         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
869             dbd->db_table[dbi].name, db_strerror(ret));
870         return -1;
871     } else
872         return 1;
873 }
874
875 /*!
876  * Search the database by name
877  *
878  * @param resbuf    (w) buffer for search results CNIDs, maxsize is assumed to be
879  *                      DBD_MAX_SRCH_RSLTS * sizefof(cnid_t)
880  *
881  * @returns -1 on error, 0 when nothing found, else the number of matches
882  */
883 int dbif_search(DBD *dbd, DBT *key, char *resbuf)
884 {
885     int ret = 0;
886     int count = 0;
887     DBC *cursorp = NULL;
888     DBT pkey, data;
889     char *cnids = resbuf;
890     cnid_t cnid;
891     char *namebkp = key->data;
892     int namelenbkp = key->size;
893
894     memset(&pkey, 0, sizeof(DBT));
895     memset(&data, 0, sizeof(DBT));
896
897     /* Get a cursor */
898     ret = dbd->db_table[DBIF_IDX_NAME].db->cursor(dbd->db_table[DBIF_IDX_NAME].db,
899                                                   NULL,
900                                                   &cursorp,
901                                                   0);
902     if (ret != 0) {
903         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(ret));
904         ret = -1;
905         goto exit;
906     }
907
908     ret = cursorp->pget(cursorp, key, &pkey, &data, DB_SET_RANGE);
909     while (count < DBD_MAX_SRCH_RSLTS && ret != DB_NOTFOUND) {
910         if (!((namelenbkp <= key->size) && (strncmp(namebkp, key->data, namelenbkp) == 0)))
911             break;
912         count++;
913         memcpy(cnids, pkey.data, sizeof(cnid_t));
914         memcpy(&cnid, pkey.data, sizeof(cnid_t));
915         cnids += sizeof(cnid_t);
916         LOG(log_debug, logtype_cnid, "match: CNID %" PRIu32, ntohl(cnid));
917
918         ret = cursorp->pget(cursorp, key, &pkey, &data, DB_NEXT);
919     }
920
921     ret = count;
922
923 exit:
924     if (cursorp != NULL)
925         cursorp->close(cursorp);
926     return ret;
927 }
928
929 int dbif_txn_begin(DBD *dbd)
930 {
931     int ret;
932
933     /* If we already have an active txn, just return */
934     if (dbd->db_txn)
935         return 0;
936
937     /* If our DBD has no env, just return (-> in memory db) */
938     if (dbd->db_env == NULL)
939         return 0;
940
941     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
942
943     if (ret) {
944         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(ret));
945         return -1;
946     } else
947         return 0;
948 }
949
950 int dbif_txn_commit(DBD *dbd)
951 {
952     int ret;
953
954     if (! dbd->db_txn)
955         return 0;
956
957     /* If our DBD has no env, just return (-> in memory db) */
958     if (dbd->db_env == NULL)
959         return 0;
960
961     ret = dbd->db_txn->commit(dbd->db_txn, 0);
962     dbd->db_txn = NULL;
963     
964     if (ret) {
965         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(ret));
966         return -1;
967     } else
968         return 1;
969 }
970
971 int dbif_txn_abort(DBD *dbd)
972 {
973     int ret;
974
975     if (! dbd->db_txn)
976         return 0;
977
978     /* If our DBD has no env, just return (-> in memory db) */
979     if (dbd->db_env == NULL)
980         return 0;
981
982     ret = dbd->db_txn->abort(dbd->db_txn);
983     dbd->db_txn = NULL;
984     
985     if (ret) {
986         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(ret));
987         return -1;
988     } else
989         return 0;
990 }
991
992 /* 
993    ret = 1 -> commit txn
994    ret = 0 -> abort txn -> exit!
995    anything else -> exit!
996 */
997 void dbif_txn_close(DBD *dbd, int ret)
998 {
999     if (ret == 0) {
1000         if (dbif_txn_abort(dbd) < 0) {
1001             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
1002             exit(EXIT_FAILURE);
1003         }
1004     } else if (ret == 1) {
1005         ret = dbif_txn_commit(dbd);
1006         if (  ret < 0) {
1007             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
1008             exit(EXIT_FAILURE);
1009         }
1010     } else
1011        exit(EXIT_FAILURE);
1012 }
1013
1014 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
1015 {
1016     int ret;
1017     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
1018     if (ret) {
1019         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(ret));
1020         return -1;
1021     } else
1022         return 0;
1023 }
1024
1025 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
1026 {
1027     int ret;
1028     DB_BTREE_STAT *sp;
1029     DB *db = dbd->db_table[dbi].db;
1030
1031     ret = db->stat(db, NULL, &sp, 0);
1032
1033     if (ret) {
1034         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(ret));
1035         return -1;
1036     }
1037
1038     *count = sp->bt_ndata;
1039     free(sp);
1040
1041     return 0;
1042 }
1043
1044 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
1045 {
1046     DBT key, data;
1047     int rc;
1048
1049     memset(&key, 0, sizeof(key));
1050     memset(&data, 0, sizeof(data));
1051
1052     key.data = ROOTINFO_KEY;
1053     key.size = ROOTINFO_KEYLEN;
1054
1055     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
1056         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
1057         return -1;
1058     }
1059
1060     memset(&key, 0, sizeof(key));
1061     key.data = ROOTINFO_KEY;
1062     key.size = ROOTINFO_KEYLEN;
1063
1064     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
1065         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
1066         return -1;
1067     }
1068
1069     return 0;
1070 }
1071
1072 int dbif_dump(DBD *dbd, int dumpindexes)
1073 {
1074     int rc;
1075     uint32_t max = 0, count = 0, cnid, type, did, lastid, version;
1076     uint64_t dev, ino;
1077     time_t stamp;
1078     DBC *cur;
1079     DBT key = { 0 }, data = { 0 };
1080     DB *db = dbd->db_table[DBIF_CNID].db;
1081     char *typestring[2] = {"f", "d"};
1082     char timebuf[64];
1083
1084     printf("CNID database dump:\n");
1085
1086     rc = db->cursor(db, NULL, &cur, 0);
1087     if (rc) {
1088         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1089         return -1;
1090     }
1091
1092     cur->c_get(cur, &key, &data, DB_FIRST);
1093     while (rc == 0) {
1094         /* Parse and print data */
1095         memcpy(&cnid, key.data, 4);
1096         cnid = ntohl(cnid);
1097         if (cnid > max)
1098             max = cnid;
1099
1100         /* Rootinfo node ? */
1101         if (cnid == 0) {
1102             memcpy(&stamp, (char *)data.data + CNID_DEV_OFS, sizeof(time_t));
1103             memcpy(&lastid, (char *)data.data + CNID_TYPE_OFS, CNID_TYPE_LEN);
1104             lastid = ntohl(lastid);
1105             memcpy(&version, (char *)data.data + CNID_DID_OFS, CNID_DID_LEN);
1106             version = ntohl(version);
1107
1108             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
1109             printf("CNID db version: %u, dbd stamp: 0x%08x (%s), next free CNID: %u\n",
1110                    version, (unsigned int)stamp, timebuf, lastid + 1);
1111         } else {
1112             /* dev */
1113             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
1114             dev = ntoh64(dev);
1115             /* ino */
1116             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
1117             ino = ntoh64(ino);
1118             /* type */
1119             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
1120             type = ntohl(type);
1121             /* did */
1122             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
1123             did = ntohl(did);
1124
1125             count++;
1126             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n", 
1127                    cnid, did, typestring[type],
1128                    (long long unsigned int)dev, (long long unsigned int)ino, 
1129                    (char *)data.data + CNID_NAME_OFS);
1130
1131         }
1132
1133         rc = cur->c_get(cur, &key, &data, DB_NEXT);
1134     }
1135
1136     if (rc != DB_NOTFOUND) {
1137         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1138         return -1;
1139     }
1140
1141     rc = cur->c_close(cur);
1142     if (rc) {
1143         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1144         return -1;
1145     }
1146     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
1147
1148     /* Dump indexes too ? */
1149     if (dumpindexes) {
1150         /* DBIF_IDX_DEVINO */
1151         printf("\ndev/inode index:\n");
1152         count = 0;
1153         db = dbd->db_table[DBIF_IDX_DEVINO].db;
1154         rc = db->cursor(db, NULL, &cur, 0);
1155         if (rc) {
1156             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1157             return -1;
1158         }
1159         
1160         cur->c_get(cur, &key, &data, DB_FIRST);
1161         while (rc == 0) {
1162             /* Parse and print data */
1163
1164             /* cnid */
1165             memcpy(&cnid, data.data, CNID_LEN);
1166             cnid = ntohl(cnid);
1167             if (cnid == 0) {
1168                 /* Rootinfo node */
1169             } else {
1170                 /* dev */
1171                 memcpy(&dev, key.data, CNID_DEV_LEN);
1172                 dev = ntoh64(dev);
1173                 /* ino */
1174                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
1175                 ino = ntoh64(ino);
1176                 
1177                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n", 
1178                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
1179                 count++;
1180             }
1181             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1182         }
1183         if (rc != DB_NOTFOUND) {
1184             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1185             return -1;
1186         }
1187         
1188         rc = cur->c_close(cur);
1189         if (rc) {
1190             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1191             return -1;
1192         }
1193         printf("%u items\n", count);
1194
1195         /* Now dump DBIF_IDX_DIDNAME */
1196         printf("\ndid/name index:\n");
1197         count = 0;
1198         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
1199         rc = db->cursor(db, NULL, &cur, 0);
1200         if (rc) {
1201             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1202             return -1;
1203         }
1204         
1205         cur->c_get(cur, &key, &data, DB_FIRST);
1206         while (rc == 0) {
1207             /* Parse and print data */
1208
1209             /* cnid */
1210             memcpy(&cnid, data.data, CNID_LEN);
1211             cnid = ntohl(cnid);
1212             if (cnid == 0) {
1213                 /* Rootinfo node */
1214             } else {
1215                 /* did */
1216                 memcpy(&did, key.data, CNID_LEN);
1217                 did = ntohl(did);
1218
1219                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
1220                 count++;
1221             }
1222             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1223         }
1224         if (rc != DB_NOTFOUND) {
1225             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1226             return -1;
1227         }
1228         
1229         rc = cur->c_close(cur);
1230         if (rc) {
1231             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1232             return -1;
1233         }
1234         printf("%u items\n", count);
1235     }
1236
1237     return 0;
1238 }
1239
1240 /* 
1241    Iterates over dbd, returning cnids.
1242    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
1243    If close=1, close cursor.
1244    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
1245 */
1246 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
1247 {
1248     int rc;
1249     int flag;
1250     cnid_t id;
1251
1252     static DBT key = { 0 }, data = { 0 };
1253     DB *db = dbd->db_table[DBIF_CNID].db;
1254
1255     if (close) {
1256         if (dbd->db_cur) {
1257             dbd->db_cur->close(dbd->db_cur);
1258             dbd->db_cur = NULL;
1259         }
1260         return 0;
1261     }
1262
1263     /* An dbif_del will have closed our cursor too */
1264     if ( ! dbd->db_cur ) {
1265         if ((rc = db->cursor(db, NULL, &dbd->db_cur, 0)) != 0) {
1266             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1267             return -1;
1268         }
1269         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1270         id = htonl(*cnid);
1271         key.data = &id;
1272         key.size = sizeof(cnid_t);
1273     } else
1274         flag = DB_NEXT;
1275
1276     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1277         memcpy(cnid, key.data, sizeof(cnid_t));
1278         *cnid = ntohl(*cnid);
1279         return 1;
1280     }
1281
1282     if (rc != DB_NOTFOUND) {
1283         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1284         dbd->db_cur->close(dbd->db_cur);
1285         dbd->db_cur = NULL;
1286         return -1;
1287     }
1288
1289     if (dbd->db_cur) {
1290         dbd->db_cur->close(dbd->db_cur);
1291         dbd->db_cur = NULL;
1292     }    
1293
1294     return 0;
1295 }