]> arthur.barton.de Git - netatalk.git/blob - etc/cnid_dbd/dbif.c
Merge branch-2-1
[netatalk.git] / etc / cnid_dbd / dbif.c
1 /*
2  * Copyright (C) Joerg Lenneis 2003
3  * Copyright (C) Frank Lahm 2009
4  * All Rights Reserved.  See COPYING.
5  */
6
7 #ifdef HAVE_CONFIG_H
8 #include "config.h"
9 #endif /* HAVE_CONFIG_H */
10
11 #include <stdio.h>
12 #include <errno.h>
13 #include <stdlib.h>
14 #include <string.h>
15 #include <sys/types.h>
16 #include <sys/stat.h>
17 #include <sys/cdefs.h>
18 #include <unistd.h>
19
20 #include <db.h>
21
22 #include <atalk/logger.h>
23 #include <atalk/util.h>
24
25 #include "db_param.h"
26 #include "dbif.h"
27 #include "pack.h"
28
29 #define DB_ERRLOGFILE "db_errlog"
30
31 /*!
32  * Get the db stamp which is the st_ctime of the file "cnid2.db" and store it in buffer
33  */
34 static int dbif_stamp(DBD *dbd, void *buffer, int size)
35 {
36     struct stat st;
37     int         rc,cwd;
38
39     if (size < 8)
40         return -1;
41
42     /* Remember cwd */
43     if ((cwd = open(".", O_RDONLY)) < 0) {
44         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
45         return -1;
46     }
47
48     /* chdir to db_envhome */
49     if ((chdir(dbd->db_envhome)) != 0) {
50         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
51         return -1;
52     }
53
54     if ((rc = stat(dbd->db_table[DBIF_CNID].name, &st)) < 0) {
55         LOG(log_error, logtype_cnid, "error stating database %s: %s", dbd->db_table[DBIF_CNID].name, db_strerror(errno));
56         return -1;
57     }
58
59     LOG(log_maxdebug, logtype_cnid,"stamp: %s", asctime(localtime(&st.st_ctime)));
60
61     memset(buffer, 0, size);
62     memcpy(buffer, &st.st_ctime, sizeof(st.st_ctime));
63
64     if ((fchdir(cwd)) != 0) {
65         LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
66         return -1;
67     }
68
69     return 0;
70 }
71
72 /*!
73  * Inititialize rootinfo key (which has CNID 0 as key)
74  *
75  * This also "stamps" the database, which means storing st.st_ctime of the
76  * "cnid2.db" file in the rootinfo data at the DEV offset
77  *
78  * @param dbd      (rw) database handle
79  * @param version  (r)  database version number
80  *
81  * @returns -1 on error, 0 on success
82  */
83 static int dbif_init_rootinfo(DBD *dbd, int version)
84 {
85     DBT key, data;
86     uint32_t v;
87     char buf[ROOTINFO_DATALEN];
88
89     LOG(log_debug, logtype_cnid, "Setting CNID database version to %u", version);
90
91     v = version;
92     v = htonl(v);
93
94     memset(&key, 0, sizeof(key));
95     memset(&data, 0, sizeof(data));
96     key.data = ROOTINFO_KEY;
97     key.size = ROOTINFO_KEYLEN;
98     data.data = buf;
99     data.size = ROOTINFO_DATALEN;
100
101     memcpy(buf, ROOTINFO_DATA, ROOTINFO_DATALEN);
102     memcpy(buf + CNID_DID_OFS, &v, sizeof(v));
103     if (dbif_stamp(dbd, buf + CNID_DEV_OFS, CNID_DEV_LEN) < 0)
104         return -1;
105
106     if (dbif_put(dbd, DBIF_CNID, &key, &data, 0) < 0)
107         return -1;
108
109     return 0;
110 }
111
112 /*!
113  * Return CNID database version number
114  *
115  * Returns version in *version
116  *
117  * @returns -1 on error, 0 if theres no rootinfo key yet, 1 if *version is returned
118  */
119 static int dbif_getversion(DBD *dbd, uint32_t *version)
120 {
121     DBT key, data;
122     int ret;
123
124     memset(&key, 0, sizeof(key));
125     memset(&data, 0, sizeof(data));
126     key.data = ROOTINFO_KEY;
127     key.size = ROOTINFO_KEYLEN;
128
129     switch (dbif_get(dbd, DBIF_CNID, &key, &data, 0)) {
130     case 1: /* found */
131         memcpy(version, (char *)data.data + CNID_DID_OFS, sizeof(uint32_t));
132         *version = ntohl(*version);
133         LOG(log_debug, logtype_cnid, "CNID database version %u", *version);
134         ret = 1;
135         break;
136     case 0: /* not found */
137         ret = 0;
138         break;
139     default:
140         ret = -1;
141         break;
142     }
143
144     return ret;
145 }
146
147 /*!
148  * Set CNID database version number
149  *
150  * Initializes rootinfo key as neccessary, as does dbif_getversion
151  * @returns -1 on error, 0 on success
152  */
153 static int dbif_setversion(DBD *dbd, uint32_t version)
154 {
155     int ret;
156     DBT key, data;
157     uint32_t v;
158
159     LOG(log_debug, logtype_cnid, "Setting CNID database version to %u", version);
160
161     v = version;
162     v = htonl(v);
163
164     memset(&key, 0, sizeof(key));
165     memset(&data, 0, sizeof(data));
166     key.data = ROOTINFO_KEY;
167     key.size = ROOTINFO_KEYLEN;
168
169     if ((ret = dbif_get(dbd, DBIF_CNID, &key, &data, 0)) == -1)
170         return -1;
171     if (ret == 0) {
172         /* No rootinfo key yet, init it */
173         if (dbif_init_rootinfo(dbd, CNID_VERSION) != 0)
174             return -1;
175         /* Now try again */
176         if (dbif_get(dbd, DBIF_CNID, &key, &data, 0) == -1)
177             return -1;
178     }
179     memcpy((char *)data.data + CNID_DID_OFS, &v, sizeof(v));
180     data.size = ROOTINFO_DATALEN;
181     if (dbif_put(dbd, DBIF_CNID, &key, &data, 0) < 0)
182         return -1;
183
184     return 0;
185 }
186
187 /*!
188  * Upgrade CNID database versions
189  *
190  * For now this does nothing, as upgrading from ver. 0 to 1 is done in dbif_open
191  */
192 static int dbif_upgrade(DBD *dbd)
193 {
194     uint32_t version;
195
196     if (dbif_getversion(dbd, &version) == -1)
197         return -1;
198
199     /* 
200      * Do upgrade stuff ...
201      */
202
203     /* Write current version to database */
204     if (version != CNID_VERSION) {
205         if (dbif_setversion(dbd, CNID_VERSION) != 0)
206             return -1;
207     }
208
209     LOG(log_debug, logtype_cnid, "Finished CNID database version upgrade check");
210
211     return 0;
212 }
213
214 /* --------------- */
215 static int dbif_openlog(DBD *dbd)
216 {
217     int ret = 0;
218     int cwd = -1;
219
220     if ( ! dbd->db_filename)
221         /* in memory db */
222         return 0;
223
224     /* Remember cwd */
225     if ((cwd = open(".", O_RDONLY)) < 0) {
226         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
227         return -1;
228     }
229
230     /* chdir to db_envhome */
231     if ((chdir(dbd->db_envhome)) != 0) {
232         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
233         ret = -1;
234         goto exit;
235     }
236
237     if ((dbd->db_errlog = fopen(DB_ERRLOGFILE, "a")) == NULL)
238         LOG(log_warning, logtype_cnid, "error creating/opening DB errlogfile: %s", strerror(errno));
239
240     if (dbd->db_errlog != NULL) {
241         dbd->db_env->set_errfile(dbd->db_env, dbd->db_errlog);
242         dbd->db_env->set_msgfile(dbd->db_env, dbd->db_errlog);
243     }
244
245 exit:
246     if (cwd != -1) {
247         if ((fchdir(cwd)) != 0) {
248             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
249             ret = -1;
250         }
251         close(cwd);
252     }
253     return ret;
254 }
255
256 /* --------------- */
257 static int dbif_logautorem(DBD *dbd)
258 {
259     int ret = 0;
260     int cwd = -1;
261     char **logfiles = NULL;
262     char **file;
263
264     if ( ! dbd->db_filename)
265         /* in memory db */
266         return 0;
267
268     /* Remember cwd */
269     if ((cwd = open(".", O_RDONLY)) < 0) {
270         LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
271         return -1;
272     }
273
274     /* chdir to db_envhome */
275     if ((chdir(dbd->db_envhome)) != 0) {
276         LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
277         ret = -1;
278         goto exit;
279     }
280
281     if ((ret = dbd->db_env->log_archive(dbd->db_env, &logfiles, 0)) != 0) {
282         LOG(log_error, logtype_cnid, "error getting list of stale logfiles: %s",
283             db_strerror(ret));
284         dbd->db_env->close(dbd->db_env, 0);
285         dbd->db_env = NULL;
286         ret = -1;
287         goto exit;
288     }
289
290     if (logfiles != NULL) {
291         for (file = logfiles; *file != NULL; file++) {
292             if (unlink(*file) < 0)
293                 LOG(log_warning, logtype_cnid, "Error removing stale logfile %s: %s", *file, strerror(errno));
294         }
295         free(logfiles);
296     }
297
298 exit:
299     if (cwd != -1) {
300         if ((fchdir(cwd)) != 0) {
301             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
302             ret = -1;
303         }
304         close(cwd);
305     }
306     return ret;
307 }
308
309 /* --------------- */
310 DBD *dbif_init(const char *envhome, const char *filename)
311 {
312     DBD *dbd;
313
314     if ( NULL == (dbd = calloc(sizeof(DBD), 1)) )
315         return NULL;
316
317     /* filename == NULL means in memory db */
318     if (filename) {
319         if (! envhome)
320             return NULL;
321
322         dbd->db_envhome = strdup(envhome);
323         if (NULL == dbd->db_envhome) {
324             free(dbd);
325             return NULL;
326         }
327
328         dbd->db_filename = strdup(filename);
329         if (NULL == dbd->db_filename) {
330             free(dbd->db_envhome);
331             free(dbd);
332             return NULL;
333         }
334     }
335     
336     dbd->db_table[DBIF_CNID].name        = "cnid2.db";
337     dbd->db_table[DBIF_IDX_DEVINO].name  = "devino.db";
338     dbd->db_table[DBIF_IDX_DIDNAME].name = "didname.db";
339     dbd->db_table[DBIF_IDX_NAME].name    = "name.db";
340
341     dbd->db_table[DBIF_CNID].type        = DB_BTREE;
342     dbd->db_table[DBIF_IDX_DEVINO].type  = DB_BTREE;
343     dbd->db_table[DBIF_IDX_DIDNAME].type = DB_BTREE;
344     dbd->db_table[DBIF_IDX_NAME].type    = DB_BTREE;
345
346     dbd->db_table[DBIF_CNID].openflags        = DB_CREATE;
347     dbd->db_table[DBIF_IDX_DEVINO].openflags  = DB_CREATE;
348     dbd->db_table[DBIF_IDX_DIDNAME].openflags = DB_CREATE;
349     dbd->db_table[DBIF_IDX_NAME].openflags    = DB_CREATE;
350
351     dbd->db_table[DBIF_IDX_NAME].flags = DB_DUPSORT;
352
353     return dbd;
354 }
355
356 /* 
357    We must open the db_env with an absolute pathname, as `dbd` keeps chdir'ing, which
358    breaks e.g. bdb logfile-rotation with relative pathnames.
359    But still we use relative paths with DB_ERRLOGFILE
360    in order to avoid creating absolute paths by copying. Both have no problem with
361    a relative path.
362 */
363 int dbif_env_open(DBD *dbd, struct db_param *dbp, uint32_t dbenv_oflags)
364 {
365     int ret;
366
367     if ((ret = db_env_create(&dbd->db_env, 0))) {
368         LOG(log_error, logtype_cnid, "error creating DB environment: %s",
369             db_strerror(ret));
370         dbd->db_env = NULL;
371         return -1;
372     }
373
374     if ((dbif_openlog(dbd)) != 0)
375         return -1;
376
377     if (dbenv_oflags & DB_RECOVER) {
378
379         LOG(log_debug, logtype_cnid, "Running recovery");
380
381         dbd->db_env->set_verbose(dbd->db_env, DB_VERB_RECOVERY, 1);
382         /* Open the database for recovery using DB_PRIVATE option which is faster */
383         if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags | DB_PRIVATE, 0))) {
384             LOG(log_error, logtype_cnid, "error opening DB environment: %s",
385                 db_strerror(ret));
386             dbd->db_env->close(dbd->db_env, 0);
387             dbd->db_env = NULL;
388             return -1;
389         }
390         dbenv_oflags = (dbenv_oflags & ~DB_RECOVER);
391
392         if (dbd->db_errlog != NULL)
393             fflush(dbd->db_errlog);
394
395         if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
396             LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s",
397                 db_strerror(ret));
398             dbd->db_env = NULL;
399             return -1;
400         }
401         dbd->db_errlog = NULL;        
402
403         if ((ret = db_env_create(&dbd->db_env, 0))) {
404             LOG(log_error, logtype_cnid, "error creating DB environment after recovery: %s",
405                 db_strerror(ret));
406             dbd->db_env = NULL;
407             return -1;
408         }
409
410         if ((dbif_openlog(dbd)) != 0)
411             return -1;
412
413         LOG(log_debug, logtype_cnid, "Finished recovery.");
414     }
415
416     if ((ret = dbd->db_env->set_cachesize(dbd->db_env, 0, 1024 * dbp->cachesize, 0))) {
417         LOG(log_error, logtype_cnid, "error setting DB environment cachesize to %i: %s",
418             dbp->cachesize, db_strerror(ret));
419         dbd->db_env->close(dbd->db_env, 0);
420         dbd->db_env = NULL;
421         return -1;
422     }
423
424     if ((ret = dbd->db_env->set_lk_max_locks(dbd->db_env, dbp->maxlocks))) {
425         LOG(log_error, logtype_cnid, "error setting DB environment maxlocks to %i: %s",
426             10000, db_strerror(ret));
427         dbd->db_env->close(dbd->db_env, 0);
428         dbd->db_env = NULL;
429         return -1;
430     }
431
432     if ((ret = dbd->db_env->set_lk_max_objects(dbd->db_env, dbp->maxlockobjs))) {
433         LOG(log_error, logtype_cnid, "error setting DB environment max lockobjects to %i: %s",
434             10000, db_strerror(ret));
435         dbd->db_env->close(dbd->db_env, 0);
436         dbd->db_env = NULL;
437         return -1;
438     }
439
440     if ((ret = dbd->db_env->open(dbd->db_env, dbd->db_envhome, dbenv_oflags, 0))) {
441         LOG(log_error, logtype_cnid, "error opening DB environment after recovery: %s",
442             db_strerror(ret));
443         dbd->db_env->close(dbd->db_env, 0);
444         dbd->db_env = NULL;
445         return -1;
446     }
447
448     if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_AUTO_COMMIT, 1))) {
449         LOG(log_error, logtype_cnid, "error setting DB_AUTO_COMMIT flag: %s",
450             db_strerror(ret));
451         dbd->db_env->close(dbd->db_env, 0);
452         dbd->db_env = NULL;
453         return -1;
454     }
455
456     if (dbp->logfile_autoremove) {
457         if ((dbif_logautorem(dbd)) != 0)
458             return -1;
459
460 #if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 7)
461         if ((ret = dbd->db_env->log_set_config(dbd->db_env, DB_LOG_AUTO_REMOVE, 1))) {
462             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTO_REMOVE flag: %s",
463             db_strerror(ret));
464             dbd->db_env->close(dbd->db_env, 0);
465             dbd->db_env = NULL;
466             return -1;
467         }
468 #else
469         if ((ret = dbd->db_env->set_flags(dbd->db_env, DB_LOG_AUTOREMOVE, 1))) {
470             LOG(log_error, logtype_cnid, "error setting DB_LOG_AUTOREMOVE flag: %s",
471                 db_strerror(ret));
472             dbd->db_env->close(dbd->db_env, 0);
473             dbd->db_env = NULL;
474             return -1;
475         }
476 #endif
477     }
478
479     return 0;
480 }
481
482 /* --------------- */
483 int dbif_open(DBD *dbd, struct db_param *dbp, int reindex)
484 {
485     int ret, i, cwd;
486     u_int32_t count;
487     struct stat st;
488     DB *upgrade_db;
489
490     /* Try to upgrade if it's a normal on-disk database */
491     if (dbd->db_envhome) {
492         /* Remember cwd */
493         if ((cwd = open(".", O_RDONLY)) < 0) {
494             LOG(log_error, logtype_cnid, "error opening cwd: %s", strerror(errno));
495             return -1;
496         }
497         
498         /* chdir to db_envhome. makes it easier checking for old db files and creating db_errlog file  */
499         if ((chdir(dbd->db_envhome)) != 0) {
500             LOG(log_error, logtype_cnid, "error chdiring to db_env '%s': %s", dbd->db_envhome, strerror(errno));        
501             return -1;
502         }
503         
504         if ((stat(dbd->db_filename, &st)) == 0) {
505             LOG(log_debug, logtype_cnid, "See if we can upgrade the CNID database...");
506             if ((ret = db_create(&upgrade_db, dbd->db_env, 0))) {
507                 LOG(log_error, logtype_cnid, "error creating handle for database: %s", db_strerror(ret));
508                 return -1;
509             }
510             if ((ret = upgrade_db->upgrade(upgrade_db, dbd->db_filename, 0))) {
511                 LOG(log_error, logtype_cnid, "error upgarding database: %s", db_strerror(ret));
512                 return -1;
513             }
514             if ((ret = upgrade_db->close(upgrade_db, 0))) {
515                 LOG(log_error, logtype_cnid, "error closing database: %s", db_strerror(ret));
516                 return -1;
517             }
518             if ((ret = dbd->db_env->txn_checkpoint(dbd->db_env, 0, 0, DB_FORCE))) {
519                 LOG(log_error, logtype_cnid, "error forcing checkpoint: %s", db_strerror(ret));
520                 return -1;
521             }
522             LOG(log_debug, logtype_cnid, "Finished BerkeleyBD upgrade check");
523         }
524         
525         if ((fchdir(cwd)) != 0) {
526             LOG(log_error, logtype_cnid, "error chdiring back: %s", strerror(errno));        
527             return -1;
528         }
529     }
530
531     /* Now open databases ... */
532     for (i = 0; i != DBIF_DB_CNT; i++) {
533         if ((ret = db_create(&dbd->db_table[i].db, dbd->db_env, 0))) {
534             LOG(log_error, logtype_cnid, "error creating handle for database %s: %s",
535                 dbd->db_table[i].name, db_strerror(ret));
536             return -1;
537         }
538
539         if (dbd->db_table[i].flags) {
540             if ((ret = dbd->db_table[i].db->set_flags(dbd->db_table[i].db,
541                                                       dbd->db_table[i].flags))) {
542                 LOG(log_error, logtype_cnid, "error setting flags for database %s: %s",
543                     dbd->db_table[i].name, db_strerror(ret));
544                 return -1;
545             }
546         }
547
548         if ( ! dbd->db_env) {   /* In memory db */
549             if ((ret = dbd->db_table[i].db->set_cachesize(dbd->db_table[i].db,
550                                                           0,
551                                                           dbp->cachesize,
552                                                           4)) /* split in 4 memory chunks */
553                 < 0)  {
554                 LOG(log_error, logtype_cnid, "error setting cachesize %u KB for database %s: %s",
555                     dbp->cachesize / 1024, dbd->db_table[i].name, db_strerror(ret));
556                 return -1;
557             }
558         }
559
560         if (dbd->db_table[i].db->open(dbd->db_table[i].db,
561                                       dbd->db_txn,
562                                       dbd->db_filename,
563                                       dbd->db_table[i].name,
564                                       dbd->db_table[i].type,
565                                       dbd->db_table[i].openflags,
566                                       0664) < 0) {
567             LOG(log_error, logtype_cnid, "Cant open database");
568             return -1;
569         }
570
571         if (reindex && i > 0) {
572             LOG(log_info, logtype_cnid, "Truncating CNID index.");
573             if ((ret = dbd->db_table[i].db->truncate(dbd->db_table[i].db, NULL, &count, 0))) {
574                 LOG(log_error, logtype_cnid, "error truncating database %s: %s",
575                     dbd->db_table[i].name, db_strerror(ret));
576                 return -1;
577             }
578         }
579     }
580
581     /* TODO: Implement CNID DB versioning info on new databases. */
582
583     /* Associate the secondary with the primary. */
584     if (reindex)
585         LOG(log_info, logtype_cnid, "Reindexing did/name index...");
586     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[DBIF_CNID].db,
587                                               dbd->db_txn,
588                                               dbd->db_table[DBIF_IDX_DIDNAME].db, 
589                                               didname,
590                                               (reindex) ? DB_CREATE : 0))
591          != 0) {
592         LOG(log_error, logtype_cnid, "Failed to associate didname database: %s",db_strerror(ret));
593         return -1;
594     }
595     if (reindex)
596         LOG(log_info, logtype_cnid, "... done.");
597
598     if (reindex)
599         LOG(log_info, logtype_cnid, "Reindexing dev/ino index...");
600     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db, 
601                                               dbd->db_txn,
602                                               dbd->db_table[DBIF_IDX_DEVINO].db, 
603                                               devino,
604                                               (reindex) ? DB_CREATE : 0))
605         != 0) {
606         LOG(log_error, logtype_cnid, "Failed to associate devino database: %s",db_strerror(ret));
607         return -1;
608     }
609     if (reindex)
610         LOG(log_info, logtype_cnid, "... done.");
611
612     if (reindex)
613         LOG(log_info, logtype_cnid, "Reindexing name index...");
614
615     uint32_t version = CNID_VERSION;
616     if (dbd->db_envhome && !reindex) {
617         if (dbif_getversion(dbd, &version) == -1)
618             return -1;
619     }
620
621     if ((ret = dbd->db_table[0].db->associate(dbd->db_table[0].db, 
622                                               dbd->db_txn,
623                                               dbd->db_table[DBIF_IDX_NAME].db, 
624                                               idxname,
625                                               (reindex
626                                                || 
627                                                ((CNID_VERSION == CNID_VERSION_1) && (version == CNID_VERSION_0)))
628                                               ? DB_CREATE : 0)) != 0) {
629         LOG(log_error, logtype_cnid, "Failed to associate name index: %s", db_strerror(ret));
630         return -1;
631     }
632     if (reindex)
633         LOG(log_info, logtype_cnid, "... done.");
634
635     if ((dbd->db_envhome) && ((ret = dbif_upgrade(dbd)) != 0)) {
636         LOG(log_error, logtype_cnid, "Error upgrading CNID database to version %d", CNID_VERSION);
637         return -1;
638     }
639     
640     return 0;
641 }
642
643 /* ------------------------ */
644 static int dbif_closedb(DBD *dbd)
645 {
646     int i;
647     int ret;
648     int err = 0;
649
650     for (i = DBIF_DB_CNT -1; i >= 0; i--) {
651         if (dbd->db_table[i].db != NULL && (ret = dbd->db_table[i].db->close(dbd->db_table[i].db, 0))) {
652             LOG(log_error, logtype_cnid, "error closing database %s: %s", dbd->db_table[i].name, db_strerror(ret));
653             err++;
654         }
655     }
656     if (err)
657         return -1;
658     return 0;
659 }
660
661 /* ------------------------ */
662 int dbif_close(DBD *dbd)
663 {
664     int ret;
665     int err = 0;
666
667     if (dbif_closedb(dbd))
668         err++;
669
670     if (dbd->db_env != NULL && (ret = dbd->db_env->close(dbd->db_env, 0))) {
671         LOG(log_error, logtype_cnid, "error closing DB environment: %s", db_strerror(ret));
672         err++;
673     }
674     if (dbd->db_errlog != NULL && fclose(dbd->db_errlog) == EOF) {
675         LOG(log_error, logtype_cnid, "error closing DB logfile: %s", strerror(errno));
676         err++;
677     }
678
679     free(dbd->db_filename);
680     free(dbd);
681     dbd = NULL;
682
683     if (err)
684         return -1;
685     return 0;
686 }
687
688 /* 
689    In order to support silent database upgrades:
690    destroy env at cnid_dbd shutdown.
691  */
692 int dbif_env_remove(const char *path)
693 {
694     int ret;
695     DBD *dbd;
696
697     LOG(log_debug, logtype_cnid, "Reopening BerkeleyDB environment");
698     
699     if (NULL == (dbd = dbif_init(path, "cnid2.db")))
700         return -1;
701
702     /* Get db_env handle */
703     if ((ret = db_env_create(&dbd->db_env, 0))) {
704         LOG(log_error, logtype_cnid, "error creating DB environment: %s", db_strerror(ret));
705         dbd->db_env = NULL;
706         return -1;
707     }
708
709     if ((dbif_openlog(dbd)) != 0)
710         return -1;
711
712     /* Open environment with recovery */
713     if ((ret = dbd->db_env->open(dbd->db_env, 
714                                  dbd->db_envhome,
715                                  DB_CREATE | DB_INIT_LOG | DB_INIT_MPOOL | DB_INIT_LOCK | DB_INIT_TXN | DB_RECOVER | DB_PRIVATE,
716                                  0))) {
717         LOG(log_error, logtype_cnid, "error opening DB environment: %s",
718             db_strerror(ret));
719         dbd->db_env->close(dbd->db_env, 0);
720         dbd->db_env = NULL;
721         return -1;
722     }
723
724     if (dbd->db_errlog != NULL)
725         fflush(dbd->db_errlog);
726
727     /* Remove logfiles */
728     if ((ret = dbd->db_env->log_archive(dbd->db_env, NULL, DB_ARCH_REMOVE))) {
729          LOG(log_error, logtype_cnid, "error removing transaction logfiles: %s", db_strerror(ret));
730          return -1;
731     }
732
733     if ((ret = dbd->db_env->close(dbd->db_env, 0))) {
734         LOG(log_error, logtype_cnid, "error closing DB environment after recovery: %s", db_strerror(ret));
735         dbd->db_env = NULL;
736         return -1;
737     }
738
739     LOG(log_debug, logtype_cnid, "BerkeleyDB environment recovery done.");
740
741     /* Get a new db_env handle and then remove environment */
742     if ((ret = db_env_create(&dbd->db_env, 0))) {
743         LOG(log_error, logtype_cnid, "error acquiring db_end handle: %s", db_strerror(ret));
744         dbd->db_env = NULL;
745         return -1;
746     }
747     if ((ret = dbd->db_env->remove(dbd->db_env, dbd->db_envhome, 0))) {
748         LOG(log_error, logtype_cnid, "error removing BerkeleyDB environment: %s", db_strerror(ret));
749         return -1;
750     }
751
752     LOG(log_debug, logtype_cnid, "Removed BerkeleyDB environment.");
753
754     return 0;
755 }
756
757 /*
758  *  The following three functions are wrappers for DB->get(), DB->put() and DB->del().
759  *  All three return -1 on error. dbif_get()/dbif_del return 1 if the key was found and 0
760  *  otherwise. dbif_put() returns 0 if key/val was successfully updated and 1 if
761  *  the DB_NOOVERWRITE flag was specified and the key already exists.
762  *
763  *  All return codes other than DB_NOTFOUND and DB_KEYEXIST from the DB->()
764  *  functions are not expected and therefore error conditions.
765  */
766
767 int dbif_get(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
768 {
769     int ret;
770
771     ret = dbd->db_table[dbi].db->get(dbd->db_table[dbi].db,
772                                      dbd->db_txn,
773                                      key,
774                                      val,
775                                      flags);
776
777     if (ret == DB_NOTFOUND)
778         return 0;
779     if (ret) {
780         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
781             dbd->db_table[dbi].name, db_strerror(ret));
782         return -1;
783     } else
784         return 1;
785 }
786
787 /* search by secondary return primary */
788 int dbif_pget(DBD *dbd, const int dbi, DBT *key, DBT *pkey, DBT *val, u_int32_t flags)
789 {
790     int ret;
791
792     ret = dbd->db_table[dbi].db->pget(dbd->db_table[dbi].db,
793                                       dbd->db_txn,
794                                       key,
795                                       pkey,
796                                       val,
797                                       flags);
798
799     if (ret == DB_NOTFOUND || ret == DB_SECONDARY_BAD) {
800         return 0;
801     }
802     if (ret) {
803         LOG(log_error, logtype_cnid, "error retrieving value from %s: %s",
804             dbd->db_table[dbi].name, db_strerror(ret));
805         return -1;
806    } else
807         return 1;
808 }
809
810 /* -------------------------- */
811 int dbif_put(DBD *dbd, const int dbi, DBT *key, DBT *val, u_int32_t flags)
812 {
813     int ret;
814
815     if (dbif_txn_begin(dbd) < 0) {
816         LOG(log_error, logtype_cnid, "error setting key/value in %s", dbd->db_table[dbi].name);
817         return -1;
818     }
819
820     ret = dbd->db_table[dbi].db->put(dbd->db_table[dbi].db,
821                                      dbd->db_txn,
822                                      key,
823                                      val,
824                                      flags);
825
826     
827     if (ret) {
828         if ((flags & DB_NOOVERWRITE) && ret == DB_KEYEXIST) {
829             return 1;
830         } else {
831             LOG(log_error, logtype_cnid, "error setting key/value in %s: %s",
832                 dbd->db_table[dbi].name, db_strerror(ret));
833             return -1;
834         }
835     } else
836         return 0;
837 }
838
839 int dbif_del(DBD *dbd, const int dbi, DBT *key, u_int32_t flags)
840 {
841     int ret;
842
843     /* For cooperation with the dbd utility and its usage of a cursor */
844     if (dbd->db_cur) {
845         dbd->db_cur->close(dbd->db_cur);
846         dbd->db_cur = NULL;
847     }    
848
849     if (dbif_txn_begin(dbd) < 0) {
850         LOG(log_error, logtype_cnid, "error deleting key/value from %s", dbd->db_table[dbi].name);
851         return -1;
852     }
853
854     ret = dbd->db_table[dbi].db->del(dbd->db_table[dbi].db,
855                                      dbd->db_txn,
856                                      key,
857                                      flags);
858     
859     if (ret == DB_NOTFOUND) {
860         LOG(log_info, logtype_cnid, "key not found");
861         return 0;
862     }
863     if (ret) {
864         LOG(log_error, logtype_cnid, "error deleting key/value from %s: %s",
865             dbd->db_table[dbi].name, db_strerror(ret));
866         return -1;
867     } else
868         return 1;
869 }
870
871 /*!
872  * Search the database by name
873  *
874  * @param resbuf    (w) buffer for search results CNIDs, maxsize is assumed to be
875  *                      DBD_MAX_SRCH_RSLTS * sizefof(cnid_t)
876  *
877  * @returns -1 on error, 0 when nothing found, else the number of matches
878  */
879 int dbif_search(DBD *dbd, DBT *key, char *resbuf)
880 {
881     int ret = 0;
882     int count = 0;
883     DBC *cursorp = NULL;
884     DBT pkey, data;
885     char *cnids = resbuf;
886     cnid_t cnid;
887     char *namebkp = key->data;
888     int namelenbkp = key->size;
889
890     memset(&pkey, 0, sizeof(DBT));
891     memset(&data, 0, sizeof(DBT));
892
893     /* Get a cursor */
894     ret = dbd->db_table[DBIF_IDX_NAME].db->cursor(dbd->db_table[DBIF_IDX_NAME].db,
895                                                   NULL,
896                                                   &cursorp,
897                                                   0);
898     if (ret != 0) {
899         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(ret));
900         ret = -1;
901         goto exit;
902     }
903
904     ret = cursorp->pget(cursorp, key, &pkey, &data, DB_SET_RANGE);
905     while (count < DBD_MAX_SRCH_RSLTS && ret != DB_NOTFOUND) {
906         if (!((namelenbkp <= key->size) && (strncmp(namebkp, key->data, namelenbkp) == 0)))
907             break;
908         count++;
909         memcpy(cnids, pkey.data, sizeof(cnid_t));
910         memcpy(&cnid, pkey.data, sizeof(cnid_t));
911         cnids += sizeof(cnid_t);
912         LOG(log_debug, logtype_cnid, "match: CNID %" PRIu32, ntohl(cnid));
913
914         ret = cursorp->pget(cursorp, key, &pkey, &data, DB_NEXT);
915     }
916
917     ret = count;
918
919 exit:
920     if (cursorp != NULL)
921         cursorp->close(cursorp);
922     return ret;
923 }
924
925 int dbif_txn_begin(DBD *dbd)
926 {
927     int ret;
928
929     /* If we already have an active txn, just return */
930     if (dbd->db_txn)
931         return 0;
932
933     /* If our DBD has no env, just return (-> in memory db) */
934     if (dbd->db_env == NULL)
935         return 0;
936
937     ret = dbd->db_env->txn_begin(dbd->db_env, NULL, &dbd->db_txn, 0);
938
939     if (ret) {
940         LOG(log_error, logtype_cnid, "error starting transaction: %s", db_strerror(ret));
941         return -1;
942     } else
943         return 0;
944 }
945
946 int dbif_txn_commit(DBD *dbd)
947 {
948     int ret;
949
950     if (! dbd->db_txn)
951         return 0;
952
953     /* If our DBD has no env, just return (-> in memory db) */
954     if (dbd->db_env == NULL)
955         return 0;
956
957     ret = dbd->db_txn->commit(dbd->db_txn, 0);
958     dbd->db_txn = NULL;
959     
960     if (ret) {
961         LOG(log_error, logtype_cnid, "error committing transaction: %s", db_strerror(ret));
962         return -1;
963     } else
964         return 1;
965 }
966
967 int dbif_txn_abort(DBD *dbd)
968 {
969     int ret;
970
971     if (! dbd->db_txn)
972         return 0;
973
974     /* If our DBD has no env, just return (-> in memory db) */
975     if (dbd->db_env == NULL)
976         return 0;
977
978     ret = dbd->db_txn->abort(dbd->db_txn);
979     dbd->db_txn = NULL;
980     
981     if (ret) {
982         LOG(log_error, logtype_cnid, "error aborting transaction: %s", db_strerror(ret));
983         return -1;
984     } else
985         return 0;
986 }
987
988 /* 
989    ret = 1 -> commit txn
990    ret = 0 -> abort txn -> exit!
991    anything else -> exit!
992 */
993 void dbif_txn_close(DBD *dbd, int ret)
994 {
995     if (ret == 0) {
996         if (dbif_txn_abort(dbd) < 0) {
997             LOG( log_error, logtype_cnid, "Fatal error aborting transaction. Exiting!");
998             exit(EXIT_FAILURE);
999         }
1000     } else if (ret == 1) {
1001         ret = dbif_txn_commit(dbd);
1002         if (  ret < 0) {
1003             LOG( log_error, logtype_cnid, "Fatal error committing transaction. Exiting!");
1004             exit(EXIT_FAILURE);
1005         }
1006     } else
1007        exit(EXIT_FAILURE);
1008 }
1009
1010 int dbif_txn_checkpoint(DBD *dbd, u_int32_t kbyte, u_int32_t min, u_int32_t flags)
1011 {
1012     int ret;
1013     ret = dbd->db_env->txn_checkpoint(dbd->db_env, kbyte, min, flags);
1014     if (ret) {
1015         LOG(log_error, logtype_cnid, "error checkpointing transaction susystem: %s", db_strerror(ret));
1016         return -1;
1017     } else
1018         return 0;
1019 }
1020
1021 int dbif_count(DBD *dbd, const int dbi, u_int32_t *count)
1022 {
1023     int ret;
1024     DB_BTREE_STAT *sp;
1025     DB *db = dbd->db_table[dbi].db;
1026
1027     ret = db->stat(db, NULL, &sp, 0);
1028
1029     if (ret) {
1030         LOG(log_error, logtype_cnid, "error getting stat infotmation on database: %s", db_strerror(ret));
1031         return -1;
1032     }
1033
1034     *count = sp->bt_ndata;
1035     free(sp);
1036
1037     return 0;
1038 }
1039
1040 int dbif_copy_rootinfokey(DBD *srcdbd, DBD *destdbd)
1041 {
1042     DBT key, data;
1043     int rc;
1044
1045     memset(&key, 0, sizeof(key));
1046     memset(&data, 0, sizeof(data));
1047
1048     key.data = ROOTINFO_KEY;
1049     key.size = ROOTINFO_KEYLEN;
1050
1051     if ((rc = dbif_get(srcdbd, DBIF_CNID, &key, &data, 0)) <= 0) {
1052         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error getting rootinfo record");
1053         return -1;
1054     }
1055
1056     memset(&key, 0, sizeof(key));
1057     key.data = ROOTINFO_KEY;
1058     key.size = ROOTINFO_KEYLEN;
1059
1060     if ((rc = dbif_put(destdbd, DBIF_CNID, &key, &data, 0))) {
1061         LOG(log_error, logtype_cnid, "dbif_copy_rootinfokey: Error writing rootinfo key");
1062         return -1;
1063     }
1064
1065     return 0;
1066 }
1067
1068 int dbif_dump(DBD *dbd, int dumpindexes)
1069 {
1070     int rc;
1071     uint32_t max = 0, count = 0, cnid, type, did, lastid, version;
1072     uint64_t dev, ino;
1073     time_t stamp;
1074     DBC *cur;
1075     DBT key = { 0 }, data = { 0 };
1076     DB *db = dbd->db_table[DBIF_CNID].db;
1077     char *typestring[2] = {"f", "d"};
1078     char timebuf[64];
1079
1080     printf("CNID database dump:\n");
1081
1082     rc = db->cursor(db, NULL, &cur, 0);
1083     if (rc) {
1084         LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1085         return -1;
1086     }
1087
1088     cur->c_get(cur, &key, &data, DB_FIRST);
1089     while (rc == 0) {
1090         /* Parse and print data */
1091         memcpy(&cnid, key.data, 4);
1092         cnid = ntohl(cnid);
1093         if (cnid > max)
1094             max = cnid;
1095
1096         /* Rootinfo node ? */
1097         if (cnid == 0) {
1098             memcpy(&stamp, (char *)data.data + CNID_DEV_OFS, sizeof(time_t));
1099             memcpy(&lastid, (char *)data.data + CNID_TYPE_OFS, CNID_TYPE_LEN);
1100             lastid = ntohl(lastid);
1101             memcpy(&version, (char *)data.data + CNID_DID_OFS, CNID_DID_LEN);
1102             version = ntohl(version);
1103
1104             strftime(timebuf, sizeof(timebuf), "%b %d %Y %H:%M:%S", localtime(&stamp));
1105             printf("CNID db version: %u, dbd stamp: 0x%08x (%s), next free CNID: %u\n",
1106                    version, (unsigned int)stamp, timebuf, lastid + 1);
1107         } else {
1108             /* dev */
1109             memcpy(&dev, (char *)data.data + CNID_DEV_OFS, 8);
1110             dev = ntoh64(dev);
1111             /* ino */
1112             memcpy(&ino, (char *)data.data + CNID_INO_OFS, 8);
1113             ino = ntoh64(ino);
1114             /* type */
1115             memcpy(&type, (char *)data.data + CNID_TYPE_OFS, 4);
1116             type = ntohl(type);
1117             /* did */
1118             memcpy(&did, (char *)data.data + CNID_DID_OFS, 4);
1119             did = ntohl(did);
1120
1121             count++;
1122             printf("id: %10u, did: %10u, type: %s, dev: 0x%llx, ino: 0x%016llx, name: %s\n", 
1123                    cnid, did, typestring[type],
1124                    (long long unsigned int)dev, (long long unsigned int)ino, 
1125                    (char *)data.data + CNID_NAME_OFS);
1126
1127         }
1128
1129         rc = cur->c_get(cur, &key, &data, DB_NEXT);
1130     }
1131
1132     if (rc != DB_NOTFOUND) {
1133         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1134         return -1;
1135     }
1136
1137     rc = cur->c_close(cur);
1138     if (rc) {
1139         LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1140         return -1;
1141     }
1142     printf("%u CNIDs in database. Max CNID: %u.\n", count, max);
1143
1144     /* Dump indexes too ? */
1145     if (dumpindexes) {
1146         /* DBIF_IDX_DEVINO */
1147         printf("\ndev/inode index:\n");
1148         count = 0;
1149         db = dbd->db_table[DBIF_IDX_DEVINO].db;
1150         rc = db->cursor(db, NULL, &cur, 0);
1151         if (rc) {
1152             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1153             return -1;
1154         }
1155         
1156         cur->c_get(cur, &key, &data, DB_FIRST);
1157         while (rc == 0) {
1158             /* Parse and print data */
1159
1160             /* cnid */
1161             memcpy(&cnid, data.data, CNID_LEN);
1162             cnid = ntohl(cnid);
1163             if (cnid == 0) {
1164                 /* Rootinfo node */
1165             } else {
1166                 /* dev */
1167                 memcpy(&dev, key.data, CNID_DEV_LEN);
1168                 dev = ntoh64(dev);
1169                 /* ino */
1170                 memcpy(&ino, (char *)key.data + CNID_DEV_LEN, CNID_INO_LEN);
1171                 ino = ntoh64(ino);
1172                 
1173                 printf("id: %10u <== dev: 0x%llx, ino: 0x%016llx\n", 
1174                        cnid, (unsigned long long int)dev, (unsigned long long int)ino);
1175                 count++;
1176             }
1177             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1178         }
1179         if (rc != DB_NOTFOUND) {
1180             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1181             return -1;
1182         }
1183         
1184         rc = cur->c_close(cur);
1185         if (rc) {
1186             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1187             return -1;
1188         }
1189         printf("%u items\n", count);
1190
1191         /* Now dump DBIF_IDX_DIDNAME */
1192         printf("\ndid/name index:\n");
1193         count = 0;
1194         db = dbd->db_table[DBIF_IDX_DIDNAME].db;
1195         rc = db->cursor(db, NULL, &cur, 0);
1196         if (rc) {
1197             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1198             return -1;
1199         }
1200         
1201         cur->c_get(cur, &key, &data, DB_FIRST);
1202         while (rc == 0) {
1203             /* Parse and print data */
1204
1205             /* cnid */
1206             memcpy(&cnid, data.data, CNID_LEN);
1207             cnid = ntohl(cnid);
1208             if (cnid == 0) {
1209                 /* Rootinfo node */
1210             } else {
1211                 /* did */
1212                 memcpy(&did, key.data, CNID_LEN);
1213                 did = ntohl(did);
1214
1215                 printf("id: %10u <== did: %10u, name: %s\n", cnid, did, (char *)key.data + CNID_LEN);
1216                 count++;
1217             }
1218             rc = cur->c_get(cur, &key, &data, DB_NEXT);
1219         }
1220         if (rc != DB_NOTFOUND) {
1221             LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1222             return -1;
1223         }
1224         
1225         rc = cur->c_close(cur);
1226         if (rc) {
1227             LOG(log_error, logtype_cnid, "Couldn't close cursor: %s", db_strerror(rc));
1228             return -1;
1229         }
1230         printf("%u items\n", count);
1231     }
1232
1233     return 0;
1234 }
1235
1236 /* 
1237    Iterates over dbd, returning cnids.
1238    Uses in-value of cnid to seek to that cnid, then gets next and return that in cnid.
1239    If close=1, close cursor.
1240    Return -1 on error, 0 on EOD (end-of-database), 1 if returning cnid.
1241 */
1242 int dbif_idwalk(DBD *dbd, cnid_t *cnid, int close)
1243 {
1244     int rc;
1245     int flag;
1246     cnid_t id;
1247
1248     static DBT key = { 0 }, data = { 0 };
1249     DB *db = dbd->db_table[DBIF_CNID].db;
1250
1251     if (close) {
1252         if (dbd->db_cur) {
1253             dbd->db_cur->close(dbd->db_cur);
1254             dbd->db_cur = NULL;
1255         }
1256         return 0;
1257     }
1258
1259     /* An dbif_del will have closed our cursor too */
1260     if ( ! dbd->db_cur ) {
1261         if ((rc = db->cursor(db, NULL, &dbd->db_cur, 0)) != 0) {
1262             LOG(log_error, logtype_cnid, "Couldn't create cursor: %s", db_strerror(rc));
1263             return -1;
1264         }
1265         flag = DB_SET_RANGE;    /* This will seek to next cnid after the one just deleted */
1266         id = htonl(*cnid);
1267         key.data = &id;
1268         key.size = sizeof(cnid_t);
1269     } else
1270         flag = DB_NEXT;
1271
1272     if ((rc = dbd->db_cur->get(dbd->db_cur, &key, &data, flag)) == 0) {
1273         memcpy(cnid, key.data, sizeof(cnid_t));
1274         *cnid = ntohl(*cnid);
1275         return 1;
1276     }
1277
1278     if (rc != DB_NOTFOUND) {
1279         LOG(log_error, logtype_cnid, "Error iterating over btree: %s", db_strerror(rc));
1280         dbd->db_cur->close(dbd->db_cur);
1281         dbd->db_cur = NULL;
1282         return -1;
1283     }
1284
1285     if (dbd->db_cur) {
1286         dbd->db_cur->close(dbd->db_cur);
1287         dbd->db_cur = NULL;
1288     }    
1289
1290     return 0;
1291 }