etc/spotlight/slmod_sparql.c

   1 /*
   2   Copyright (c) 2012 Frank Lahm <franklahm@gmail.com>
   3
   4   This program is free software; you can redistribute it and/or modify
   5   it under the terms of the GNU General Public License as published by
   6   the Free Software Foundation; either version 2 of the License, or
   7   (at your option) any later version.
   8
   9   This program is distributed in the hope that it will be useful,
  10   but WITHOUT ANY WARRANTY; without even the implied warranty of
  11   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12   GNU General Public License for more details.
  13 */
  14
  15 #ifdef HAVE_CONFIG_H
  16 #include "config.h"
  17 #endif /* HAVE_CONFIG_H */
  18
  19 #include <string.h>
  20 #include <locale.h>
  21
  22 #include <gio/gio.h>
  23 #include <tracker-sparql.h>
  24 #include <libtracker-miner/tracker-miner.h>
  25
  26 #include <atalk/util.h>
  27 #include <atalk/errchk.h>
  28 #include <atalk/logger.h>
  29 #include <atalk/unix.h>
  30 #include <atalk/spotlight.h>
  31
  32 #include "slmod_sparql_parser.h"
  33
  34 #define MAX_SL_RESULTS 20
  35
  36 static TrackerSparqlConnection *connection;
  37 static TrackerMinerManager *manager;
  38
  39 static char *tracker_to_unix_path(const char *uri)
  40 {
  41     EC_INIT;
  42     GFile *f = NULL;
  43     char *path = NULL;
  44
  45     EC_NULL_LOG( f = g_file_new_for_uri(uri) );
  46     EC_NULL_LOG( path = g_file_get_path(f) );
  47
  48 EC_CLEANUP:
  49     if (f)
  50         g_object_unref(f);
  51     if (ret != 0)
  52         return NULL;
  53     return path;
  54 }
  55
  56 static int sl_mod_init(void *p)
  57 {
  58     EC_INIT;
  59     GError *error = NULL;
  60     const char *msg = p;
  61
  62     LOG(log_info, logtype_sl, "Initializing Spotlight module");
  63
  64     g_type_init();
  65     setenv("DBUS_SESSION_BUS_ADDRESS", "unix:path=/tmp/spotlight.ipc", 1);
  66     setenv("TRACKER_SPARQL_BACKEND", "bus", 1);
  67
  68 #ifdef DEBUG
  69     setenv("TRACKER_VERBOSITY", "3", 1);
  70     dup2(type_configs[logtype_sl].fd, 1);
  71     dup2(type_configs[logtype_sl].fd, 2);
  72 #endif
  73
  74     become_root();
  75     connection = tracker_sparql_connection_get(NULL, &error);
  76     manager = tracker_miner_manager_new_full(FALSE, &error);
  77     unbecome_root();
  78
  79     if (!connection) {
  80         LOG(log_error, logtype_sl, "Couldn't obtain a direct connection to the Tracker store: %s",
  81             error ? error->message : "unknown error");
  82         g_clear_error(&error);
  83         EC_FAIL;
  84     }
  85
  86     if (!manager) {
  87         LOG(log_error, logtype_sl, "Couldn't connect to Tracker miner");
  88         g_clear_error(&error);
  89         EC_FAIL;
  90     }
  91
  92 EC_CLEANUP:
  93     EC_EXIT;
  94 }
  95
  96
  97 static void tracker_cb(GObject *source_object, GAsyncResult *res, gpointer user_data)
  98 {
  99     slq_t *slq = user_data;
 100     TrackerSparqlCursor *cursor;
 101     GError *error = NULL;
 102
 103     LOG(log_debug, logtype_sl, "tracker_cb");
 104
 105     cursor = tracker_sparql_connection_query_finish(connection, res, &error);
 106
 107     if (error) {
 108         LOG(log_error, logtype_sl, "sl_mod_fetch_result: Couldn't query the Tracker Store: '%s'",
 109             error ? error->message : "unknown error");
 110         g_clear_error(&error);
 111         return;
 112     }
 113
 114     slq->slq_tracker_cursor = cursor;
 115 }
 116
 117 static int sl_mod_start_search(void *p)
 118 {
 119     EC_INIT;
 120     slq_t *slq = p;
 121     gchar *sparql_query;
 122     GError *error = NULL;
 123
 124     LOG(log_debug, logtype_sl, "sl_mod_start_search: Spotlight query string: \"%s\"", slq->slq_qstring);
 125
 126     EC_ZERO_LOGSTR( map_spotlight_to_sparql_query(slq, &sparql_query),
 127                     "Mapping Spotlight query failed: \"%s\"", slq->slq_qstring );
 128     LOG(log_debug, logtype_sl, "sl_mod_start_search: SPARQL query: \"%s\"", sparql_query);
 129
 130 #if 0
 131     /* Start the async query */
 132     tracker_sparql_connection_query_async(connection, sparql_query, NULL, tracker_cb, slq);
 133 #endif
 134
 135     become_root();
 136     slq->slq_tracker_cursor = tracker_sparql_connection_query(connection, sparql_query, NULL, &error);
 137     unbecome_root();
 138
 139     if (error) {
 140         LOG(log_error, logtype_sl, "Couldn't query the Tracker Store: '%s'",
 141             error ? error->message : "unknown error");
 142         g_clear_error(&error);
 143         EC_FAIL;
 144     }
 145     slq->slq_state = SLQ_STATE_RUNNING;
 146
 147 EC_CLEANUP:
 148     EC_EXIT;
 149 }
 150
 151 static int add_filemeta(sl_array_t *reqinfo, sl_array_t *fm_array, cnid_t id, const char *path, const struct stat *sp)
 152 {
 153     EC_INIT;
 154     sl_array_t *meta;
 155     sl_nil_t nil = 0;
 156     int i, metacount;
 157     uint64_t uint64;
 158     sl_time_t sl_time;
 159
 160     if ((metacount = talloc_array_length(reqinfo->dd_talloc_array)) == 0) {
 161         dalloc_add_copy(fm_array, &nil, sl_nil_t);
 162         goto EC_CLEANUP;
 163     }
 164
 165     LOG(log_debug, logtype_sl, "add_filemeta: metadata count: %d", metacount);
 166
 167     meta = talloc_zero(fm_array, sl_array_t);
 168
 169     for (i = 0; i < metacount; i++) {
 170         if (STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemDisplayName") ||
 171             STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemFSName")) {
 172             char *p, *name;
 173             if ((p = strrchr(path, '/'))) {
 174                 name = dalloc_strdup(meta, p + 1);
 175                 dalloc_add(meta, name, "char *");
 176             }
 177         } else if (STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemFSSize")) {
 178             uint64 = sp->st_size;
 179             dalloc_add_copy(meta, &uint64, uint64_t);
 180         } else if (STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemFSOwnerUserID")) {
 181             uint64 = sp->st_uid;
 182             dalloc_add_copy(meta, &uint64, uint64_t);
 183         } else if (STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemFSOwnerGroupID")) {
 184             uint64 = sp->st_gid;
 185             dalloc_add_copy(meta, &uint64, uint64_t);
 186         } else if (STRCMP(reqinfo->dd_talloc_array[i], ==, "kMDItemFSContentChangeDate")) {
 187             sl_time.tv_sec = sp->st_mtime;
 188             dalloc_add_copy(meta, &sl_time, sl_time_t);
 189         } else {
 190             dalloc_add_copy(meta, &nil, sl_nil_t);
 191         }
 192     }
 193
 194     dalloc_add(fm_array, meta, sl_array_t);
 195
 196 EC_CLEANUP:
 197     EC_EXIT;
 198 }
 199
 200 static int cnid_cmp_fn(const void *p1, const void *p2)
 201 {
 202     const uint64_t *cnid1 = p1, *cnid2 = p2;
 203     if (*cnid1 == *cnid2)
 204         return 0;
 205     if (*cnid1 < *cnid2)
 206         return -1;
 207     else
 208         return 1;
 209 }
 210
 211 static int sl_mod_fetch_result(void *p)
 212 {
 213     EC_INIT;
 214     slq_t *slq = p;
 215     GError *error = NULL;
 216     int i = 0;
 217     cnid_t did, id;
 218     const gchar *uri;
 219     char *path;
 220     sl_cnids_t *cnids;
 221     sl_filemeta_t *fm;
 222     sl_array_t *fm_array;
 223     sl_nil_t nil;
 224     uint64_t uint64;
 225     gboolean qres, firstmatch = true;
 226
 227     if (!slq->slq_tracker_cursor) {
 228         LOG(log_debug, logtype_sl, "sl_mod_fetch_result: no results found");
 229         goto EC_CLEANUP;
 230     }
 231
 232     /* Prepare CNIDs */
 233     cnids = talloc_zero(slq->slq_reply, sl_cnids_t);
 234     cnids->ca_cnids = talloc_zero(cnids, DALLOC_CTX);
 235     cnids->ca_unkn1 = 0xadd;
 236     cnids->ca_context = slq->slq_ctx2;
 237
 238     /* Prepare FileMeta */
 239     fm = talloc_zero(slq->slq_reply, sl_filemeta_t);
 240     fm_array = talloc_zero(fm, sl_array_t);
 241     /* For some reason the list of results always starts with a nil entry */
 242     dalloc_add_copy(fm_array, &nil, sl_nil_t);
 243     dalloc_add(fm, fm_array, sl_array_t);
 244
 245     LOG(log_debug, logtype_sl, "sl_mod_fetch_result: now interating Tracker results cursor");
 246
 247     while ((slq->slq_state == SLQ_STATE_RUNNING) && (i <= MAX_SL_RESULTS)) {
 248         become_root();
 249         qres = tracker_sparql_cursor_next(slq->slq_tracker_cursor, NULL, &error);
 250         unbecome_root();
 251
 252         if (!qres)
 253             break;
 254
 255 #if 0
 256         if (firstmatch) {
 257             /* For some reason the list of results always starts with a nil entry */
 258             dalloc_add_copy(fm_array, &nil, sl_nil_t);
 259             firstmatch = false;
 260         }
 261 #endif
 262
 263         become_root();
 264         uri = tracker_sparql_cursor_get_string(slq->slq_tracker_cursor, 0, NULL);
 265         unbecome_root();
 266
 267         EC_NULL_LOG( path = tracker_to_unix_path(uri) );
 268
 269         if ((id = cnid_for_path(slq->slq_vol->v_cdb, slq->slq_vol->v_path, path, &did)) == CNID_INVALID) {
 270             LOG(log_error, logtype_sl, "sl_mod_fetch_result: cnid_for_path error: %s", path);
 271             goto loop_cleanup;
 272         }
 273         LOG(log_debug, logtype_sl, "Result %d: CNID: %" PRIu32 ", path: \"%s\"", i, ntohl(id), path);
 274
 275         uint64 = ntohl(id);
 276         if (slq->slq_cnids) {
 277             if (!bsearch(&uint64, slq->slq_cnids, slq->slq_cnids_num, sizeof(uint64_t), cnid_cmp_fn))
 278                 goto loop_cleanup;
 279         }
 280
 281         struct stat sb;
 282         if (stat(path, &sb) != 0)
 283             goto loop_cleanup;
 284
 285         dalloc_add_copy(cnids->ca_cnids, &uint64, uint64_t);
 286         add_filemeta(slq->slq_reqinfo, fm_array, id, path, &sb);
 287
 288     loop_cleanup:
 289         g_free(path);
 290         i++;
 291    }
 292
 293     if (error) {
 294         LOG(log_error, logtype_sl, "Couldn't query the Tracker Store: '%s'",
 295             error ? error->message : "unknown error");
 296         g_clear_error (&error);
 297         EC_FAIL;
 298     }
 299
 300     if (i < MAX_SL_RESULTS)
 301         slq->slq_state = SLQ_STATE_DONE;
 302
 303     uint64 = (i > 0) ? 35 : 0; /* OS X AFP server returns 35 here if results are found */
 304     dalloc_add_copy(slq->slq_reply, &uint64, uint64_t);
 305     dalloc_add(slq->slq_reply, cnids, sl_cnids_t);
 306     dalloc_add(slq->slq_reply, fm, sl_filemeta_t);
 307
 308 EC_CLEANUP:
 309     if (ret != 0) {
 310         if (slq->slq_tracker_cursor) {
 311             g_object_unref(slq->slq_tracker_cursor);
 312             slq->slq_tracker_cursor = NULL;
 313         }
 314     }
 315     EC_EXIT;
 316 }
 317
 318 /* Free ressources allocated in this module */
 319 static int sl_mod_close_query(void *p)
 320 {
 321     EC_INIT;
 322     slq_t *slq = p;
 323
 324     if (slq->slq_tracker_cursor) {
 325         g_object_unref(slq->slq_tracker_cursor);
 326         slq->slq_tracker_cursor = NULL;
 327     }
 328
 329 EC_CLEANUP:
 330     EC_EXIT;
 331 }
 332
 333 static int sl_mod_fetch_attrs(void *p)
 334 {
 335     EC_INIT;
 336     slq_t *slq = p;
 337     sl_filemeta_t *fm;
 338     sl_array_t *fm_array;
 339     sl_nil_t nil;
 340
 341     LOG(log_debug, logtype_sl, "sl_mod_fetch_attrs(\"%s\")", slq->slq_path);
 342
 343     struct stat sb;
 344     EC_ZERO( stat(slq->slq_path, &sb) );
 345
 346     /* Prepare FileMeta */
 347     fm = talloc_zero(slq->slq_reply, sl_filemeta_t);
 348     fm_array = talloc_zero(fm, sl_array_t);
 349     dalloc_add(fm, fm_array, fm_array_t);
 350     /* For some reason the list of results always starts with a nil entry */
 351     dalloc_add_copy(fm_array, &nil, sl_nil_t);
 352
 353     add_filemeta(slq->slq_reqinfo, fm_array, CNID_INVALID, slq->slq_path, &sb);
 354
 355     /* Now add result */
 356     dalloc_add(slq->slq_reply, fm, sl_filemeta_t);
 357
 358 EC_CLEANUP:
 359     EC_EXIT;
 360 }
 361
 362 static int sl_mod_error(void *p)
 363 {
 364     EC_INIT;
 365     slq_t *slq = p;
 366
 367     if (!slq)
 368         goto EC_CLEANUP;
 369
 370     if (slq->slq_tracker_cursor) {
 371         g_object_unref(slq->slq_tracker_cursor);
 372         slq->slq_tracker_cursor = NULL;
 373     }
 374
 375 EC_CLEANUP:
 376     EC_EXIT;
 377 }
 378
 379 static int sl_mod_index_file(const void *p)
 380 {
 381     /*
 382      * This seems to cause index problems on volumes that are watched and indexed
 383      * by Tracker, so we disable this extra manual indexing for now.
 384      * It's primary pupose was ensuring files created via AFP are indexed on large
 385      * volumes where the filesystem event notification engine (eg FAM or FEN) may
 386      * impose limits on the maximum number of watched directories.
 387      */
 388     return 0;
 389
 390 #ifdef HAVE_TRACKER_MINER
 391     EC_INIT;
 392     const char *f = p;
 393
 394     if (!f)
 395         goto EC_CLEANUP;
 396
 397     GError *error = NULL;
 398     GFile *file = NULL;
 399
 400     file = g_file_new_for_commandline_arg(f);
 401
 402     become_root();
 403     tracker_miner_manager_index_file(manager, file, &error);
 404     unbecome_root();
 405
 406     if (error)
 407         LOG(log_error, logtype_sl, "sl_mod_index_file(\"%s\"): indexing failed", f);
 408     else
 409         LOG(log_debug, logtype_sl, "sl_mod_index_file(\"%s\"): indexing file was successful", f);
 410
 411 EC_CLEANUP:
 412     if (file)
 413         g_object_unref(file);
 414     EC_EXIT;
 415 #else
 416     return 0;
 417 #endif
 418 }
 419
 420 struct sl_module_export sl_mod = {
 421     SL_MODULE_VERSION,
 422     sl_mod_init,
 423     sl_mod_start_search,
 424     sl_mod_fetch_result,
 425     sl_mod_close_query,
 426     sl_mod_fetch_attrs,
 427     sl_mod_error,
 428     sl_mod_index_file
 429 };