]> arthur.barton.de Git - netatalk.git/blob - etc/afpd/spotlight.c
Add checking for kMDQueryItemArray
[netatalk.git] / etc / afpd / spotlight.c
1 /*
2   Copyright (c) 2012 Frank Lahm <franklahm@gmail.com>
3
4   This program is free software; you can redistribute it and/or modify
5   it under the terms of the GNU General Public License as published by
6   the Free Software Foundation; either version 2 of the License, or
7   (at your option) any later version.
8
9   This program is distributed in the hope that it will be useful,
10   but WITHOUT ANY WARRANTY; without even the implied warranty of
11   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12   GNU General Public License for more details.
13 */
14
15 #define USE_LIST
16
17 #ifdef HAVE_CONFIG_H
18 #include "config.h"
19 #endif /* HAVE_CONFIG_H */
20
21 #include <string.h>
22 #include <strings.h>
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <errno.h>
26 #include <stdbool.h>
27 #include <inttypes.h>
28 #include <time.h>
29
30 #include <atalk/list.h>
31 #include <atalk/errchk.h>
32 #include <atalk/util.h>
33 #include <atalk/logger.h>
34 #include <atalk/talloc.h>
35 #include <atalk/dalloc.h>
36 #include <atalk/byteorder.h>
37 #include <atalk/netatalk_conf.h>
38 #include <atalk/volume.h>
39 #include <atalk/spotlight.h>
40
41 static TALLOC_CTX *sl_ctx;
42 static void *sl_module;
43 static struct sl_module_export *sl_module_export;
44
45 /* Helper functions and stuff */
46 static const char *neststrings[] = {
47     "",
48     "\t",
49     "\t\t",
50     "\t\t\t",
51     "\t\t\t\t",
52     "\t\t\t\t\t",
53     "\t\t\t\t\t\t",
54 };
55
56 static int dd_dump(DALLOC_CTX *dd, int nestinglevel)
57 {
58     const char *type;
59
60     LOG(log_debug, logtype_sl, "%s%s(#%d): {",
61         neststrings[nestinglevel], talloc_get_name(dd), talloc_array_length(dd->dd_talloc_array));
62
63     for (int n = 0; n < talloc_array_length(dd->dd_talloc_array); n++) {
64
65         type = talloc_get_name(dd->dd_talloc_array[n]);
66
67         if (STRCMP(type, ==, "DALLOC_CTX")
68                    || STRCMP(type, ==, "sl_array_t")
69                    || STRCMP(type, ==, "sl_filemeta_t")
70                    || STRCMP(type, ==, "sl_dict_t")) {
71             dd_dump(dd->dd_talloc_array[n], nestinglevel + 1);
72         } else if (STRCMP(type, ==, "uint64_t")) {
73             uint64_t i;
74             memcpy(&i, dd->dd_talloc_array[n], sizeof(uint64_t));
75             LOG(log_debug, logtype_sl, "%suint64_t: 0x%04x", neststrings[nestinglevel + 1], i);
76         } else if (STRCMP(type, ==, "char *")) {
77             LOG(log_debug, logtype_sl, "%sstring: %s", neststrings[nestinglevel + 1], (char *)dd->dd_talloc_array[n]);
78         } else if (STRCMP(type, ==, "sl_bool_t")) {
79             sl_bool_t bl;
80             memcpy(&bl, dd->dd_talloc_array[n], sizeof(sl_bool_t));
81             LOG(log_debug, logtype_sl, "%sbool: %s", neststrings[nestinglevel + 1], bl ? "true" : "false");
82         } else if (STRCMP(type, ==, "sl_nil_t")) {
83             LOG(log_debug, logtype_sl, "%snil", neststrings[nestinglevel + 1]);
84         } else if (STRCMP(type, ==, "sl_cnids_t")) {
85             sl_cnids_t cnids;
86             memcpy(&cnids, dd->dd_talloc_array[n], sizeof(sl_cnids_t));
87             LOG(log_debug, logtype_sl, "%sCNIDs: unkn1: 0x%" PRIx16 ", unkn2: 0x%" PRIx32,
88                    neststrings[nestinglevel + 1], cnids.ca_unkn1, cnids.ca_context);
89             if (cnids.ca_cnids)
90                 dd_dump(cnids.ca_cnids, nestinglevel + 2);
91         } else {
92             LOG(log_debug, logtype_sl, "%stype: %s", neststrings[nestinglevel + 1], type);
93         }
94     }
95     LOG(log_debug, logtype_sl, "%s}", neststrings[nestinglevel]);
96 }
97
98 /**************************************************************************************************
99  * Spotlight queries
100  **************************************************************************************************/
101
102 static ATALK_LIST_HEAD(sl_queries);
103
104 /*!
105  * Add a query to the list of active queries
106  */
107 static int slq_add(slq_t *slq)
108 {
109     list_add(&(slq->slq_list), &sl_queries);
110     return 0;
111 }
112
113 static int slq_remove(slq_t *slq)
114 {
115     EC_INIT;
116     struct list_head *p;
117     slq_t *q = NULL;
118
119     list_for_each(p, &sl_queries) {
120         q = list_entry(p, slq_t, slq_list);
121         if ((q->slq_ctx1 == slq->slq_ctx1) && (q->slq_ctx2 == slq->slq_ctx2)) {            
122             list_del(p);
123             break;
124         }
125         q = NULL;
126     }
127
128     if (q == NULL) {
129         /* The SL query 'slq' was not found in the list, this is not supposed to happen! */
130         LOG(log_warning, logtype_sl, "slq_remove: slq not in active query list");
131     }
132
133 EC_CLEANUP:
134     EC_EXIT;
135 }
136
137 static slq_t *slq_for_ctx(uint64_t ctx1, uint64_t ctx2)
138 {
139     EC_INIT;
140     slq_t *q = NULL;
141     struct list_head *p;
142
143     list_for_each(p, &sl_queries) {
144         q = list_entry(p, slq_t, slq_list);
145
146         LOG(log_debug, logtype_sl, "slq_for_ctx(ctx1: 0x%" PRIx64 ", ctx2: 0x%" PRIx64
147             "): active: ctx1: 0x%" PRIx64 ", ctx2: 0x%" PRIx64,
148             ctx1, ctx2, q->slq_ctx1, q->slq_ctx2);
149
150         if ((q->slq_ctx1 == ctx1) && (q->slq_ctx2 == ctx2)) {            
151             break;
152         }
153         q = NULL;
154     }
155
156 EC_CLEANUP:
157     if (ret != 0)
158         q = NULL;
159     return q;
160 }
161
162 /* Error handling for queries */
163 static void slq_error(slq_t *slq)
164 {
165     if (!slq)
166         return;
167     sl_module_export->sl_mod_error(slq);
168     slq_remove(slq);
169     talloc_free(slq);
170 }
171
172 /**************************************************************************************************
173  * Spotlight RPC functions
174  **************************************************************************************************/
175
176 static int sl_rpc_fetchPropertiesForContext(const AFPObj *obj, const DALLOC_CTX *query, DALLOC_CTX *reply, const struct vol *v)
177 {
178     EC_INIT;
179
180     char *s;
181     sl_dict_t *dict;
182     sl_array_t *array;
183     sl_uuid_t uuid;
184
185     if (!v->v_uuid)
186         EC_FAIL_LOG("sl_rpc_fetchPropertiesForContext: missing UUID for volume: %s", v->v_localname);
187
188     dict = talloc_zero(reply, sl_dict_t);
189
190     /* key/val 1 */
191     s = dalloc_strdup(dict, "kMDSStoreMetaScopes");
192     dalloc_add(dict, s, char *);
193
194     array = talloc_zero(dict, sl_array_t);
195     s = dalloc_strdup(array, "kMDQueryScopeComputer");
196     dalloc_add(array, s, char *);
197     dalloc_add(dict, array, sl_array_t);
198
199     /* key/val 2 */
200     s = dalloc_strdup(dict, "kMDSStorePathScopes");
201     dalloc_add(dict, s, char *);
202
203     array = talloc_zero(dict, sl_array_t);
204     s = dalloc_strdup(array, v->v_path);
205     dalloc_add(array, s, char *);
206     dalloc_add(dict, array, sl_array_t);
207
208     /* key/val 3 */
209     s = dalloc_strdup(dict, "kMDSStoreUUID");
210     dalloc_add(dict, s, char *);
211
212     memcpy(uuid.sl_uuid, v->v_uuid, 16);
213     dalloc_add_copy(dict, &uuid, sl_uuid_t);
214
215     /* key/val 4 */
216     s = dalloc_strdup(dict, "kMDSStoreHasPersistentUUID");
217     dalloc_add(dict, s, char *);
218     sl_bool_t b = true;
219     dalloc_add_copy(dict, &b, sl_bool_t);
220
221     dalloc_add(reply, dict, sl_dict_t);
222
223 EC_CLEANUP:
224     EC_EXIT;
225 }
226
227 static int cnid_comp_fn(const void *p1, const void *p2)
228 {
229     const uint64_t *cnid1 = p1, *cnid2 = p2;
230     if (*cnid1 == *cnid2)
231         return 0;
232     if (*cnid1 < *cnid2)
233         return -1;
234     else
235         return 1;            
236 }
237
238 static int sl_createCNIDArray(slq_t *slq, const DALLOC_CTX *p)
239 {
240     EC_INIT;
241     uint64_t *cnids = NULL;
242
243     EC_NULL( cnids = talloc_array(slq, uint64_t, talloc_array_length(p)) );
244     for (int i = 0; i < talloc_array_length(p); i++)
245         memcpy(&cnids[i], p->dd_talloc_array[i], sizeof(uint64_t));
246     qsort(cnids, talloc_array_length(p), sizeof(uint64_t), cnid_comp_fn);
247
248     slq->slq_cnids = cnids;
249     slq->slq_cnids_num = talloc_array_length(p);
250
251 EC_CLEANUP:
252     if (ret != 0) {
253         if (cnids)
254             talloc_free(cnids);
255     }
256     EC_EXIT;
257 }
258
259 static int sl_rpc_openQuery(AFPObj *obj, const DALLOC_CTX *query, DALLOC_CTX *reply, struct vol *v)
260 {
261     EC_INIT;
262     char *sl_query;
263     uint64_t *uint64;
264     DALLOC_CTX *reqinfo;
265     sl_array_t *array;
266     sl_cnids_t *cnids;
267     slq_t *slq = NULL;
268
269     /* Allocate and initialize query object */
270     slq = talloc_zero(sl_ctx, slq_t);
271     slq->slq_state = SLQ_STATE_NEW;
272     slq->slq_obj = obj;
273     slq->slq_vol = v;
274     EC_NULL_LOG( sl_query = dalloc_value_for_key(query, "DALLOC_CTX", 0, "DALLOC_CTX", 1, "kMDQueryString") );
275     LOG(log_debug, logtype_sl, "sl_rpc_openQuery: %s", sl_query);
276     slq->slq_qstring = talloc_steal(slq, sl_query);
277
278     slq->slq_time = time(NULL);
279     EC_NULL_LOG( uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 1) );
280     slq->slq_ctx1 = *uint64;
281     EC_NULL_LOG( uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 2) );
282     slq->slq_ctx2 = *uint64;
283     EC_NULL_LOG( reqinfo = dalloc_value_for_key(query, "DALLOC_CTX", 0, "DALLOC_CTX", 1, "kMDAttributeArray") );
284     slq->slq_reqinfo = talloc_steal(slq, reqinfo);
285     if ((cnids = dalloc_value_for_key(query, "DALLOC_CTX", 0, "DALLOC_CTX", 1, "kMDQueryItemArray"))) {
286         EC_ZERO_LOG( sl_createCNIDArray(slq, cnids->ca_cnids) );
287     }
288         
289     LOG(log_maxdebug, logtype_sl, "sl_rpc_openQuery: requested attributes:");
290     dd_dump(slq->slq_reqinfo, 0);
291
292     (void)slq_add(slq);
293     
294     /* Run the query */
295     EC_ZERO( sl_module_export->sl_mod_start_search(slq) );
296
297     array = talloc_zero(reply, sl_array_t);
298     uint64_t sl_res = ret == 0 ? 0 : UINT64_MAX;
299     dalloc_add_copy(array, &sl_res, uint64_t);
300     dalloc_add(reply, array, sl_array_t);
301
302 EC_CLEANUP:
303     if (ret != 0) {
304         slq_error(slq);
305     }
306     EC_EXIT;
307 }
308
309 static int sl_rpc_fetchQueryResultsForContext(const AFPObj *obj, const DALLOC_CTX *query, DALLOC_CTX *reply, const struct vol *v)
310 {
311     EC_INIT;
312     slq_t *slq = NULL;
313     uint64_t *uint64, ctx1, ctx2;
314
315     /* Context */
316     EC_NULL_LOG (uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 1) );
317     ctx1 = *uint64;
318     EC_NULL_LOG (uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 2) );
319     ctx2 = *uint64;
320
321     /* Get query for context */
322     EC_NULL_LOG( slq = slq_for_ctx(ctx1, ctx2) );
323     if (slq->slq_state != SLQ_STATE_RUNNING && slq->slq_state != SLQ_STATE_DONE) {
324         EC_FAIL_LOG("Spotlight: attempt to fetch results for query that isn't active");
325     }
326
327     /* Create and pass reply handle */
328     EC_NULL( slq->slq_reply = talloc_zero(reply, sl_array_t) );
329
330     /* Fetch Tracker results*/
331     EC_ZERO_LOG( sl_module_export->sl_mod_fetch_result(slq) );
332
333     dalloc_add(reply, slq->slq_reply, sl_array_t);
334
335 EC_CLEANUP:
336     if (ret != 0) {
337         slq_error(slq);
338     }
339     EC_EXIT;
340 }
341
342 static int sl_rpc_closeQueryForContext(const AFPObj *obj, const DALLOC_CTX *query, DALLOC_CTX *reply, const struct vol *v)
343 {
344     EC_INIT;
345     slq_t *slq = NULL;
346     uint64_t *uint64, ctx1, ctx2;
347     sl_array_t *array;
348     
349     /* Context */
350     EC_NULL_LOG (uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 1) );
351     ctx1 = *uint64;
352     EC_NULL_LOG (uint64 = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "uint64_t", 2) );
353     ctx2 = *uint64;
354
355     /* Get query for context and free it */
356     EC_NULL_LOG( slq = slq_for_ctx(ctx1, ctx2) );
357     if (slq->slq_state != SLQ_STATE_DONE)
358         LOG(log_warning, logtype_sl, "Closing active query");
359     sl_module_export->sl_mod_end_search(slq);
360     slq_remove(slq);
361     talloc_free(slq);
362     slq = NULL;
363
364     array = talloc_zero(reply, sl_array_t);
365     uint64_t sl_res = 0;
366     dalloc_add_copy(array, &sl_res, uint64_t);
367     dalloc_add(reply, array, sl_array_t);
368
369 EC_CLEANUP:
370     if (ret != 0) {
371         slq_error(slq);
372     }
373     EC_EXIT;
374 }
375
376 /**************************************************************************************************
377  * Spotlight module functions
378  **************************************************************************************************/
379
380 int sl_mod_load(const char *path)
381 {
382     EC_INIT;
383
384     sl_ctx = talloc_new(NULL);
385
386     if ((sl_module = mod_open(path)) == NULL) {
387         LOG(log_error, logtype_sl, "Failed to load module \'%s\': %s", path, mod_error());
388         EC_FAIL;
389     }
390
391     if ((sl_module_export = mod_symbol(sl_module, "sl_mod")) == NULL) {
392         LOG(log_error, logtype_sl, "sl_mod_load(%s): mod_symbol error for symbol %s", path, "sl_mod");
393         EC_FAIL;
394     }
395
396     sl_module_export->sl_mod_init("test");
397    
398 EC_CLEANUP:
399     EC_EXIT;
400 }
401
402 /**
403  * Index a file
404  **/
405 void sl_index_file(const char *path)
406 {
407     if (sl_module_export && sl_module_export->sl_mod_index_file)
408         sl_module_export->sl_mod_index_file(path);
409 }
410
411 /**************************************************************************************************
412  * AFP functions
413  **************************************************************************************************/
414
415 int afp_spotlight_rpc(AFPObj *obj, char *ibuf, size_t ibuflen, char *rbuf, size_t *rbuflen)
416 {
417     EC_INIT;
418     TALLOC_CTX *tmp_ctx = talloc_new(NULL);
419     uint16_t vid;
420     int cmd;
421     int endianess = SL_ENC_LITTLE_ENDIAN;
422     struct vol      *vol;
423     DALLOC_CTX *query;
424     DALLOC_CTX *reply;
425     char *rpccmd;
426     int len;
427
428     *rbuflen = 0;
429
430     if (sl_module == NULL)
431         return AFPERR_NOOP;
432
433     ibuf += 2;
434     ibuflen -= 2;
435
436     vid = SVAL(ibuf, 0);
437     LOG(log_debug, logtype_sl, "afp_spotlight_rpc(vid: %" PRIu16 ")", vid);
438
439     if ((vol = getvolbyvid(vid)) == NULL) {
440         LOG(log_error, logtype_sl, "afp_spotlight_rpc: bad volume id: %" PRIu16 ")", vid);
441         ret = AFPERR_ACCESS;
442         goto EC_CLEANUP;
443     }
444
445     /*    IVAL(ibuf, 2): unknown, always 0x00008004, some flags ? */
446
447     cmd = RIVAL(ibuf, 6);
448     LOG(log_debug, logtype_sl, "afp_spotlight_rpc(cmd: %d)", cmd);
449
450     /*    IVAL(ibuf, 10: unknown, always 0x00000000 */
451
452     switch (cmd) {
453
454     case SPOTLIGHT_CMD_OPEN:
455     case SPOTLIGHT_CMD_OPEN2:
456         RSIVAL(rbuf, 0, ntohs(vid));
457         RSIVAL(rbuf, 4, 0);
458         len = strlen(vol->v_path) + 1;
459         strncpy(rbuf + 8, vol->v_path, len);
460         *rbuflen += 8 + len;
461         break;
462
463     case SPOTLIGHT_CMD_FLAGS:
464         RSIVAL(rbuf, 0, 0x0100006b); /* Whatever this value means... flags? Helios uses 0x1eefface */
465         *rbuflen += 4;
466         break;
467
468     case SPOTLIGHT_CMD_RPC:
469         EC_NULL( query = talloc_zero(tmp_ctx, DALLOC_CTX) );
470         EC_NULL( reply = talloc_zero(tmp_ctx, DALLOC_CTX) );
471         EC_NEG1_LOG( sl_unpack(query, ibuf + 22) );
472
473         LOG(log_debug, logtype_sl, "afp_spotlight_rpc: Request dump:");
474         dd_dump(query, 0);
475
476         EC_NULL_LOG( rpccmd = dalloc_get(query, "DALLOC_CTX", 0, "DALLOC_CTX", 0, "char *", 0) );
477
478         if (STRCMP(rpccmd, ==, "fetchPropertiesForContext:")) {
479             EC_ZERO_LOG( sl_rpc_fetchPropertiesForContext(obj, query, reply, vol) );
480         } else if (STRCMP(rpccmd, ==, "openQueryWithParams:forContext:")) {
481             EC_ZERO_LOG( sl_rpc_openQuery(obj, query, reply, vol) );
482         } else if (STRCMP(rpccmd, ==, "fetchQueryResultsForContext:")) {
483             EC_ZERO_LOG( sl_rpc_fetchQueryResultsForContext(obj, query, reply, vol) );
484         } else if (STRCMP(rpccmd, ==, "closeQueryForContext:")) {
485             EC_ZERO_LOG( sl_rpc_closeQueryForContext(obj, query, reply, vol) );
486         } else {
487             LOG(log_error, logtype_sl, "afp_spotlight_rpc: unknown Spotlight RPC: %s", rpccmd);
488         }
489
490         LOG(log_debug, logtype_sl, "afp_spotlight_rpc: Reply dump:");
491         dd_dump(reply, 0);
492
493         memset(rbuf, 0, 4);
494         *rbuflen += 4;
495
496         EC_NEG1_LOG( len = sl_pack(reply, rbuf + 4) );
497         *rbuflen += len;
498         break;
499     }
500
501 EC_CLEANUP:
502     talloc_free(tmp_ctx);
503     if (ret != AFP_OK) {
504         *rbuflen = 0;
505         return AFPERR_MISC;
506     }
507     EC_EXIT;
508 }
509
510 /**************************************************************************************************
511  * Testing
512  **************************************************************************************************/
513
514 #ifdef SPOT_TEST_MAIN
515
516 int main(int argc, char **argv)
517 {
518     EC_INIT;
519     TALLOC_CTX *mem_ctx = talloc_new(NULL);
520     DALLOC_CTX *dd = talloc_zero(mem_ctx, DALLOC_CTX);
521     uint64_t i;
522
523     set_processname("spot");
524     setuplog("default:info,spotlight:debug", "/dev/tty");
525
526     LOG(log_info, logtype_sl, "Start");
527
528     i = 1;
529     dalloc_add_copy(dd, &i, uint64_t);
530     char *str = dalloc_strdup(dd, "hello world");
531     dalloc_add(dd, str, char *);
532     sl_bool_t b = true;
533     dalloc_add_copy(dd, &b, sl_bool_t);
534
535     /* add a nested array */
536     DALLOC_CTX *nested = talloc_zero(dd, DALLOC_CTX);
537     i = 3;
538     dalloc_add_copy(nested, &i, uint64_t);
539     dalloc_add(dd, nested, DALLOC_CTX);
540
541     /* test an allocated CNID array */
542     uint64_t id = 16;
543     sl_cnids_t *cnids = talloc_zero(dd, sl_cnids_t);
544     cnids->ca_cnids = talloc_zero(cnids, DALLOC_CTX);
545     cnids->ca_unkn1 = 1;
546     dalloc_add_copy(cnids->ca_cnids, &id, uint64_t);
547     dalloc_add(dd, cnids, sl_cnids_t);
548
549     /* Now the Spotlight types */
550     sl_array_t *sl_array = talloc_zero(dd, sl_array_t);
551     i = 0x1234;
552     dalloc_add_copy(sl_array, &i, uint64_t);
553
554     sl_dict_t *sl_dict = talloc_zero(dd, sl_dict_t);
555     i = 0xffff;
556     dalloc_add_copy(sl_dict, &i, uint64_t);
557     dalloc_add(sl_array, sl_dict, sl_dict_t);
558
559     dalloc_add(dd, sl_array, sl_array_t);
560
561     dd_dump(dd, 0);
562
563     /* now parse a real spotlight packet */
564     if (argc > 1) {
565         char ibuf[8192];
566         char rbuf[8192];
567         int fd;
568         size_t len;
569         DALLOC_CTX *query;
570
571         EC_NULL( query = talloc_zero(mem_ctx, DALLOC_CTX) );
572
573         EC_NEG1_LOG( fd = open(argv[1], O_RDONLY) );
574         EC_NEG1_LOG( len = read(fd, ibuf, 8192) );
575         close(fd);
576         EC_NEG1_LOG( sl_unpack(query, ibuf + 24) );
577
578         /* Now dump the whole thing */
579         dd_dump(query, 0);
580     }
581
582 #if 0
583     /* packing  */
584     int qlen;
585     char buf[MAX_SLQ_DAT];
586     EC_NEG1_LOG( qlen = sl_pack(query, buf) );
587
588     EC_NEG1_LOG( fd = open("test.bin", O_RDWR) );
589     lseek(fd, 24, SEEK_SET);
590     write(fd, buf, qlen);
591     close(fd);
592 #endif
593
594 EC_CLEANUP:
595     if (mem_ctx) {
596         talloc_free(mem_ctx);
597         mem_ctx = NULL;
598     }
599     EC_EXIT;
600 }
601 #endif