Merge remote-tracking branch 'origin/develop' into spotlight

Fix a possible crash when searching on large volumes

catsearch() used dirlookup() to lookup directories, but then it didn't
use movecwd() to cd into them, only lchdir(). This resulted in curdir
not being updated.
Then, while processing entries of directory and adding them to the
dircache, in case the dircache hit its maximum size limit, dircache
eviction would take place.
The dircache eviction will remove a fixed size number of directories
from the cache, but for every entry to be freed it will ensure that
it's nor curdir.
Unfortunately as catsearch didn't update that, the directory that
catsearch was working on was freed, which of course resulted in access
of invalid ressouces and possible crashes.
The fix is to just use movecwd() instead of lchdir()ing directly.

Remove dequoting of double quotes in the iniparser, conflicts with strtok_quote()

Fix make distcheck

Add support for quoting in '[in]valid users' option

As the option should allow spaces in names, but we use comma and
space as field delimiter, add support for quoting names.
Fixes bug #472.

Fix volume loading in afpd session

Due to the changes in 59ba70c884ca7356e28873fccab7d3611369e6cc
(SIGHUP support), volumes were not reloaded in the afpd session
child.

Add utility function strtok_quote()

Add a missing conditional compilation ifdef

Revert c7683d5aae3d154250df531a5d34e4a464b5ced2

'valid users' option, cf #472.

Fix an error where catalog search gave incomplete results

The bug was immediately solved when chaning the current implementation
of using the function dirlookup_bybath() with paths form the dirstack,
to dirlook() with dids stored in the dirstack.
Presumably something dirlookup_bybath() went wrong thus ceratain
folders weren't searched.

Fixes bug #479.

Don't force errno ENOATTR on Solaris

Ensure CNID info is set in metadata

Enhance log message

Fix a log messsage

Dont copy our metadata EA in copyfile()

Apparently Apple is now relying more on the AFP copyfile function
for file copies where source and destination are on the same vol.
The copying is done by our copyfile() function. It calls into
our VFS stack where in the end _all_ extended attributes of the
file, including our metadata EA, will be copied from source to
dest.
This resulted in an incorrect metadata EA on the destination file,
eg the CNID was still the one of the source file.
Obviously the metadata EA of the destination file must be created
such that all relevant fields are properly assigned.

Fixes bug #452.

Fix adouble refcounting

Opening a file that doesn't have metadata with ADFLAGS_HF | AFFLAGS_NOHF
resulted in a successfull open (the error from the failed opening
of the nonexistent metadata is suppressed by AFFLAGS_NOHF), but
then the metadata refcount was increased becasue the error condition
was already reset to 0 at the place where we checked it.
Fixing this requires pushing the refcount increment deeper down the stack
into the individual functions where the error condition is still
available.

After fixing this, another bug became apparent in the mostyl empty
function ad_open_rf_v2().

Also fix an if check where what should be a comparison clobbered
a struct field.

systemd service: show doc URL

ex.
netatalk.service - Netatalk AFP fileserver for Macintosh clients
          Loaded: loaded (/usr/lib/systemd/system/netatalk.service; disabled)
          Active: active (running) since Tue, 27 Nov 2012 01:03:44 +0900; 41s ago
            Docs: man:afp.conf(5)
                  man:netatalk(8)
                  man:afpd(8)
                  man:cnid_metad(8)
                  man:cnid_dbd(8)
                  http://netatalk.sourceforge.net/
         Process: 30813 ExecStart=/usr/local/sbin/netatalk (code=exited, status=0/SUCCESS)
          CGroup: name=systemd:/system/netatalk.service
                  ├ 30815 /usr/local/sbin/netatalk
                  ├ 30816 /usr/local/sbin/afpd -d -F /usr/local/etc/afp.conf
                  ├ 30817 /usr/local/sbin/cnid_metad -d -F /usr/local/etc/afp.conf
                  └ 30823 /usr/local/sbin/cnid_dbd -F /usr/local/etc/afp.conf -p /export/test -t 7 -l 5

Add option 'ad domain'

Add option 'ad domain' similar to 'nt domain'. Useful when
authenticating against Netatalk on Solaris in case the OS is bound
to Active Directory. Currently users have to type in their full AD
name user@domain. Adding an option 'ad domain' would allows users
to login giving just their usernames.

Implements FR #66.

Import manpage from XML

Don't convert AppleDouble v2 file of symlinks, delete it

Netatalk 2.x created AppleDouble files for symlinks. Netatalk's 3
autoconversion of AppleDouble files to AppleDouble metadata
extended attributes failed to do the conversion in ad_convert()
because some filesystem may not support EAs on symlinks.

The new behaviour is to ignore symlinks in ad_convert().

Fixes bug #471.

Ensure pthread support compiler and linker flags are correct

On some platforms using AC_SEARCH_LIBS is not sufficient for
finding the linker flags for linking with a pthread library.
Add macro ax_pthread.m4 from GNU autoconf macro archive and
use the macro AX_PTHREAD.

Fix compiler and linker flags for afpd and libatalk.

Thanks to Jason Teska for pinpointing this.

Fix SIGHUP config reloading

Add SIGHUP handler to master 'netatalk' process and let it distribute
the signal to it's childs, eg afpd.

Add function afp_config_free() which releases ressources allocated
by afp_config_parse().
Additionally fix configinit()/configfree() which deal with ressources
only used in the afpd fileserver (eg sockets, zeroconf registration).

Fix an error in the mdns unregister code where pthread_kill() was
used but that somehow killed the whole process not just the mdns
thread. Use pthread_cancel() instead which seems to work.

Fix any ressource leak reported by libumem.

creatvol() must return a struct vol pointer

Fix a ressource leak

Due to the ordering and multiplexing of data- and metadata handle
closing in ad_close(), a datafork lock handle was not released.
Releasing lock handles is now done when the logic fork counter
hits zero, not when the underlying filedescriptor referencing handle
count reaches zero.

Fix type

Update NEWS

Reloading volumes from config file was broken

load_volumes() is supposed to be a "reenetrant" function called from
various places in different programs (afpd, cnid_metad) to reload the
config for updating the volume list.

Fix the loop freeing volumes that are deleted.

Simplify the loop checking for paths and volume names in createvol().
This is also the loop which checks if a volume is already loaded
when config has been loaded before.

Remove checks for nested paths.

Fixes bug #474.

Add logtype_ad

Import manpage from XML

Remove lenght limitation of options like "valid users"

The options "valid users", "rolist" and others use the function
accessvol() for parsing the options string. accessfull uses
a static buffer limited to MAXPATHLEN which limits the maximum
length of these options.

Fix this by using a strdup()ed buffer instead.

Fixes bug #473.

Add error check macro EC_EXIT_STATUS

"valid users" options and friends only use ',' as field delimiter

Netatalk 3 uses ',' and ' ' as field delimiter in the "valid users",
"invalid users", "rolist" and "rwlist" option for consistency with
other options that also allow the use of ' ' as field delimiter.
But as user and groupnames may contain spaces, we need to revert
to the Netatalk 2 behaviour where only ',' was used as delimiter.

Fixes bug #472.

Fix pathname bug for FCE modified event

It's not guaranteed that cwd is the forks parent directory, thus
we can't use the fullpathname(forkname) wrapper.
Instead we use the DID stored in the ofork structure to dirlookup
the directory and use it's fullpath together with the fork's name.

Use sigaction() instead of signal() for ignoring SIGPIPE

Move the code to ignore SIGPIPE from the DSI sesssion setup stage
to the main signal handling code in main() and avoid the use
of deprecated signal() function and use sigaction.

Fix a bug where copying packages to a Netatalk share fails

The bug was caused by the 10.6 client trying to set the creation
date on a symlink in the package. This caused our setmetadata
routine to require a valid adouble handle for the symlink which is
not possible as symlink may not allow creating an EA, depending
on the filesystem. At least ZFS on Solaris doesnt.
The fix is to check whether the adouble handle creation failed
on a symlink and ignore the error.

Fixes bug #469.

Always generate all initscripts

initscripts are now all created with variable substitution from
the templates, but they're not installed. Installation happens
only if the configure arg for the platform is used.
This should help packagers picking up an initscript for a package.

Revert "Enhance handling of nested volume paths"

This reverts commit 949ba93384843d13099dd467aefc61e3b7185997.

Enhance handling of nested volume paths

Force cnidscheme "last" and read-only behaviour for volumes whos
volume path is a subdirectory (nested) of another volume.

In case cnid scheme is not last, a message is logged with a logvel
of log_note.

FCE API change and cleanup

Change the FCE API by using a single function (fce_register()) as
a single point for callers to register events.
Remove all individual event functions.

Add types for events and file/directoy flag.

Use standard bool type instead of special defines FCE_TRUE/FALSE.

Add function basename_safe

0 terminate packet data

Remove TimeMachine volume used size FCE event

Add FCE type names and adjust logtypes to new fce facility

Remove AppleTalk logger types and add FCE type

Fix memory leak introduce in 18918d1

Add missing header

Add support for filetype search

Add lots of mappings and dont ignore case stuff

Map Spotlight searchstring to regex format and allow dots in it

Add negation support

SPARQL query variables must be distinct

Support unix dates and comparison with dates for attributes

Better parsing

Various fixes

Check yyparse() return value

load_vol() changed args

Merge branch 'develop'

Add missing NULL initializer

Use a lexxer and a parser for mapping Spotlight raw queries to SPARQL

Function tracker_to_unix_path() is static

Fix file indexing

Initialize Tracker miner manager in module initialization and wrap
miner calls within become_root()/unbecome_root().

stp2

Fix make distcheck error

Fix array initializers

stp1

Fix _device-info service type registered with dns-sd API

Fix typo

--with-libevent-header|lib requires a path

Throw an error if any either configure option is passed without a path.

Add libevent to library configure summary.

Set Tracker index directories on startup as all our volumes

Fix searching from OS X cmdline

Searching from OS X cmdline with `mdfind` will generate queries with
an empty query attribute array. In that case we must add a nil element
for every query match to the filemeta array.

Also fixed:
* marshalling of empty CNID arrays and filemeta
* return 0x23 instead of 0 when returning a non empty result list, this
  is was traces of an OS X AFP server show

Initialize Spotlight from session child

Spotlight initialisation must be perfomed in the session childs.
Wrap all Tracker calls between become_root()/unbecome_root().
Force bus SPARQL backend, as direct connections cause problems
with some SPARQL queries.

Change dbus path option name to 'dbus daemon path' and add TRACKER_PREFIX define

Add extmap.conf to EXTRA_DIST so that it gets picked up by make dist

Merge pull request #4 from hat001/develop

afpd -v: show path of extmap.conf

afpd -v: show path of extmap.conf

Remove gettok.c from test afpd

Global boolean option "spotlight"

Add a global know to make Spotlight support a configurable option.
Defaults to disabled.

Support for FTS and filename search

Map * and kMDItemTextContent to SPARQL FTS, map kMDItemDisplayName to SPARQL
nfo:fileName. The SPARQL query for the latter doesn't work from afpd, but
it does work with tracker-sparql.

Bound checking when marshalling SL query results

Increase DSI reply buffer size to 65k

Default extension mapping filename ought to be extmap.conf

Also changed: an error reading the extension mappings shouldn't be
treates as a fatal error.

Add tracker_miner_manager and try to manually index new files

Doesn't work, hangs in tracker_miner_manager_new_full() for an unknown
reason.

Fall back to CatSearch if Spotlight module can't be loaded

Add state checks

Use g_object_unref

Merge pull request #3 from hat001/develop

Develop

Use glib funcs for getting the path for an uri

Merge branch 'develop' of git://github.com/franklahm/Netatalk into develop

apple_dump: use open2(), from Oichinokata

Append /

Remove unused line

Modify SPARQL query

Fix CNID marshalling

Reintroduce file extension type/creator mapping

Move (unused) file gettok.c to libatalk

Fix: add a '/' between basedir and subdir in the path for home volumes

Fix a bug where Mac OS X ZIP archives can't be extracted on Netatalk shares

Mac OS X ZIP archives may contain split AppleDouble forks named "._XXX".
The client needs to be able to fully access these files but we currently
prevent access to any valid AppleDouble file whose name starts with "._".
In order to distinguish our own ._ files from the one created by OS X,
we look at the filler bytes: luckily OS X stores a string "Mac OS X" there
which can be used to detect them.

Fix check for nested and duplicated volume paths

The previous modification was based on ensuring the volume paths are
'/' terminated. That allowed for a simple and quick implementation of
the neccessary tests. Unfortunately that completely broke the whole
directory machinery and cache.
This patch reverts the previous change and tries another simple
implementation that avoid copying the paths.

Fix memory leak and use EC_FAIL instead of returning directly

Fix memory leak and use descriptive variable names