Documentation: Protect file extensions from start of line.

In the documentation files, we use file extensions as words to simplify
the text. When compiling man pages from the Markdown files, it is
possible that an extension lands at the beginning of a line.

In such a case, the extension is mistakenly identified as a Groff macro.
It seems as though Groff simply ignores it since it is not a known
macro, but emits a warning about the syntax.

This was caught thanks to the debian package's lintian output at:

http://lintian.debian.org/maintainer/jmtd@debian.org.html#bup

Since we're putting highlighting on file extensions, we should add it to
all cases, even though there's not risk of it landing at the beginning
of a line. This way, the documentation looks better standardized.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Make import-rdiff-backup's output more verbose

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>

Catch ^C in import-rdiff-backup

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>

Add a testcase for the import-rdiff-backup command

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>

Add documentation for import-rdiff-backup

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>

Implement a import-rdiff-backup command

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>

git.py: avoid repeated string-copying in tree_decode()

git.tree_decode showed bad perfomance when dealing with large trees,
because it required string-copying quadratically in the number of tree
elements. By removing unnecessary copying, performance is improved at
all tree sizes, and significantly so for larger trees.

The problem became particularly apparent in combination with another bug
in bup (patch for which forthcoming), that allowed trees to grow without
bound when backing up sparse files.

Reported-by: trebor <robert.rebstock@tempelhof-projekt.de>
Signed-off-by: Yung-Chin Oei <yungchin@yungchin.nl>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Enable the reflog when initializing the repository.

Avery noticed that this wasn't being done for bare repositories, so
ask for it explicitly.

Reported-by: Avery Pennarun <apenwarr@gmail.com>
Signed-off-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Change a few Makefile vars using ${} to use $() to match the rest.

Also get rid of one annoying bright pink (in emacs) orphaned tab.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Fix GNU make detection and usage.

BSD make errors out since the Makefiles use GNU make specific code.
However, on BSD systems, 'make' is BSD make and not GNU make.

make(1) does set ${MAKE} to argv[0], so use this to pass the correct
make executable name down.

Also, prefer gmake to make, if it exists, since we want GNU make.

Signed-off-by: Thomas Klausner <tk@giga.or.at>
Tested-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Calling bup-server with "-r host:" fails to activate dumb mode.

When no remote directory is supplied to the -r option, no set-dir
command is sent to the server. This has the weird side effect that the
server actually does not check whether it needs to be in "smart" or
"dumb" mode.

By forcing all commands to make that verification, we'll ensure that the
server mode is correct.

Signed-off-by: Yung-Chin Oei <yungchin@yungchin.nl>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Zoran Zaric <zz@zoranzaric.de>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Change userfullname() default back to "user%d" for the moment.

This was changed in the previous GECOS patch, but since username() has
the "user%d" fallback too, I think we should change both, or neither,
and should probably discuss it a bit more first.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Fallbacks for missing GECOS data; this solves a test issue.

See the thread starting here:

  Subject: tests fail while trying to compile & install on arch linux
  Date: Sun, 20 May 2012 23:08:20 +0300
  From: Alper Kanat <tunix@raptiye.org>
  Message-ID: <CAPMuxnSmeHLcP=9M7uYPn6LQeCGNfZOF9DgCFQBHCzwR_DQ0Cg@mail.gmail.com>

When an entry for the current user has been successfully retrieved from the
Unix password database by the function:

  bup.helpers.usersfullname

then solely the GECOS field has been used to formulate an author's and
committer's full name for constructing a git commit object. Unfortunately,
this field may well be empty for a great many users; for such a user, the
result has been a full name that is the empty string.

This had not been a problem until the following commit was made in the course
of the development of `git' itself:

  commit 4b340cfab9c7a18e39bc531d6a6ffaffdf95f62d
  Author:     Junio C Hamano <gitster@pobox.com>
  AuthorDate: Sun Mar 11 01:25:43 2012 -0800
  Commit:     Junio C Hamano <gitster@pobox.com>
  CommitDate: Sun Mar 11 03:56:50 2012 -0700

      ident.c: add split_ident_line() to parse formatted ident line

      The commit formatting logic format_person_part() in pretty.c
      implements the logic to split an author/committer ident line into
      its parts, intermixed with logic to compute its output using these
      piece it computes.

      Separate the former out to a helper function split_ident_line() so
      that other codepath can use the same logic, and rewrite the function
      using the helper function.

Signed-off-by: Junio C Hamano <gitster@pobox.com>
The new `split_ident_line()' function added by that commit is written
under the stricter assumption that the user's name is *not* the empty
string; clearly, this assumption is broken by what `bup' has been doing
when the user's GECOS field is empty.

Consequently, the easiest solution (as far as `bup' development is
concerned) is to make sure that the full name is never the empty
string. This is achieved by using fallbacks when the GECOS field
yields the empty string:

  0. The user's login name is tried.
  1. The string "user <uid>" is composed, where `<uid>' is the
     current process's user identifier.

Essentially, this seems to solve the problem, as it allows tests to
pass on my system. However, both:

  bup.helpers.username
  bup.helpers.usersfullname

still rely on Unix-specific functionality, which is not really acceptable.

Signed-off-by: Michael Witten <mfwitten@gmail.com>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>
Tested-by: Zoran Zaric <zz@zoranzaric.de>

t/test.sh: add "-a" to ls invocation when testing for .bup exclusion.

The bup-exclude test seems be to checking if .bup/ is properly
excluded from the backup, but 'bup ls' will only show this if given
the -a switch.

Signed-off-by: Yung-Chin Oei <yungchin@yungchin.nl>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Add BUP_DIR to the subprocess environment during set-dir on the server.

In the normal flow of a remote backup, the client indicates to the
server end where it wants to save data (e.g. where the bup repository
is) by issuing a "set-dir path" command.

This command on the server end records the path in a global variable.
But it doesn't place it in the environment. This causes any subprocess
forked on the server end to be ignorant about the location of the
bup repository and causes errors such as this one:

Traceback (most recent call last):
  File "/usr/lib/bup/cmd/bup-midx", line 231, in <module>
    git.check_repo_or_die()
  File "/usr/lib/bup/bup/git.py", line 851, in check_repo_or_die
    init_repo()
  File "/usr/lib/bup/bup/git.py", line 828, in init_repo
    _git_wait('git init', p)
  File "/usr/lib/bup/bup/git.py", line 887, in _git_wait
    raise GitError('%s returned %d' % (cmd, rv))
bup.git.GitError: git init returned 1
['/usr/bin/bup', 'midx', '--auto', '--dir',
'/backup/test/objects/pack']: returned 1

Signed-off-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Remove useless code in main.py around the -d option

While debugging another problem with BUP_DIR, I saw a part of the
code that looked kinda suspicious (not in itself, but in the context of
the file):

  115 subcmd_env = os.environ
  116 if dest_dir:
  117     subcmd_env.update({"BUP_DIR" : dest_dir})

the subcmd_env variable is never used in main.py. However, when I
removed that part, the -d option stopped working and bup used ~/.bup
instead: so it _is_ doing what we want it to.

The reason why it's working is that line 115 is actually not creating a
copy of the dict, but rather simply pointing to the same dict. so the
call to update() actually changes the environment for the main program,
which is actually quite alright (e.g. it supercedes the environment
variable and ensures that the path given to -d is inherited into
subprocesses)

Now the problem is that this code is very not obvious about what it
does. Plus, it's a couple of useless lines that we need to maintain.
Let's just remove any extraneous work and make the addition to the
environment triggered by the -d option as obvious and concise as
possible.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Change --strip-prefix to --strip-path in the bup save manpage.

Thanks to Stefan Buller <stefan.buller@gmail.com> for pointing out the
problem.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Mention DESIGN in the README.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Resolve bup argv[0] symlinks.

Resolve any symlinks in argv[0] so that the subsequent PYTHONPATH
adjustment will work properly.

Signed-off-by: Daniel Hahler <git@thequod.de>
Acked-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Fix and regularize "<>-" escaping in Documentation/*.md.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add a bup "tick" before indexing to avoid timestamp race.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

lib/bup/bloom.py: fix minor documentation typos.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Documentation/bup-save.md: change --strip-prefix to --strip-path.

Signed-off-by: Jakob Matthes <jakob.matthes@gmail.com>
Reviewed-by: Zoran Zaric <lists@zoranzaric.de>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Documentation/bup-save.md: document --date option.

Signed-off-by: Jakob Matthes <jakob.matthes@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Extend README for NetBSD.

Add NetBSD to the list of systems on which bup is known to work.  Give
hints for bup usage on NetBSD, including the location of the fuse
bindings and the pkgsrc entry.  Caution about incorrect cycle
detection on fuse mounts.  Add pkgsrc URLs.

Signed-off-by: Greg Troxel <gdt@lexort.com>
Reviewed-by: Gabriel Filion <lelutin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

cmd/drecurse: correctly pass excluded_paths to recursive_dirlist

The excluded_paths argument was being passed as a positional argument,
but its position actually corresponded to the 'bup_dir' argument, so
'bup drecurse --exclude=/foo/bar /foo' has never worked.

Signed-off-by: Aneurin Price <aneurin.price@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Add "xstat" itself to the xstat optspec usage message.

Thanks to Jean-Baptiste <jbd@jbdenis.net> for pointing it out.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Set python-mode python-indent to 4 in .dir-locals.el.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Mention that option values will be converted to integers when possible.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add test for "child named after parent" bug.

The added test shows that saving a node with the same name as the root
of the tree fails.

Changing Node.__cmp__() to compare by full paths should fix the
problem.

Signed-off-by: Yung-Chin Oei <oei.yungchin@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Adjust Node.__cmp__() to compare full paths.

The function now returns immediately if the two arguments are the same
Python object, otherwise it compares the full path name (rather than
just the file name).

Discussion: https://groups.google.com/group/bup-list/browse_thread/thread/1afc33b26394d69e/1a7a8155a1005600

Signed-off-by: Gabriele Santilli <gabriele@colellachiara.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

Import new wvtest.py.

From wvtest project commit c2197e2caeda8dd8c2dc3dbe5df1eaa7cd177aa1.

shquote: add docstrings and a new quotify_list() function.

And associated tests.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

options.py: get rid of end-of-line whitespace.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

options.py: clean up handling of --no-* options.

The particular bug that triggered this (in a project other than bup) was of
the form:

n,no-stupid       don't be stupid

Where it would actually end up setting stupid=1 by accident, and -n would
mean --stupid, not --no-stupid.  As part of fixing it, you can now also do
this:

n,no-stupid,smart   don't be stupid (ie. be smart)

and it'll work as it should: n == smart == no-stupid == not stupid.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

options.py: don't crash given semi-invalid optspecs.

It's kind of weird to provide an argument without a description, but it's
not crash-worthy (especially when the crash was a totally unhelpful
exception stack trace).  While we're here, test for a couple of other ones
that didn't cause a crash, but we want to keep it that way.

And fix the copyright message; actually options.py started in 2010.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

cmd/ftp: don't do MacOS readline bindings on non-MacOS.

I thought it was harmless, but apparently it makes the 'b' command not work
on Linux machines.  Oops.

Thanks to Gabriel Filion and gernot on IRC for reporting this.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

cmd/ftp: fix tab completion on MacOS.

MacOS doesn't use the "real" readline, and the clone it uses is slightly
incompatible in its bindings.  Just bind both and it seems to work on both
MacOS and Linux.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

options.py: relicense to 2-clause BSD license.

At the request of a few people who would like to us it in their own
projects.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

bupsplit.c: remove extra-large stack-allocated array from selftest().

In some rare cases involving userspace threads (where you're running the
selftest function for some reason?) this could cause stack overflow or
excess memory usage.  Let's just do it with plain malloc().

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Disable t/test-meta.sh in 'make test' unless TEST_META=1

In other words:

make test                # doesn't run metadata tests
TEST_META=1 make test    # does run metadata tests

The metadata tests still fail randomly on some people's computers, but we're
falling too far behind and it's time to make a release.  The metadata stuff
isn't used anywhere critical in bup yet, so it's okay to leave it in but not
test it for now.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Merge branch 'meta'

* meta:
  Add utimes/lutimes implementations of _helpers utime() and lutime().
  Replace _helpers.utimensat() with utime() and lutime().
  Test for available nanosecond stat timestamp members.
  Add config.h dependency to _helpers in csetup.py.
  Add -*-shell-script-*- to configure.inc.
  Use FS_IOC_GETFLAGS/FS_IOC_SETFLAGS directly as the preprocessor guards.
  Verify the expected length of saved_errors in tmetadata.py.
  Don't use xstat.lutime() in test-meta.sh when xstat.utime() will do.
  Add meta support for restoring filesystem sockets.
  Add _recognized_file_types(); defer error for unrecognized restore.
  index.py: new format (V3), with inodes, link counts, and 64-bit times.
  Cap timestamps in index to avoid needing to worry about fractional parts.
  index.py: factor out an Entry._fixup_time method.
  Rely on options.parse() for more of the meta and xstat argument processing.
  Remove vestigal clean target comment regarding pybuptest.tmp permissions.
  Add initial timespec behavior tests.
  Return None from bup_set_linux_file_attr() and bup_utimensat().
  Replace os.*stat() with xstat.*stat(); use integer ns for all fs times.
  Drop xstat floating point timestamp support -- use integer ns.
  xstst-cmd.py: test for _have_utimensat rather than _have_ns_fs_timestamps.

Add utimes/lutimes implementations of _helpers utime() and lutime().

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Replace _helpers.utimensat() with utime() and lutime().

Rework utimensat() handling in preparation for the addition of
utimes/lutimes based fallbacks.

Publish lutime() and utime() at the Python level from _helpers.c
rather than utimensat() itself.

Drop the _have_utimensat tests in favor of testing xstat.lutime which
will be false when xstat.lutime() is not available.

Move bup_utimensat() Python argument parsing to
bup_parse_xutime_args() and use it to implement bup_utime_ns() and
bup_lutime_ns().  This argument parsing will eventually be shared by
the utimes/lutimes based fallbacks.

Remove _helpers.AT_FDCWD and _helpers.AT_SYMLINK_NOFOLLOW since
utimensat is no longer published on the Python side.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Test for available nanosecond stat timestamp members.

Use st_atim, st_mtim, and st_ctim when available, and fall back to
st_atimensec, st_mtimensec, and st_ctimensec.  If neither are
available, return 0 ns values.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add config.h dependency to _helpers in csetup.py.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add -*-shell-script-*- to configure.inc.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Use FS_IOC_GETFLAGS/FS_IOC_SETFLAGS directly as the preprocessor guards.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Verify the expected length of saved_errors in tmetadata.py.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Don't use xstat.lutime() in test-meta.sh when xstat.utime() will do.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add meta support for restoring filesystem sockets.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add _recognized_file_types(); defer error for unrecognized restore.

Defer an error if an unrecognized file type is encountered during
metadata restoration -- whether during path creation
(i.e. --start-extract) or metadata application
(i.e. --finish-extract).

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

make clean: Remove dlls from child directories

Fix the 'clean' makefile rule to remove .dll files from subdirectories,
to match .so files.

Signed-off-by: Aneurin Price <aneurin.price@gmail.com>

configure.inc: strip trailing characters from 'uname -s' output

On Cygwin, 'uname -s' includes the version of the underlying operating
system; here it is 'CYGWIN_NT-6.0'. The configure script attempts to
define this in config/config.h, but '#define OS_CYGWIN_NT-6.0 1' is an
invalid macro definition.

This truncates the value to just 'CYGWIN', to match $OS in the Makefile.

Signed-off-by: Aneurin Price <aneurin.price@gmail.com>

Update bupsplit.[ch] to have a less restrictive BSD-style license.

Nobody else owns any copyright on those files, so I can do this without
asking anyone else for permission :)

Some people have asked to use these files in their own non-GPL/LGPL
projects, and although the LGPL permits this, the files are so small that
there's no reason to be obnoxious about it.  So let's just let them do it
the easy way.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Merge branch 'master' into meta

* master:
  Improve formatting of error and warning messages.

index.py: new format (V3), with inodes, link counts, and 64-bit times.

To allow unambiguous preservation of hard-link structure, index device
numbers, inode numbers (new) and link counts (new) at 64 bits apiece
per GNU libc, which uses uint64_t, uint64_t, and unsigned long respectively.

Take the opportunity to use 64 bits for mtime and ctime as well, both
to be ready for Y2038 and to handle NTFS's zero value (Y1600).

Cap timestamps in index to avoid needing to worry about fractional parts.

Avoid a potential race condition by which bup's use of whole-second
granularity for timestamps in the index could let it theoretically
miss some last-second changes by capping timestamps to at most one
second before the start of indexing per a newly introduced mandatory
parameter to bup.index.Writer.

index.py: factor out an Entry._fixup_time method.

Factor Entry._fixup_time out of Entry._fixup to reduce (minor) logic
duplication and prepare for upcoming tweaks to timestamp indexing.

Improve formatting of error and warning messages.

log() trailing newlines as appropriate.  Fix a format string typo in
lib/bup/git.py encountered when verifying that exceptions' string
values already end with newlines.

Merge branch 'master' into meta

* master: (27 commits)
  t/test.sh: 'ls' on NetBSD sets -A by default as root; work around it.
  README: add a list of binary packages
  README: rework the title hierarchy
  Clarify the message when the BUP_DIR doesn't exist.
  Refactor: unify ls/ftp-ls code
  ftp/ls: Adjust documentation
  ls: include hidden files when explicitly requested
  ftp: implement ls -s (show hashes)
  ftp/ls: columnate output attached to a tty, else don't
  ftp: don't output trailing line for 'ls'
  ftp: output a newline on EOF when on a tty
  config: more config stuff to config/ subdir, call it from Makefile.
  cmd/{split,save}: support any compression level using the new -# feature.
  options.py: add support for '-#' style compression options.
  Add documentation for compression levels
  Add test case for compression level
  Add compression level options to bup save and bup split
  Make zlib compression level a parameter for Client
  Make zlib compression level a parameter of git.PackWriter
  Use is_superuser() rather than checking euid directly
  ...

Conflicts:
lib/bup/metadata.py

t/test.sh: 'ls' on NetBSD sets -A by default as root; work around it.

We have to undo it by grepping out any dotfiles.  (Normal OSes don't
auto-set -A, but this is harmless there.)

Reported by Thomas Klausner.  Fix suggested by Gabriel Filion.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Merge branch 'config'

* config:
  config: more config stuff to config/ subdir, call it from Makefile.
  Initial import of configure.sh

README: add a list of binary packages

Debian/Ubuntu are known to have bup packages in their archives, thanks
to Jon Dowland.

Also, a NetBSD package is currently being built, as was shared by Thomas
Klausner. However, it is still not found in the official NetBSD packages
search engine.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

README: rework the title hierarchy

In Markdown, a line underlining another one with '=' characters
represents a first level title, while a line underlining another one
with '-' characters represents a second level title.

Rework the title levels to gain visibility on the different sections and
to allow to split "Getting started" more easily (see my next commit for
additions to this section).

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

Clarify the message when the BUP_DIR doesn't exist.

Now it reminds you to run 'bup init'.  Problem reported by Thomas Klausner.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Refactor: unify ls/ftp-ls code

Both the 'ls' command and the 'ls' subcommand of the 'ftp' command use
some code that is very similar. Modifications must be done in two places
instead of one and this can lead to inconsistencies.

Refactor code so that both paths use the same function with the same opt
spec.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ftp/ls: Adjust documentation

Now that 'bup ftp ls' and 'bup ls' have the same features, adjust both
commands' man pages.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ls: include hidden files when explicitly requested

The current code of 'bup ls' insists on hiding a file from its listing
even if the file was explicitly requested as an argument. This is not
what users would expect. Remove the condition and always list files
(not directories) starting with a dot when they were given in the
argument list.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ftp: implement ls -s (show hashes)

'bup ls' has a -s flag that can be used to show file hashes on the left
of each file name. 'bup ftp ls' doesn't have that feature.

Implement the feature by copying code from 'bup ls'. This is the last
feature difference between 'bup ls' and 'bup ftp ls' and bringing them
to the same level will make it possible to unify the code that is used
by both.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ftp/ls: columnate output attached to a tty, else don't

'bup ftp ls' and 'bup ls' currently behave in a different manner.

'bup ftp ls' always formats its output in columns regardless of whether
the program's stdout is a tty or not.

'bup ls' always prints one name on each line.

Make both of those commands behave the same. By using lib/bup/helpers'
istty1 variable, decide to format in columns when outputting to a tty,
and to output one file name per line when the output is not a tty.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ftp: don't output trailing line for 'ls'

'ls' is currently the only 'ftp' subcommand that outputs a trailing
newline before the prompt is re-displayed. This is cause by the use of
"print" to output a string that already contains an ending newline.

For a matter of consistency of output, make 'ls' output without that
extra trailing newline.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

ftp: output a newline on EOF when on a tty

Using the 'quit' command with ftp while in interactive mode -- attached
to a tty -- ends up clearing the line for the shell to use a fresh one
for the next prompt.
Using Ctrl-D to send an EOF to the application's input while in
interactive mode currently does not clear the line in the same way.

Let's force a newline when an EOF is received from a tty so that the
program exits in a more aesthetic way.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

Merge branch 'master' into config

* master:
  cmd/{split,save}: support any compression level using the new -# feature.
  options.py: add support for '-#' style compression options.
  Add documentation for compression levels
  Add test case for compression level
  Add compression level options to bup save and bup split
  Make zlib compression level a parameter for Client
  Make zlib compression level a parameter of git.PackWriter
  Use is_superuser() rather than checking euid directly
  Add is_superuser() helper function
  Makefile: add a PREFIX variable for locations other than /usr.

config: more config stuff to config/ subdir, call it from Makefile.

I really don't like Makefile.in files when Makefile can just as easily run
configure for you if you forget.

This also moves some of the junk files to the config/ subdir so they don't
(further) clutter the root.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

cmd/{split,save}: support any compression level using the new -# feature.

This makes the code *and* documentation a little nicer.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

options.py: add support for '-#' style compression options.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Add documentation for compression levels

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Add test case for compression level

A save run with 0 and 9 are made and the size of the resuling repos is
compared.

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Add compression level options to bup save and bup split

For now 0 and 9 should suffice.  1 still is the default.

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Make zlib compression level a parameter for Client

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Make zlib compression level a parameter of git.PackWriter

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Use is_superuser() rather than checking euid directly

Replacing calls to geteuid() to use is_superuser() fixes metadata test
failures on Cygwin when running as an Administrator.

Signed-off-by: Aneurin Price <aneurin.price@gmail.com>

Add is_superuser() helper function

This checks for an effective UID of 0 on most platforms, or the result
of the IsUserAnAdmin shell32 function on Cygwin.

Signed-off-by: Aneurin Price <aneurin.price@gmail.com>

Makefile: add a PREFIX variable for locations other than /usr.

make install PREFIX=/usr/local

Signed-off-by: Michael Barabanov <michael.barabanov@gmail.com>

Initial import of configure.sh

Imported configure 0.59

http://www.pell.portland.or.us/~orc/Code/configure/

Also added a bunch of simple tests, check for utimensat
and added ifdef to relavent code path.

fixed cp problem in bup/t/test-meta.sh

Remove a file created in a index test

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Earlier "negative timestamp" patch had a 64-bit timestamp in the test.

The date in the comment is correct - for -0x80000000.  Sadly, the *code*
actually said -0x90000000.  That works on 64-bit systems (and filesystems)
not not 32-bit ones, where python gives an encoding error.

In any case, based on the comment (June 10, 1893) it seems tat -0x80000000
must have been the intended value anyway.  Now 'make test' passes on 32-bit
Linux again.

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>

Prefix paths in grafting- and stripping-tests

On systems with symlinks in the used paths the tests failed.  This adds
a prefix to the used paths, that is not likely to exist.

Signed-off-by: Zoran Zaric <zz@zoranzaric.de>

Rely on options.parse() for more of the meta and xstat argument processing.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Remove vestigal clean target comment regarding pybuptest.tmp permissions.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add initial timespec behavior tests.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Return None from bup_set_linux_file_attr() and bup_utimensat().

Return None from bup_set_linux_file_attr() and bup_utimensat() since
errors are handled by exceptions.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Replace os.*stat() with xstat.*stat(); use integer ns for all fs times.

Replace all calls of the os.*stat() functions with calls to the xstat
equivalents.  This should leave bup with the xstat stat representation
(and integer ns timestamps) everywhere.

Remove FSTime, and add a few xstat conversion functions to replace the
bits we still want: timespec_to_nsecs(), nsecs_to_timespec(),
fstime_floor_secs(), fstime_to_timespec().

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Drop xstat floating point timestamp support -- use integer ns.

Drop conditional support for floating point timestamps (the xstat
os.stat() fallback).  Switch to integer nanosecond timestamps
everywhere except the metadata record encoding and _helpers.c.

The metadata encoding is still a timespec because separate s and ns
timespec vints compress much better, and timespecs are still returned
by _helpers because the conversion to integer nanoseconds is much more
convenient in Python.

Enforce timespec range expectations -- throw an exception if the
system returns a nanosecond value less than 0 or greater than
999999999.  Remove _have_ns_fs_timestamps.

Depend on bup_stat(), bup_stat(), and bup_lstat() unconditionally, and
change the timespec return conversion from "(ll)" to "(Ll)", i.e. long
long range for secs.

This commit may break the build on some platforms -- we'll have to add
suitable conditionals once we see what's needed.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

xstst-cmd.py: test for _have_utimensat rather than _have_ns_fs_timestamps.

Test for _have_utimensat rather than _have_ns_fs_timestamps to decide
whether or not to print the atime and mtime, since the existence of
utimensat() is the real indicator, and since _have_ns_fs_timestamps is
going away.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Merge branch 'master' of git://github.com/thatch/bup

* 'master' of git://github.com/thatch/bup:
  Missing space in optspec
  Fix a bug where marginally old files couldn't be stored in the index
  Show better errors with out-of-range Entry values

Doc: add some precisions for --remote and dumb mode

The -r/--remote argument to some of bup's commands currently doesn't
give enough information about how to customize options to SSH. Let's add
information about this so that users know how to customize options for
SSH connections.

Also, in bup-server's documentation, point out which mode is the default
one for more clarity.

Signed-off-by: Gabriel Filion <lelutin@gmail.com>

DESIGN: mention bloom filters.

Jeff Anderson-Lee discovered the missing information and posted to the
mailing list.  Gabriel Filion reminded me to actually update the docs :)

Signed-off-by: Avery Pennarun <apenwarr@gmail.com>