bup_rm: take opts as individual arguments

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

rm: move core code to bup.rm module

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

walk_object: rewrite as nonrecursive

Given a deep enough bup tree the current recursive version can exceed
the default Python stack limit, resulting in an error like this:

  RuntimeError: maximum recursion depth exceeded in cmp

Rewrite the function as an iteration, and explicitly manage the pending
items as a list on the heap.

Thanks to axion for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

INDEX_SIG: widen children_ofs to 64-bit

This should avoid failures when the index grows larger than 4GB.

Update the index format header to 'BUPI\0\0\0\7' (version 7).

Thanks to phillipproell amd Wayne Scott for reporting the problem,
and helping track down the cause/fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>
Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Make INDEX_SIG a bit easier to understand

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Report unknown root status if getwindowsversion > 5

Apparently the situation is much more complicated in newer versions, so
until someone more knowledgable can help, don't try to determine
superuser status there.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Detect root-status failures

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

bup-gc(1): correct default compression level

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Require Python 2.6 or newer

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

wvtest: chdir to start dir before extracting stack

It looks like traceback may not be able to find the source text if the
current directory has been changed from the original.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

wvtest: precompile _code() regex

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Handle ntfs-3g EINVAL for attr save/restore

It appears that ntfs-3g now returns EINVAL for unsupported ioctls
including FS_IOC_GET_FLAGS and FS_IOC_SET_FLAGS.

Treat EINVAL like the existing expected errors for these calls, but
since there's evidence to suggest that other devices/filesystems use
EINVAL to indicate more serious trouble and use ENOTTY to indicate
unsupported ioctls, include a request to report any occurrences of
EINVAL when ntfs-3g is not involved.

Thanks to Mark J Hewitt for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Check attr value *after* ensuring call succeeded

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

wvtest_main: use immutable arg default value

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

gc: actually allow --threshold arg

Thanks to Andrew Skretvedt for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

cleanup-mounts-under: skip if no /proc/mounts

Avoid "make clean" failures on "not Linux".

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Don't use multiple with context clauses

Python 2.6 only supports a single with clause.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

import-duplicity: use readpipe, not check_output

Python 2.6 doesn't have check_output.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-fuse: skip tests if no fuse module

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-web: s/python/bup-python/

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

_encode_packobj: raise ValueError for bad level

Move the compression_level argument test to the start of the function,
be even more restrictive, and add trivial tests.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

_encode_packobj: raise BaseException for bad level

Reviewed-by: Rob Browning <rlb@defaultvalue.org>
[rlb@defaultvalue.org: adjust commit message]

README: git clone with https

Clone via https:// rather than git:// since it's more widely accessible.

[rlb@defaultvalue.org: augment commit message]
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-web: silence curl during socket test

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-web: skip tests if no tornado

Thanks to ilovezfs for reporting the problem and helping with the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

gc: explicitly handle missing objects

Instead of just dying with a KeyError backtrace, detect missing objects
and print a friendlier message about the problem.  Having the new
MissingObject exception derive from KeyError should avoid affecting
existing code.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Fix fsyncing on OSX on SMB file-systems

Fixes the error:

    Traceback (most recent call last):
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/cmd/bup-server", line 209, in <module>
cmd(conn, rest)
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/cmd/bup-server", line 91, in receive_objects_v2
fullpath = w.close(run_midx=not dumb_server_mode)
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/git.py", line 790, in close
return self._end(run_midx=run_midx)
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/git.py", line 764, in _end
fdatasync(f.fileno())
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/helpers.py", line 47, in <lambda>
fdatasync = lambda fd : fcntl.fcntl(fd, fcntl.F_FULLFSYNC)
    IOError: [Errno 45] Operation not supported
    Traceback (most recent call last):
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/cmd/bup-save", line 460, in <module>
w.close()  # must close before we can update the ref
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/client.py", line 317, in close
id = self._end()
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/client.py", line 314, in _end
return self.suggest_packs() # Returns last idx received
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/client.py", line 229, in _suggest_packs
self.check_ok()
      File "/usr/local/Cellar/bup/0.28.1/lib/bup/bup/client.py", line 134, in check_ok
% rv)

Signed-off-by: Jonathan Wright <quaggy@gmail.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Check save/split names early via valid_save_name

Previously, split and save would just wait to see if the final
update_ref failed.  Instead, check the validity of the name early,
before doing any significant work.

Thanks to vi0oss for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add note/0.28-from-0.28.1.md and mention in README

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

test-web: use path with unique unicode sequence

Change the test path from "éxcitement" to "¡excitement!" since the
former has multiple valid unicode encodings (e.g. given combining
characters, etc.).

With the previous string, the test might fail if something along the way
normalized it (which was the case on at least some versions of OS X).

Thanks to ilovezfs for reporting the problem and helping with the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-meta: loosen expected rsync diff pattern

Homebrew's rsync produces 12 status characters, not 11.

Thanks to ilovezfs for reporting the problem and helping test the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Fix release archives and add tests

Previously, an archive created by "git archive" would fail to build,
because the versioning code was broken (in part by
03d35993b87f49753542e705e37949a46964be17) for any build outside a git
clone.  Although "bup version" may not really have been quite right
since the switch from "bup-VERSION" to "VERSION release tags.

Fix the problem by reintroducing the content of the older
_version.py.pre as a permanent _release.py file, which (as with the
previous incarnation) is a template that's expanded during "git archive"
via export-subst (cf. gitattributes(5)).

Add a version module as the public interface to versioning, and have it
sort out whether or not the current tree is an official release.  Adjust
configure-version to manage _checkout.py instead of _version.py (drop
_version.py), so that the version module is effectively just
disambiguating between _release.py and _checkout.py.

Adjust "bup version" to use the new version module and to handle
unprefixed VERSION tags.

Finally, add test-release-archive.sh, invoked via "make distcheck", so
we (hopefully) don't unknowingly break this again.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

wvtest.sh: fix WVDIE

It was unused, and didn't actually work.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add config.vars.sh for bup_make and bup_python

During configure create a config/config.vars.sh file including (for now)
properly shell escaped bup_make and bup_python definitions so that we
can use them in other schell scripts.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

bup-python: respect umask when adding execute bit

Signed-off-by: Gernot Schulz <post@gernot-schulz.com>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

drecurse.py: add missing resolve_parent import

Signed-off-by: Karl Semich
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Update HACKING and README for 0.28

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Compute exact sizes via t/data-size in test-gc.sh

Add a t/data-size helper that computes the total data size of all named
paths and use it instead of du in test-gc.sh to determine the
before/after repository sizes.

This should fix spurious test failures on filesystems with a large block
size.  (Observed on ppc64el and powerpc tmpfs filesystems.)

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add xattr EACCES fix to release notes

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Don't return const types from sparse find helpers

Let the caller decide.

Thanks to Greg Troxel for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Treat EACCES like EPERM when removing xattrs

Thanks to Brian Minton for reporting the problem on Fedora 23.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add thanks to 0.28 release notes

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add note/0.27.1-from-0.27.md and mention in README

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Merge restore --sparse corruption fix

restore: fix --sparse corruption

Rework the restore --sparse implementation to fix a bug that might cause
it to produce output that didn't match the original input.

Rewrite the code to probe for sparse regions in min_sparse_len jumps,
searching backward from the jump target for a non-zero byte.  If one is
found, move just past that byte and try again.

This should be substantially more efficient than the previous approach
for non-sparse regions.  In the limiting case, it should read roughly
1/min_sparse_len bytes instead of all of them.

The original bug was masked by the fact that the test that would have
revealed it wasn't actually generating random data (across trials),
something that was fixed in "Use $RANDOM seed for --sparse random
tests".

Thanks to Marcus Schopen for reporting the problem and Frank Gevaerts
for helping track down the solution.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-sparse-files: use bup-python in master

Change python to bup-python after cherry-picking the sparse test in
b5636d001151fe64bc617507200a55af73766819.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

restore: test --sparse with zeros at 64k boundary

bup restore --sparse fails with short zero runs around 64K boundaries.
The new testcase reproduces that failure

Signed-off-by: Frank Gevaerts <frank@gevaerts.be>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
[rlb@defaultvalue.org: adjust commit summary]

restore: add generative --sparse testing

Add t/sparse-test-data to automatically generate cases that might trip
up "restore --sparse", and use it in test-sparse-files.sh.  This change
causes the current --sparse code to fail if you run enough trials,
but not as quickly as the existing "bup random" based test.

As compared to the existing "bup random" test, this one should evaluate
larger sparse regions much more often.

Thanks to Frank Gevaerts for help evaluating the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Use $RANDOM seed for --sparse random tests

Since bup random defaults to a fixed random seed of 1, the restore
--sparse test for random data was actually testing the same data every
time.  Specify a $RANDOM --seed to fix that.

After this change, the affected test fails fairly often.

Thanks to Frank Gevaerts for help evaluating the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add note/0.28-from-0.27.md and mention in README

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

README: update deps, platforms, related projects

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

rm/gc: update README and mention testing in bup-gc(1)

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Reflect availability of experimental rm/gc in docs

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add add_error imports missed in import * removal

[rlb@defaultvalue.org: rebased on current master; squashed related
 patches; adjusted commit message]
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Check saved_errors before and after every test

Add a new buptest module that includes a no_lingering_errors context
manager which provokes a wvtest failure if there are any saved_errors
before or after a test, and then clears them, and use that manager in
all of the Python tests so that unexpected errors will be detected
immediately, instead of causing an unrelated failure later, when testing
for expected saved_errors.

Add a temp_testdir context manager to replace all of the current
tmpdir-related boilerplate.

Rework all of the tests to use the two managers where appropriate, so
that this:

  def test_bloom():
      initial_failures = wvfailure_count()
      tmpdir = tempfile.mkdtemp(dir=bup_tmp, prefix='bup-tbloom-')
      ...
      if wvfailure_count() == initial_failures:
          subprocess.call(['rm', '-rf', tmpdir])

becomes this:

  def test_bloom():
      with no_lingering_errors(), test_tempdir('bup-tbloom-') as tmpdir:
          ...

While making the changes, clean up the imports to match the PEP 8 import
recommendations a bit more closely (excepting the suggestion to avoid
"import bar, baz", which seems odd given the blessing of "from foo
import bar, baz", where bar and baz could still be modules).

Thanks to Tadej Janež for reporting the initial issue.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test_server_split_with_indexes: close packwriter

Otherwise there are random test failures when the tmpdir is removed
before the PackWriter's destructor calls close().  This doesn't cause an
immediate problem, but it adds an unexpected entry to saved_errors that
causes later tests to fail.

The related saved_errors entries looked like this:

  ['../../../bup', 'midx', '--auto', '--dir', ...]: returned 15

and the underlying (hidden) midx stderr output in that case looked like
this:

  error: '...' is not a bup repository; run "bup init"

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-rm: replace pipefail with explicit tests

...and fix some missing or ineffective status checks.

Thanks to Greg Troxel for reporting the problem.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.

sync-trees: drop -X and retry if -X fails

It appears that rsync may fail if -X is specified and the filesystem
doesn't support xattrs.

Thanks to Greg Troxel for reporting the problem and helping test the
solution.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

compare-trees: drop -X and retry if -X fails

It appears that rsync may fail, even during a --dry-run, if -X is
specified and the filesystem doesn't support xattrs.

Thanks to Greg Troxel for reporting the problem and helping test the
solution.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

fuse: remove redundant custom Stat class

It looks like our Stat class was just reinitializing all of the things
that the built in fuse.Stat class already initializes, so just rely on
theirs, and use their keyword initializers to avoid a few more
reinitializations.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

fuse: add --verbose argument and use it

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

web: retrieve paths exactly as presented

Bup paths are byte strings, not Unicode, so don't attempt to convert
them to Unicode.  Retrieve exactly what was requested.

Thanks to Mathieu Schroeter for reporting the problem and helping test
the fix.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Merge web GET fix and SIGTERM and unix:// support

Tested-by: Rob Browning <rlb@defaultvalue.org>
Signed-off-by: Rob Browning <rlb@defaultvalue.org>

web: fix broken GETs and test

It appears that content GETs, i.e. "curl
http://localhost/foo/latest/bar" may have been broken for a while.  To
addresss that, switch to the apparently preferred upstream coroutine
approach, and add some initial tests.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

web: add missing chunkyreader import

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

web: for unix://path, listen on filesystem socket

Add support for filesystem sockets.  If nothing else, this is very
useful for testing.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

web: attempt orderly shut down on SIGTERM

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

web: remove unneeded __name__ == '__main__' guard

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

bup-index.md: fix path ref; update description

Change one more "filename" to "path", and adjust the initial
description.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Never omit explicitly named mounts during index -x

Assuming mounts like this:

  /
  /usr

and an index invocation like "bup index -x / /usr", don't skip indexing
/usr.  Previously bup would skip /usr when -x was specified because
reduce_paths() would drop /usr from the list of paths to index, assuming
that /usr would be covered when indexing /.  However, when /usr was
actually reached, -x would cause it to be skipped.

To fix that, exempt all mount points mentioned on the command line from
-x during filesystem traversal, expand the (root only) tests to cover
this situation, and check some corner cases.

Thanks to Wayne Scott for reporting the problem, and Yves-Alexis Perez
for a reminder.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

index: raise children_n limit to struct 'I' max

This assertion appears to be a sanity check, and one that's perhaps too
low (think giant Maildirs), so raise it to the real limit, which should
be UINT_MAX, given that the index header containing it is
encoded/decoded via 'I' (platform native unsigned int):

  https://docs.python.org/2/library/struct.html

Since Python doesn't appear to provide access to UINT_MAX, add it (and
INT_MAX) to _helpers.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

index: always return at least the root for filter prefixes

Return at least an entry for the prefix itself for each prefix passed
to filter.  Otherwise something like "bup save ... x/y" will fail when
x is up to date because filter will return nothing, save will traverse
nothing in its main loop, and bup will crash with an assertion
failure:

  File "/home/rlb/src/bup/main/cmd/bup-save", line 440, in <module>
    assert(len(shalists) == 1)

Instead "bup save ... x/y" should (and now will) produce a new save
containing x/y.

Thanks to Simon Persson for helping formulate a good test case.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-rm: match rsync output against rx, not string

Add a wv_matches_rx to use Bash =~ to match the expected output against
a regular expression.

Thanks to Greg Troxel for reporting a related problem on NetBSD,
and providing the nudge.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Merge initial bup gc command

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Merge initial bup rm command

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

gc-cmd: add the bup-python #! preamble

Signed-off-by: Paul Kronenwetter <kronenpj@gmail.com>
[rlb@defaultvalue.org: remove everything except preamble update;
 rebase on current gc branch; adjust commit message]
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

rm-cmd: add the bup-python #! preamble

Signed-off-by: Paul Kronenwetter <kronenpj@gmail.com>
[rlb@defaultvalue.org: remove everything except preamble update;
 rebase on current rm branch; adjust commit message]
Reviewed-by: Rob Browning <rlb@defaultvalue.org>
Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add probabilistic "bup gc", but require --unsafe

WARNING: This code is UNSAFE, please test it with care.  Among other
things, it adds the first bup command that intends to modify packfiles.
Also, the code assumes/requires a "quiet" repository; any simultaneous
access is dangerous.

Add a "bup gc" command that uses a Bloom filter to track the live
objects during the mark phase.  This means that the collection is
probabilistic -- that it may retain some (known) percentage of
garbage, but it can also work within a reasonable, fixed RAM budget
for any particular percentage and repository size.

In many cases, this may be sufficient and preferable, but in the
longer run, we might also want to add a precise method that guarantees
bup retains *no* unreachable/dead objects -- nothing here should
prevent that.

This command is potentially dangerous, so until we've had broader
testing, require all invocations to specify --unsafe, and make it clear
in the documentation that this command isn't considered stable.

Thanks to Tim Riemenschneider for suggesting the pruning of already
visited trees, and an earlier implementation thereof.  Thanks to Ben
Kelley for testing and reporting bugs in earlier versions of the
current implementation.

Thanks to Ben Kelly for help devising this Bloom-based approach, and for
testing and reporting bugs in earlier versions.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add "bup rm", but require --unsafe invocation

Allow the removal of branches, and the removal of saves from specified
branches.  This command only removes the references, so until "bup gc"
is available, all of the related data will still be in the repository,
though possibly difficult to reach, unless otherwise tagged.

This command is potentially dangerous, so until we've had broader
testing, require all invocations to specify --unsafe, and make it clear
in the documentation that this command isn't considered stable.

Thanks to Nix for reporting an earlier mistake in the manpage.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

git.py: add walk_object

Add walk_object(), which can recursively traverse a git reference (tree,
commit, blob, etc.).  This will be used by "bup gc".

Thanks to Aidan Hobson Sayers for suggesting improvements to an earlier
version of the code.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

Add author and committer arguments to new_commit()

Support "bup get" and "bup rm", which need to write commits with
differing author and committer information.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add imports missed during helpers import * removal

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

bup-index.md: elaborate on update path handling

Signed-off-by: Rob Browning <rlb@defaultvalue.org>

PackWriter _end: fsync parent dir (not fdatasync)

Thanks to Greg Troxel for jogging my memory.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Sync pack data more carefully when writing

Otherwise a system failure might leave a broken repo.  Note that these
changes may not be comprehensive, but they're a start, and hopefully
deal with some of the most critical data.

In addition to syncing the pack data itself, sync the parent directory
after the final rename so that we don't risk losing the reference to
the new file.

See also:

  http://austingroupbugs.net/view.php?id=672
  https://www.sqlite.org/atomiccommit.html

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

_write_pack_idx_v2: close idx_map separately

...in its own finally block, so that the idx_f close will be attempted
even if the idx_map close throws an exception.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

PackWriter open: clean up fd if fdopen fails

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

PackWriter init: initialize file guard first

Initialize the self.file variable first since it's used to test the
state of the object.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

PackWriter _end: try to always close the file

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

PackWriter _abort: try to always close the file

...even if the unlink fails.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

ls: add missing sys and columnate imports

This was ignored by the existing tests because there was no tty.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Don't import * from helpers

So we're not pulling access to random other namespaces through helpers
(like errno, subprocess, etc.), and so it's obvious what's coming from
where.

Thanks to Greg Troxel for help evaluating the changes.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add initial test-list-idx.sh

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Add trivial test-main.sh

For now, just test that "bup" exits with the specified 99, which also
exercises the usage() code (so we at least notice missing imports,
etc.).

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

helpers: rename realpath to resolve_parent

helpers.realpath does not behave quite like os.path.realpath since it
doesn't resolve any leaf symlink, so to avoid confusion, rename it to
resolve_parent.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

README: add info about Fedora package

Signed-off-by: Tadej Janež <tadej.j@nez.si>
Reviewed-by: Rob Browning <rlb@defaultvalue.org>

fdatasync: call F_FULLFSYNC fcntl on OS X

Apparently fsync doesn't guarantee to actually sync all the way to disk
on OS X, for that you have to use this fcntl.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

test-ls: add missing WVPASSes to report failures

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Use BytesIO instead of StringIO

More accurate, and Python 3 compatible.

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>

Use Python 3 compatible "except ... as e" syntax

Signed-off-by: Rob Browning <rlb@defaultvalue.org>
Tested-by: Rob Browning <rlb@defaultvalue.org>