]> arthur.barton.de Git - bup.git/blobdiff - t/test-meta.sh
tmetadata.py: print saved_errors in from_path test
[bup.git] / t / test-meta.sh
index 8fbcf62ca720b1bc97a7fabf9ca52681c15dc48f..cfd22e488b481b8c4aa20429d28779bd75afba5b 100755 (executable)
@@ -1,9 +1,24 @@
 #!/usr/bin/env bash
-. wvtest.sh
-. t/lib.sh
+. wvtest-bup.sh || exit $?
+. t/lib.sh || exit $?
 
-TOP="$(pwd)"
-export BUP_DIR="$TOP/buptest.tmp"
+set -o pipefail
+
+TOP="$(WVPASS pwd)" || exit $?
+tmpdir="$(WVPASS wvmktempdir)" || exit $?
+
+export BUP_DIR="$tmpdir/bup"
+
+WVPASS force-delete "$TOP/bupmeta.tmp"
+timestamp_resolutions="$(t/ns-timestamp-resolutions "$TOP/bupmeta.tmp")" \
+    || exit $?
+WVPASS rm "$TOP/bupmeta.tmp"
+atime_resolution="$(echo $timestamp_resolutions | WVPASS cut -d' ' -f 1)" \
+    || exit $?
+mtime_resolution="$(echo $timestamp_resolutions | WVPASS cut -d' ' -f 2)" \
+    || exit $?
+
+root_status="$(t/root-status)" || exit $?
 
 bup()
 {
@@ -32,7 +47,9 @@ genstat()
         export PATH="$TOP:$PATH" # pick up bup
         # Skip atime (test elsewhere) to avoid the observer effect.
         WVPASS find . | WVPASS sort \
-            | WVPASS xargs bup xstat --exclude-fields ctime,atime,size
+            | WVPASS xargs bup xstat \
+            --mtime-resolution "$mtime_resolution"ns \
+            --exclude-fields ctime,atime,size
     )
 }
 
@@ -70,7 +87,7 @@ test-src-save-restore()
     (
         WVPASS rm -rf src.bup
         WVPASS mkdir src.bup
-        export BUP_DIR=$(pwd)/src.bup
+        export BUP_DIR=$(pwd)/src.bup || exit $?
         WVPASS bup init
         WVPASS bup index src
         WVPASS bup save -t -n src src
@@ -86,7 +103,7 @@ test-src-save-restore()
 
 universal-cleanup()
 {
-    if [ $(t/root-status) != root ]; then return 0; fi
+    if [ "$root_status" != root ]; then return 0; fi
     umount "$TOP/bupmeta.tmp/testfs" || true
     umount "$TOP/bupmeta.tmp/testfs-limited" || true
 }
@@ -99,7 +116,7 @@ setup-test-tree()
     WVPASS force-delete "$BUP_DIR"
     WVPASS force-delete "$TOP/bupmeta.tmp"
     WVPASS mkdir -p "$TOP/bupmeta.tmp/src"
-    WVPASS cp -pPR Documentation cmd lib t "$TOP/bupmeta.tmp"/src
+    WVPASS cp -pPR Documentation cmd config lib "$TOP/bupmeta.tmp"/src
 
     # Add some hard links for the general tests.
     (
@@ -156,7 +173,7 @@ WVSTART 'metadata save/restore (general)'
     WVPASS test -d src/lib/bup
     WVPASS rm -rf src.bup
     WVPASS mkdir src.bup
-    export BUP_DIR=$(pwd)/src.bup
+    export BUP_DIR=$(pwd)/src.bup || exit $?
     WVPASS bup init
     WVPASS touch -t 201111111111 src-restore # Make sure the top won't match.
     WVPASS bup index src
@@ -191,7 +208,7 @@ WVSTART 'metadata save/restore (using index metadata)'
 
     WVPASS rm -rf src.bup
     WVPASS mkdir src.bup
-    export BUP_DIR=$(pwd)/src.bup
+    export BUP_DIR=$(pwd)/src.bup || exit $?
     WVPASS bup init
     WVPASS bup index src
     WVPASS bup save -t -n src src
@@ -412,15 +429,25 @@ src/foo/3"
 
 # Test ownership restoration (when not root or fakeroot).
 (
-    if [ $(t/root-status) != none ]; then
+    if [ "$root_status" != none ]; then
         exit 0
     fi
 
+    first_group="$(WVPASS python -c 'import os,grp; \
+      print grp.getgrgid(os.getgroups()[0])[0]')" || exit $?
+    last_group="$(python -c 'import os,grp; \
+      print grp.getgrgid(os.getgroups()[-1])[0]')" || exit $?
+    last_group_erx="$(escape-erx "$last_group")"
+
     WVSTART 'metadata (restoration of ownership)'
     WVPASS force-delete "$TOP/bupmeta.tmp"
     WVPASS mkdir "$TOP/bupmeta.tmp"
     WVPASS cd "$TOP/bupmeta.tmp"
     WVPASS touch src
+    # Some systems always assign the parent dir group to new paths
+    # (sgid).  Make sure the group is one we're in.
+    WVPASS chgrp -R "$first_group" src
+
     WVPASS bup meta -cf src.meta src
 
     WVPASS mkdir dest
@@ -431,19 +458,17 @@ src/foo/3"
     WVPASS rm -rf src
     WVPASS bup meta --edit --unset-user --set-uid 0 ../src.meta \
         | WVPASS bup meta -x
-    WVPASS bup xstat src | grep -qvE '^user: root'
+    WVPASS bup xstat src | WVPASS grep -qvE '^user: root'
 
     # Make sure we can restore one of the user's groups.
-    last_group="$(python -c 'import os,grp; \
-      print grp.getgrgid(os.getgroups()[0])[0]')"
     WVPASS rm -rf src
     WVPASS bup meta --edit --set-group "$last_group" ../src.meta \
         | WVPASS bup meta -x
-    WVPASS bup xstat src | WVPASS grep -qE "^group: $last_group"
+    WVPASS bup xstat src | WVPASS grep -qE "^group: $last_group_erx"
 
     # Make sure we can restore one of the user's gids.
-    user_gids="$(id -G)"
-    last_gid="$(echo ${user_gids/* /})"
+    user_gids="$(id -G)" || exit $?
+    last_gid="$(echo ${user_gids/* /})" || exit $?
     WVPASS rm -rf src
     WVPASS bup meta --edit --unset-group --set-gid "$last_gid" ../src.meta \
         | WVPASS bup meta -x
@@ -451,54 +476,57 @@ src/foo/3"
 
     # Test --numeric-ids (gid).
     WVPASS rm -rf src
-    current_gidx=$(bup meta -tvvf ../src.meta | grep -e '^gid:')
+    current_gidx=$(bup meta -tvvf ../src.meta | grep -e '^gid:') || exit $?
     WVPASS bup meta --edit --set-group "$last_group" ../src.meta \
         | WVPASS bup meta -x --numeric-ids
-    new_gidx=$(bup xstat src | grep -e '^gid:')
+    new_gidx=$(bup xstat src | grep -e '^gid:') || exit $?
     WVPASSEQ "$current_gidx" "$new_gidx"
 
     # Test that restoring an unknown user works.
-    unknown_user=$("$TOP"/t/unknown-owner --user)
+    unknown_user=$("$TOP"/t/unknown-owner --user) || exit $?
     WVPASS rm -rf src
-    current_uidx=$(bup meta -tvvf ../src.meta | grep -e '^uid:')
+    current_uidx=$(bup meta -tvvf ../src.meta | grep -e '^uid:') || exit $?
     WVPASS bup meta --edit --set-user "$unknown_user" ../src.meta \
         | WVPASS bup meta -x
-    new_uidx=$(bup xstat src | grep -e '^uid:')
+    new_uidx=$(bup xstat src | grep -e '^uid:') || exit $?
     WVPASSEQ "$current_uidx" "$new_uidx"
 
     # Test that restoring an unknown group works.
-    unknown_group=$("$TOP"/t/unknown-owner --group)
+    unknown_group=$("$TOP"/t/unknown-owner --group) || exit $?
     WVPASS rm -rf src
-    current_gidx=$(bup meta -tvvf ../src.meta | grep -e '^gid:')
+    current_gidx=$(bup meta -tvvf ../src.meta | grep -e '^gid:') || exit $?
     WVPASS bup meta --edit --set-group "$unknown_group" ../src.meta \
         | WVPASS bup meta -x
-    new_gidx=$(bup xstat src | grep -e '^gid:')
+    new_gidx=$(bup xstat src | grep -e '^gid:') || exit $?
     WVPASSEQ "$current_gidx" "$new_gidx"
 ) || exit $?
 
 # Test ownership restoration (when root or fakeroot).
 (
-    if [ $(t/root-status) == none ]; then
+    if [ "$root_status" = none ]; then
         exit 0
     fi
 
+    uid=$(WVPASS id -un) || exit $?
+    gid=$(WVPASS id -gn) || exit $?
+
     WVSTART 'metadata (restoration of ownership as root)'
     WVPASS force-delete "$TOP/bupmeta.tmp"
     WVPASS mkdir "$TOP/bupmeta.tmp"
     WVPASS cd "$TOP/bupmeta.tmp"
     WVPASS touch src
-    WVPASS chown 0:0 src # In case the parent dir is sgid, etc.
+    WVPASS chown "$uid:$gid" src # In case the parent dir is sgid, etc.
     WVPASS bup meta -cf src.meta src
 
     WVPASS mkdir dest
     WVPASS chmod 700 dest # so we can't accidentally do something insecure
     WVPASS cd dest
 
-    other_uinfo="$(id-other-than --user "$(id -un)")"
+    other_uinfo="$(id-other-than --user "$uid")" || exit $?
     other_user="${other_uinfo%%:*}"
     other_uid="${other_uinfo##*:}"
 
-    other_ginfo="$(id-other-than --group "$(id -gn)")"
+    other_ginfo="$(id-other-than --group "$gid")" || exit $?
     other_group="${other_ginfo%%:*}"
     other_gid="${other_ginfo##*:}"
 
@@ -512,25 +540,27 @@ src/foo/3"
         | WVPASS bup meta -x
     WVPASS bup xstat src | WVPASS grep -qE "^gid: $other_gid"
 
-    other_uinfo2="$(id-other-than --user "$(id -un)" "$other_user")"
+    other_uinfo2="$(id-other-than --user "$(id -un)" "$other_user")" || exit $?
     other_user2="${other_uinfo2%%:*}"
+    other_user2_erx="$(escape-erx "$other_user2")" || exit $?
     other_uid2="${other_uinfo2##*:}"
 
-    other_ginfo2="$(id-other-than --group "$(id -gn)" "$other_group")"
+    other_ginfo2="$(id-other-than --group "$(id -gn)" "$other_group")" || exit $?
     other_group2="${other_ginfo2%%:*}"
+    other_group2_erx="$(escape-erx "$other_group2")" || exit $?
     other_gid2="${other_ginfo2##*:}"
 
     # Try to restore a user (and see that user trumps uid when uid is not 0).
     WVPASS bup meta --edit \
-        --set-uid "$other_uid2" --set-user "$some_user" ../src.meta \
+        --set-uid "$other_uid" --set-user "$other_user2" ../src.meta \
         | WVPASS bup meta -x
-    WVPASS bup xstat src | WVPASS grep -qE "^user: $some_user"
+    WVPASS bup xstat src | WVPASS grep -qE "^user: $other_user2_erx"
 
     # Try to restore a group (and see that group trumps gid when gid is not 0).
     WVPASS bup meta --edit \
-        --set-gid "$other_gid2" --set-group "$some_group" ../src.meta \
+        --set-gid "$other_gid" --set-group "$other_group2" ../src.meta \
         | WVPASS bup meta -x
-    WVPASS bup xstat src | WVPASS grep -qE "^group: $some_user"
+    WVPASS bup xstat src | WVPASS grep -qE "^group: $other_group2_erx"
 
     # Test --numeric-ids (uid).  Note the name 'root' is not handled
     # specially, so we use that here as the test user name.  We assume
@@ -538,7 +568,7 @@ src/foo/3"
     WVPASS rm -rf src
     WVPASS bup meta --edit --set-user root --set-uid "$other_uid" ../src.meta \
         | WVPASS bup meta -x --numeric-ids
-    new_uidx=$(bup xstat src | grep -e '^uid:')
+    new_uidx=$(bup xstat src | grep -e '^uid:') || exit $?
     WVPASSEQ "$new_uidx" "uid: $other_uid"
 
     # Test --numeric-ids (gid).  Note the name 'root' is not handled
@@ -547,25 +577,25 @@ src/foo/3"
     WVPASS rm -rf src
     WVPASS bup meta --edit --set-group root --set-gid "$other_gid" ../src.meta \
         | WVPASS bup meta -x --numeric-ids
-    new_gidx=$(bup xstat src | grep -e '^gid:')
+    new_gidx=$(bup xstat src | grep -e '^gid:') || exit $?
     WVPASSEQ "$new_gidx" "gid: $other_gid"
 
     # Test that restoring an unknown user works.
-    unknown_user=$("$TOP"/t/unknown-owners --user)
+    unknown_user=$("$TOP"/t/unknown-owner --user) || exit $?
     WVPASS rm -rf src
     WVPASS bup meta --edit \
         --set-uid "$other_uid" --set-user "$unknown_user" ../src.meta \
         | WVPASS bup meta -x
-    new_uidx=$(bup xstat src | grep -e '^uid:')
+    new_uidx=$(bup xstat src | grep -e '^uid:') || exit $?
     WVPASSEQ "$new_uidx" "uid: $other_uid"
 
     # Test that restoring an unknown group works.
-    unknown_group=$("$TOP"/t/unknown-owners --group)
+    unknown_group=$("$TOP"/t/unknown-owner --group) || exit $?
     WVPASS rm -rf src
     WVPASS bup meta --edit \
         --set-gid "$other_gid" --set-group "$unknown_group" ../src.meta \
         | WVPASS bup meta -x
-    new_gidx=$(bup xstat src | grep -e '^gid:')
+    new_gidx=$(bup xstat src | grep -e '^gid:') || exit $?
     WVPASSEQ "$new_gidx" "gid: $other_gid"
 
     if ! [[ $(uname) =~ CYGWIN ]]; then
@@ -573,15 +603,15 @@ src/foo/3"
         # restoring an unknown uid/gid.
 
         # Make sure a uid of 0 trumps a non-root user.
-        WVPASS bup meta --edit --set-user "$some_user" ../src.meta \
+        WVPASS bup meta --edit --set-user "$other_user2" ../src.meta \
             | WVPASS bup meta -x
-        WVPASS bup xstat src | WVPASS grep -qvE "^user: $some_user"
+        WVPASS bup xstat src | WVPASS grep -qvE "^user: $other_user2_erx"
         WVPASS bup xstat src | WVPASS grep -qE "^uid: 0"
 
         # Make sure a gid of 0 trumps a non-root group.
-        WVPASS bup meta --edit --set-group "$some_user" ../src.meta \
+        WVPASS bup meta --edit --set-group "$other_group2" ../src.meta \
             | WVPASS bup meta -x
-        WVPASS bup xstat src | WVPASS grep -qvE "^group: $some_group"
+        WVPASS bup xstat src | WVPASS grep -qvE "^group: $other_group2_erx"
         WVPASS bup xstat src | WVPASS grep -qE "^gid: 0"
     fi
 ) || exit $?
@@ -589,13 +619,18 @@ src/foo/3"
 
 # Root-only tests that require an FS with all the trimmings: ACLs,
 # Linux attr, Linux xattr, etc.
-if [ $(t/root-status) == root ]; then
+if [ "$root_status" = root ]; then
     (
         # Some cleanup handled in universal-cleanup() above.
         # These tests are only likely to work under Linux for now
         # (patches welcome).
         [[ $(uname) =~ Linux ]] || exit 0
 
+        if ! modprobe loop; then
+            echo 'Unable to load loopback module; skipping dependent tests.' 1>&2
+            exit 0
+        fi
+
         WVSTART 'meta - general (as root)'
         WVPASS setup-test-tree
         WVPASS cd "$TOP/bupmeta.tmp"
@@ -677,57 +712,51 @@ if [ $(t/root-status) == root ]; then
             ) || exit $?
         ) || exit $?
 
-        # FIXME: skip remaining tests until we fix them.
-        test "$BUP_SKIP_BROKEN_TESTS" && exit 0
-
-        set -e
-
         WVSTART 'meta - Linux xattr (as root)'
-        force-delete testfs/src
-        mkdir testfs/src
-        (
-            touch testfs/src/foo
-            mkdir testfs/src/bar
-            attr -s foo -V bar testfs/src/foo
-            attr -s foo -V bar testfs/src/bar
-            (cd testfs && test-src-create-extract)
+        WVPASS force-delete testfs/src
+        WVPASS mkdir testfs/src
+        WVPASS touch testfs/src/foo
+        WVPASS mkdir testfs/src/bar
+        WVPASS attr -s foo -V bar testfs/src/foo
+        WVPASS attr -s foo -V bar testfs/src/bar
+        (WVPASS cd testfs; WVPASS test-src-create-extract) || exit $?
 
-            # Test restoration to a limited filesystem (vfat).
-            (
-                WVPASS bup meta --create --recurse --file testfs/src.meta \
-                    testfs/src
-                force-delete testfs-limited/src-restore
-                mkdir testfs-limited/src-restore
-                cd testfs-limited/src-restore
-                WVFAIL bup meta --extract --file ../../testfs/src.meta 2>&1 \
-                    | WVPASS grep -e '^xattr\.set:' \
-                    | WVPASS python -c \
-                      'import sys; exit(not len(sys.stdin.readlines()) == 2)'
-            )
-        )
+        # Test restoration to a limited filesystem (vfat).
+        (
+            WVPASS bup meta --create --recurse --file testfs/src.meta \
+                testfs/src
+            WVPASS force-delete testfs-limited/src-restore
+            WVPASS mkdir testfs-limited/src-restore
+            WVPASS cd testfs-limited/src-restore
+            WVFAIL bup meta --extract --file ../../testfs/src.meta
+            WVFAIL bup meta --extract --file ../../testfs/src.meta 2>&1 \
+                | WVPASS grep -e "^xattr\.set '" \
+                | WVPASS python -c \
+                'import sys; exit(not len(sys.stdin.readlines()) == 2)'
+        ) || exit $?
 
         WVSTART 'meta - POSIX.1e ACLs (as root)'
-        force-delete testfs/src
-        mkdir testfs/src
-        (
-            touch testfs/src/foo
-            mkdir testfs/src/bar
-            setfacl -m u:root:r testfs/src/foo
-            setfacl -m u:root:r testfs/src/bar
-            (cd testfs && test-src-create-extract)
+        WVPASS force-delete testfs/src
+        WVPASS mkdir testfs/src
+        WVPASS touch testfs/src/foo
+        WVPASS mkdir testfs/src/bar
+        WVPASS setfacl -m u:root:r testfs/src/foo
+        WVPASS setfacl -m u:root:r testfs/src/bar
+        (WVPASS cd testfs; WVPASS test-src-create-extract) || exit $?
 
-            # Test restoration to a limited filesystem (vfat).
-            (
-                WVPASS bup meta --create --recurse --file testfs/src.meta \
-                    testfs/src
-                force-delete testfs-limited/src-restore
-                mkdir testfs-limited/src-restore
-                cd testfs-limited/src-restore
-                WVFAIL bup meta --extract --file ../../testfs/src.meta 2>&1 \
-                    | WVPASS grep -e '^POSIX1e ACL applyto:' \
-                    | WVPASS python -c \
-                      'import sys; exit(not len(sys.stdin.readlines()) == 2)'
-            )
-        )
+        # Test restoration to a limited filesystem (vfat).
+        (
+            WVPASS bup meta --create --recurse --file testfs/src.meta \
+                testfs/src
+            WVPASS force-delete testfs-limited/src-restore
+            WVPASS mkdir testfs-limited/src-restore
+            WVPASS cd testfs-limited/src-restore
+            WVFAIL bup meta --extract --file ../../testfs/src.meta 2>&1 \
+                | WVPASS grep -e '^POSIX1e ACL applyto:' \
+                | WVPASS python -c \
+                'import sys; exit(not len(sys.stdin.readlines()) == 2)'
+        ) || exit $?
     ) || exit $?
 fi
+
+WVPASS rm -r "$tmpdir"