lib/bup/t/tmetadata.py

   1 import glob, grp, pwd, stat, tempfile, subprocess
   2 import bup.helpers as helpers
   3 from bup import git, metadata, vfs
   4 from bup.helpers import clear_errors, detect_fakeroot, is_superuser
   5 from wvtest import *
   6 from bup.xstat import utime, lutime
   7
   8
   9 top_dir = '../../..'
  10 bup_path = top_dir + '/bup'
  11 start_dir = os.getcwd()
  12
  13
  14 def ex(*cmd):
  15     try:
  16         cmd_str = ' '.join(cmd)
  17         print >> sys.stderr, cmd_str
  18         rc = subprocess.call(cmd)
  19         if rc < 0:
  20             print >> sys.stderr, 'terminated by signal', - rc
  21             sys.exit(1)
  22         elif rc > 0:
  23             print >> sys.stderr, 'returned exit status', rc
  24             sys.exit(1)
  25     except OSError, e:
  26         print >> sys.stderr, 'subprocess call failed:', e
  27         sys.exit(1)
  28
  29
  30 def setup_testfs():
  31     # Set up testfs with user_xattr, etc.
  32     subprocess.call(['umount', 'testfs'])
  33     ex('dd', 'if=/dev/zero', 'of=testfs.img', 'bs=1M', 'count=32')
  34     ex('mke2fs', '-F', '-j', '-m', '0', 'testfs.img')
  35     ex('rm', '-rf', 'testfs')
  36     os.mkdir('testfs')
  37     ex('mount', '-o', 'loop,acl,user_xattr', 'testfs.img', 'testfs')
  38     # Hide, so that tests can't create risks.
  39     os.chown('testfs', 0, 0)
  40     os.chmod('testfs', 0700)
  41
  42
  43 def cleanup_testfs():
  44     subprocess.call(['umount', 'testfs'])
  45     helpers.unlink('testfs.img')
  46
  47
  48 @wvtest
  49 def test_clean_up_archive_path():
  50     cleanup = metadata._clean_up_path_for_archive
  51     WVPASSEQ(cleanup('foo'), 'foo')
  52     WVPASSEQ(cleanup('/foo'), 'foo')
  53     WVPASSEQ(cleanup('///foo'), 'foo')
  54     WVPASSEQ(cleanup('/foo/bar'), 'foo/bar')
  55     WVPASSEQ(cleanup('foo/./bar'), 'foo/bar')
  56     WVPASSEQ(cleanup('/foo/./bar'), 'foo/bar')
  57     WVPASSEQ(cleanup('/foo/./bar/././baz'), 'foo/bar/baz')
  58     WVPASSEQ(cleanup('/foo/./bar///././baz'), 'foo/bar/baz')
  59     WVPASSEQ(cleanup('//./foo/./bar///././baz/.///'), 'foo/bar/baz/')
  60     WVPASSEQ(cleanup('./foo/./.bar'), 'foo/.bar')
  61     WVPASSEQ(cleanup('./foo/.'), 'foo')
  62     WVPASSEQ(cleanup('./foo/..'), '.')
  63     WVPASSEQ(cleanup('//./..//.../..//.'), '.')
  64     WVPASSEQ(cleanup('//./..//..././/.'), '...')
  65     WVPASSEQ(cleanup('/////.'), '.')
  66     WVPASSEQ(cleanup('/../'), '.')
  67     WVPASSEQ(cleanup(''), '.')
  68
  69
  70 @wvtest
  71 def test_risky_path():
  72     risky = metadata._risky_path
  73     WVPASS(risky('/foo'))
  74     WVPASS(risky('///foo'))
  75     WVPASS(risky('/../foo'))
  76     WVPASS(risky('../foo'))
  77     WVPASS(risky('foo/..'))
  78     WVPASS(risky('foo/../'))
  79     WVPASS(risky('foo/../bar'))
  80     WVFAIL(risky('foo'))
  81     WVFAIL(risky('foo/'))
  82     WVFAIL(risky('foo///'))
  83     WVFAIL(risky('./foo'))
  84     WVFAIL(risky('foo/.'))
  85     WVFAIL(risky('./foo/.'))
  86     WVFAIL(risky('foo/bar'))
  87     WVFAIL(risky('foo/./bar'))
  88
  89
  90 @wvtest
  91 def test_clean_up_extract_path():
  92     cleanup = metadata._clean_up_extract_path
  93     WVPASSEQ(cleanup('/foo'), 'foo')
  94     WVPASSEQ(cleanup('///foo'), 'foo')
  95     WVFAIL(cleanup('/../foo'))
  96     WVFAIL(cleanup('../foo'))
  97     WVFAIL(cleanup('foo/..'))
  98     WVFAIL(cleanup('foo/../'))
  99     WVFAIL(cleanup('foo/../bar'))
 100     WVPASSEQ(cleanup('foo'), 'foo')
 101     WVPASSEQ(cleanup('foo/'), 'foo/')
 102     WVPASSEQ(cleanup('foo///'), 'foo///')
 103     WVPASSEQ(cleanup('./foo'), './foo')
 104     WVPASSEQ(cleanup('foo/.'), 'foo/.')
 105     WVPASSEQ(cleanup('./foo/.'), './foo/.')
 106     WVPASSEQ(cleanup('foo/bar'), 'foo/bar')
 107     WVPASSEQ(cleanup('foo/./bar'), 'foo/./bar')
 108     WVPASSEQ(cleanup('/'), '.')
 109     WVPASSEQ(cleanup('./'), './')
 110     WVPASSEQ(cleanup('///foo/bar'), 'foo/bar')
 111     WVPASSEQ(cleanup('///foo/bar'), 'foo/bar')
 112
 113
 114 @wvtest
 115 def test_metadata_method():
 116     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 117     try:
 118         bup_dir = tmpdir + '/bup'
 119         data_path = tmpdir + '/foo'
 120         os.mkdir(data_path)
 121         ex('touch', data_path + '/file')
 122         ex('ln', '-s', 'file', data_path + '/symlink')
 123         test_time1 = 13 * 1000000000
 124         test_time2 = 42 * 1000000000
 125         utime(data_path + '/file', (0, test_time1))
 126         lutime(data_path + '/symlink', (0, 0))
 127         utime(data_path, (0, test_time2))
 128         ex(bup_path, '-d', bup_dir, 'init')
 129         ex(bup_path, '-d', bup_dir, 'index', '-v', data_path)
 130         ex(bup_path, '-d', bup_dir, 'save', '-tvvn', 'test', data_path)
 131         git.check_repo_or_die(bup_dir)
 132         top = vfs.RefList(None)
 133         n = top.lresolve('/test/latest' + data_path)
 134         m = n.metadata()
 135         WVPASS(m.mtime == test_time2)
 136         WVPASS(len(n.subs()) == 2)
 137         WVPASS(n.name == 'foo')
 138         WVPASS(set([x.name for x in n.subs()]) == set(['file', 'symlink']))
 139         for sub in n:
 140             if sub.name == 'file':
 141                 m = sub.metadata()
 142                 WVPASS(m.mtime == test_time1)
 143             elif sub.name == 'symlink':
 144                 m = sub.metadata()
 145                 WVPASS(m.mtime == 0)
 146     finally:
 147         subprocess.call(['rm', '-rf', tmpdir])
 148
 149
 150 def _first_err():
 151     if helpers.saved_errors:
 152         return str(helpers.saved_errors[0])
 153     return ''
 154
 155
 156 @wvtest
 157 def test_from_path_error():
 158     if is_superuser() or detect_fakeroot():
 159         return
 160     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 161     try:
 162         path = tmpdir + '/foo'
 163         os.mkdir(path)
 164         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 165         WVPASSEQ(m.path, path)
 166         os.chmod(path, 000)
 167         metadata.from_path(path, archive_path=path, save_symlinks=True)
 168         if metadata.get_linux_file_attr:
 169             WVPASS(len(helpers.saved_errors) == 1)
 170             errmsg = _first_err()
 171             WVPASS(errmsg.startswith('read Linux attr'))
 172             clear_errors()
 173     finally:
 174         subprocess.call(['rm', '-rf', tmpdir])
 175
 176
 177 @wvtest
 178 def test_apply_to_path_restricted_access():
 179     if is_superuser() or detect_fakeroot():
 180         return
 181     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 182     try:
 183         path = tmpdir + '/foo'
 184         os.mkdir(path)
 185         clear_errors()
 186         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 187         WVPASSEQ(m.path, path)
 188         os.chmod(tmpdir, 000)
 189         m.apply_to_path(path)
 190         WVPASS(len(helpers.saved_errors) == 1)
 191         errmsg = _first_err()
 192         WVPASS(errmsg.startswith('utime: '))
 193         clear_errors()
 194     finally:
 195         subprocess.call(['rm', '-rf', tmpdir])
 196
 197
 198 @wvtest
 199 def test_restore_over_existing_target():
 200     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 201     try:
 202         path = tmpdir + '/foo'
 203         os.mkdir(path)
 204         dir_m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 205         os.rmdir(path)
 206         open(path, 'w').close()
 207         file_m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 208         # Restore dir over file.
 209         WVPASSEQ(dir_m.create_path(path, create_symlinks=True), None)
 210         WVPASS(stat.S_ISDIR(os.stat(path).st_mode))
 211         # Restore dir over dir.
 212         WVPASSEQ(dir_m.create_path(path, create_symlinks=True), None)
 213         WVPASS(stat.S_ISDIR(os.stat(path).st_mode))
 214         # Restore file over dir.
 215         WVPASSEQ(file_m.create_path(path, create_symlinks=True), None)
 216         WVPASS(stat.S_ISREG(os.stat(path).st_mode))
 217         # Restore file over file.
 218         WVPASSEQ(file_m.create_path(path, create_symlinks=True), None)
 219         WVPASS(stat.S_ISREG(os.stat(path).st_mode))
 220         # Restore file over non-empty dir.
 221         os.remove(path)
 222         os.mkdir(path)
 223         open(path + '/bar', 'w').close()
 224         WVEXCEPT(Exception, file_m.create_path, path, create_symlinks=True)
 225         # Restore dir over non-empty dir.
 226         os.remove(path + '/bar')
 227         os.mkdir(path + '/bar')
 228         WVEXCEPT(Exception, dir_m.create_path, path, create_symlinks=True)
 229     finally:
 230         subprocess.call(['rm', '-rf', tmpdir])
 231
 232
 233 from bup.metadata import posix1e
 234 if not posix1e:
 235     @wvtest
 236     def POSIX1E_ACL_SUPPORT_IS_MISSING():
 237         pass
 238
 239
 240 from bup.metadata import xattr
 241 if not xattr:
 242     @wvtest
 243     def LINUX_XATTR_SUPPORT_IS_MISSING():
 244         pass
 245 else:
 246     @wvtest
 247     def test_handling_of_incorrect_existing_linux_xattrs():
 248         if not is_superuser():
 249             return
 250         setup_testfs()
 251         for f in glob.glob('testfs/*'):
 252             ex('rm', '-rf', f)
 253         path = 'testfs/foo'
 254         open(path, 'w').close()
 255         xattr.set(path, 'foo', 'bar', namespace=xattr.NS_USER)
 256         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 257         xattr.set(path, 'baz', 'bax', namespace=xattr.NS_USER)
 258         m.apply_to_path(path, restore_numeric_ids=False)
 259         WVPASSEQ(xattr.list(path), ['user.foo'])
 260         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 261         xattr.set(path, 'foo', 'baz', namespace=xattr.NS_USER)
 262         m.apply_to_path(path, restore_numeric_ids=False)
 263         WVPASSEQ(xattr.list(path), ['user.foo'])
 264         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 265         xattr.remove(path, 'foo', namespace=xattr.NS_USER)
 266         m.apply_to_path(path, restore_numeric_ids=False)
 267         WVPASSEQ(xattr.list(path), ['user.foo'])
 268         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 269         os.chdir(start_dir)
 270         cleanup_testfs()