lib/bup/t/tmetadata.py

   1 import glob, grp, pwd, stat, tempfile, subprocess
   2 import bup.helpers as helpers
   3 from bup import metadata
   4 from bup.helpers import clear_errors, detect_fakeroot, is_superuser
   5 from wvtest import *
   6
   7
   8 top_dir = os.getcwd()
   9
  10
  11 def ex(*cmd):
  12     try:
  13         cmd_str = ' '.join(cmd)
  14         print >> sys.stderr, cmd_str
  15         rc = subprocess.call(cmd)
  16         if rc < 0:
  17             print >> sys.stderr, 'terminated by signal', - rc
  18             sys.exit(1)
  19         elif rc > 0:
  20             print >> sys.stderr, 'returned exit status', rc
  21             sys.exit(1)
  22     except OSError, e:
  23         print >> sys.stderr, 'subprocess call failed:', e
  24         sys.exit(1)
  25
  26
  27 def setup_testfs():
  28     # Set up testfs with user_xattr, etc.
  29     subprocess.call(['umount', 'testfs'])
  30     ex('dd', 'if=/dev/zero', 'of=testfs.img', 'bs=1M', 'count=32')
  31     ex('mke2fs', '-F', '-j', '-m', '0', 'testfs.img')
  32     ex('rm', '-rf', 'testfs')
  33     os.mkdir('testfs')
  34     ex('mount', '-o', 'loop,acl,user_xattr', 'testfs.img', 'testfs')
  35     # Hide, so that tests can't create risks.
  36     os.chown('testfs', 0, 0)
  37     os.chmod('testfs', 0700)
  38
  39
  40 def cleanup_testfs():
  41     subprocess.call(['umount', 'testfs'])
  42     helpers.unlink('testfs.img')
  43
  44
  45 @wvtest
  46 def test_clean_up_archive_path():
  47     cleanup = metadata._clean_up_path_for_archive
  48     WVPASSEQ(cleanup('foo'), 'foo')
  49     WVPASSEQ(cleanup('/foo'), 'foo')
  50     WVPASSEQ(cleanup('///foo'), 'foo')
  51     WVPASSEQ(cleanup('/foo/bar'), 'foo/bar')
  52     WVPASSEQ(cleanup('foo/./bar'), 'foo/bar')
  53     WVPASSEQ(cleanup('/foo/./bar'), 'foo/bar')
  54     WVPASSEQ(cleanup('/foo/./bar/././baz'), 'foo/bar/baz')
  55     WVPASSEQ(cleanup('/foo/./bar///././baz'), 'foo/bar/baz')
  56     WVPASSEQ(cleanup('//./foo/./bar///././baz/.///'), 'foo/bar/baz/')
  57     WVPASSEQ(cleanup('./foo/./.bar'), 'foo/.bar')
  58     WVPASSEQ(cleanup('./foo/.'), 'foo')
  59     WVPASSEQ(cleanup('./foo/..'), '.')
  60     WVPASSEQ(cleanup('//./..//.../..//.'), '.')
  61     WVPASSEQ(cleanup('//./..//..././/.'), '...')
  62     WVPASSEQ(cleanup('/////.'), '.')
  63     WVPASSEQ(cleanup('/../'), '.')
  64     WVPASSEQ(cleanup(''), '.')
  65
  66
  67 @wvtest
  68 def test_risky_path():
  69     risky = metadata._risky_path
  70     WVPASS(risky('/foo'))
  71     WVPASS(risky('///foo'))
  72     WVPASS(risky('/../foo'))
  73     WVPASS(risky('../foo'))
  74     WVPASS(risky('foo/..'))
  75     WVPASS(risky('foo/../'))
  76     WVPASS(risky('foo/../bar'))
  77     WVFAIL(risky('foo'))
  78     WVFAIL(risky('foo/'))
  79     WVFAIL(risky('foo///'))
  80     WVFAIL(risky('./foo'))
  81     WVFAIL(risky('foo/.'))
  82     WVFAIL(risky('./foo/.'))
  83     WVFAIL(risky('foo/bar'))
  84     WVFAIL(risky('foo/./bar'))
  85
  86
  87 @wvtest
  88 def test_clean_up_extract_path():
  89     cleanup = metadata._clean_up_extract_path
  90     WVPASSEQ(cleanup('/foo'), 'foo')
  91     WVPASSEQ(cleanup('///foo'), 'foo')
  92     WVFAIL(cleanup('/../foo'))
  93     WVFAIL(cleanup('../foo'))
  94     WVFAIL(cleanup('foo/..'))
  95     WVFAIL(cleanup('foo/../'))
  96     WVFAIL(cleanup('foo/../bar'))
  97     WVPASSEQ(cleanup('foo'), 'foo')
  98     WVPASSEQ(cleanup('foo/'), 'foo/')
  99     WVPASSEQ(cleanup('foo///'), 'foo///')
 100     WVPASSEQ(cleanup('./foo'), './foo')
 101     WVPASSEQ(cleanup('foo/.'), 'foo/.')
 102     WVPASSEQ(cleanup('./foo/.'), './foo/.')
 103     WVPASSEQ(cleanup('foo/bar'), 'foo/bar')
 104     WVPASSEQ(cleanup('foo/./bar'), 'foo/./bar')
 105     WVPASSEQ(cleanup('/'), '.')
 106     WVPASSEQ(cleanup('./'), './')
 107     WVPASSEQ(cleanup('///foo/bar'), 'foo/bar')
 108     WVPASSEQ(cleanup('///foo/bar'), 'foo/bar')
 109
 110
 111 def _first_err():
 112     if helpers.saved_errors:
 113         return str(helpers.saved_errors[0])
 114     return ''
 115
 116
 117 @wvtest
 118 def test_from_path_error():
 119     if is_superuser() or detect_fakeroot():
 120         return
 121     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 122     try:
 123         path = tmpdir + '/foo'
 124         os.mkdir(path)
 125         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 126         WVPASSEQ(m.path, path)
 127         os.chmod(path, 000)
 128         metadata.from_path(path, archive_path=path, save_symlinks=True)
 129         if metadata.get_linux_file_attr:
 130             WVPASS(len(helpers.saved_errors) == 1)
 131             errmsg = _first_err()
 132             WVPASS(errmsg.startswith('read Linux attr'))
 133             clear_errors()
 134     finally:
 135         subprocess.call(['rm', '-rf', tmpdir])
 136
 137
 138 @wvtest
 139 def test_apply_to_path_restricted_access():
 140     if is_superuser() or detect_fakeroot():
 141         return
 142     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 143     try:
 144         path = tmpdir + '/foo'
 145         os.mkdir(path)
 146         clear_errors()
 147         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 148         WVPASSEQ(m.path, path)
 149         os.chmod(tmpdir, 000)
 150         m.apply_to_path(path)
 151         WVPASS(len(helpers.saved_errors) == 1)
 152         errmsg = _first_err()
 153         WVPASS(errmsg.startswith('utime: '))
 154         clear_errors()
 155     finally:
 156         subprocess.call(['rm', '-rf', tmpdir])
 157
 158
 159 @wvtest
 160 def test_restore_restricted_user_group():
 161     if is_superuser() or detect_fakeroot():
 162         return
 163     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 164     try:
 165         path = tmpdir + '/foo'
 166         os.mkdir(path)
 167         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 168         WVPASSEQ(m.path, path)
 169         WVPASSEQ(m.apply_to_path(path), None)
 170         orig_uid = m.uid
 171         m.uid = 0;
 172         m.apply_to_path(path, restore_numeric_ids=True)
 173         WVPASS(len(helpers.saved_errors) == 1)
 174         errmsg = _first_err()
 175         WVPASS(errmsg.startswith('lchown: '))
 176         clear_errors()
 177         m.uid = orig_uid
 178         m.gid = 0;
 179         m.apply_to_path(path, restore_numeric_ids=True)
 180         WVPASS(len(helpers.saved_errors) == 1)
 181         errmsg = _first_err()
 182         WVPASS(errmsg.startswith('lchown: ') or os.stat(path).st_gid == m.gid)
 183         clear_errors()
 184     finally:
 185         subprocess.call(['rm', '-rf', tmpdir])
 186
 187
 188 @wvtest
 189 def test_restore_nonexistent_user_group():
 190     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 191     try:
 192         path = tmpdir + '/foo'
 193         os.mkdir(path)
 194         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 195         WVPASSEQ(m.path, path)
 196         junk,m.owner = max([(len(x.pw_name), x.pw_name + 'x')
 197                             for x in pwd.getpwall()])
 198         junk,m.group = max([(len(x.gr_name), x.gr_name + 'x')
 199                             for x in grp.getgrall()])
 200         WVPASSEQ(m.apply_to_path(path, restore_numeric_ids=True), None)
 201         WVPASSEQ(os.stat(path).st_uid, m.uid)
 202         WVPASSEQ(os.stat(path).st_gid, m.gid)
 203         WVPASSEQ(m.apply_to_path(path, restore_numeric_ids=False), None)
 204         WVPASSEQ(os.stat(path).st_uid, m.uid)
 205         WVPASSEQ(os.stat(path).st_gid, m.gid)
 206     finally:
 207         subprocess.call(['rm', '-rf', tmpdir])
 208
 209
 210 @wvtest
 211 def test_restore_over_existing_target():
 212     tmpdir = tempfile.mkdtemp(prefix='bup-tmetadata-')
 213     try:
 214         path = tmpdir + '/foo'
 215         os.mkdir(path)
 216         dir_m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 217         os.rmdir(path)
 218         open(path, 'w').close()
 219         file_m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 220         # Restore dir over file.
 221         WVPASSEQ(dir_m.create_path(path, create_symlinks=True), None)
 222         WVPASS(stat.S_ISDIR(os.stat(path).st_mode))
 223         # Restore dir over dir.
 224         WVPASSEQ(dir_m.create_path(path, create_symlinks=True), None)
 225         WVPASS(stat.S_ISDIR(os.stat(path).st_mode))
 226         # Restore file over dir.
 227         WVPASSEQ(file_m.create_path(path, create_symlinks=True), None)
 228         WVPASS(stat.S_ISREG(os.stat(path).st_mode))
 229         # Restore file over file.
 230         WVPASSEQ(file_m.create_path(path, create_symlinks=True), None)
 231         WVPASS(stat.S_ISREG(os.stat(path).st_mode))
 232         # Restore file over non-empty dir.
 233         os.remove(path)
 234         os.mkdir(path)
 235         open(path + '/bar', 'w').close()
 236         WVEXCEPT(Exception, file_m.create_path, path, create_symlinks=True)
 237         # Restore dir over non-empty dir.
 238         os.remove(path + '/bar')
 239         os.mkdir(path + '/bar')
 240         WVEXCEPT(Exception, dir_m.create_path, path, create_symlinks=True)
 241     finally:
 242         subprocess.call(['rm', '-rf', tmpdir])
 243
 244
 245 from bup.metadata import posix1e
 246 if not posix1e:
 247     @wvtest
 248     def POSIX1E_ACL_SUPPORT_IS_MISSING():
 249         pass
 250
 251
 252 from bup.metadata import xattr
 253 if not xattr:
 254     @wvtest
 255     def LINUX_XATTR_SUPPORT_IS_MISSING():
 256         pass
 257 else:
 258     @wvtest
 259     def test_handling_of_incorrect_existing_linux_xattrs():
 260         if not is_superuser():
 261             return
 262         setup_testfs()
 263         for f in glob.glob('testfs/*'):
 264             ex('rm', '-rf', f)
 265         path = 'testfs/foo'
 266         open(path, 'w').close()
 267         xattr.set(path, 'foo', 'bar', namespace=xattr.NS_USER)
 268         m = metadata.from_path(path, archive_path=path, save_symlinks=True)
 269         xattr.set(path, 'baz', 'bax', namespace=xattr.NS_USER)
 270         m.apply_to_path(path, restore_numeric_ids=False)
 271         WVPASSEQ(xattr.list(path), ['user.foo'])
 272         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 273         xattr.set(path, 'foo', 'baz', namespace=xattr.NS_USER)
 274         m.apply_to_path(path, restore_numeric_ids=False)
 275         WVPASSEQ(xattr.list(path), ['user.foo'])
 276         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 277         xattr.remove(path, 'foo', namespace=xattr.NS_USER)
 278         m.apply_to_path(path, restore_numeric_ids=False)
 279         WVPASSEQ(xattr.list(path), ['user.foo'])
 280         WVPASSEQ(xattr.get(path, 'user.foo'), 'bar')
 281         os.chdir(top_dir)
 282         cleanup_testfs()