lib/bup/t/tvfs.py

   1
   2 from __future__ import print_function
   3 from collections import namedtuple
   4 from errno import ELOOP
   5 from io import BytesIO
   6 from os import environ, symlink
   7 from stat import S_IFDIR, S_IFREG, S_ISDIR, S_ISREG
   8 from sys import stderr
   9 from time import localtime, strftime
  10
  11 from wvtest import *
  12
  13 from bup import git, metadata, vfs2 as vfs
  14 from bup.git import BUP_CHUNKED
  15 from bup.helpers import exc, exo, shstr
  16 from bup.metadata import Metadata
  17 from bup.repo import LocalRepo
  18 from buptest import no_lingering_errors, test_tempdir
  19
  20 top_dir = '../../..'
  21 bup_tmp = os.path.realpath('../../../t/tmp')
  22 bup_path = top_dir + '/bup'
  23 start_dir = os.getcwd()
  24
  25 def ex(cmd, **kwargs):
  26     print(shstr(cmd), file=stderr)
  27     return exc(cmd, **kwargs)
  28
  29 TreeDictValue = namedtuple('TreeDictValue', ('name', 'oid', 'meta'))
  30
  31 def tree_items(repo, oid):
  32     """Yield (name, entry_oid, meta) for each entry in oid.  meta will be
  33     a Metadata object for any non-directories and for '.', otherwise
  34     None.
  35
  36     """
  37     # This is a simpler approach than the one in the vfs, used to
  38     # cross-check its behavior.
  39     tree_data, bupm_oid = vfs.tree_data_and_bupm(repo, oid)
  40     bupm = vfs._FileReader(repo, bupm_oid) if bupm_oid else None
  41     try:
  42         maybe_meta = lambda : Metadata.read(bupm) if bupm else None
  43         m = maybe_meta()
  44         if m:
  45             m.size = 0
  46         yield TreeDictValue(name='.', oid=oid, meta=m)
  47         tree_ents = vfs.ordered_tree_entries(tree_data, bupm=True)
  48         for name, mangled_name, kind, gitmode, sub_oid in tree_ents:
  49             if mangled_name == '.bupm':
  50                 continue
  51             assert name != '.'
  52             if S_ISDIR(gitmode):
  53                 if kind == BUP_CHUNKED:
  54                     yield TreeDictValue(name=name, oid=sub_oid,
  55                                         meta=maybe_meta())
  56                 else:
  57                     yield TreeDictValue(name=name, oid=sub_oid,
  58                                         meta=vfs.default_dir_mode)
  59             else:
  60                 yield TreeDictValue(name=name, oid=sub_oid, meta=maybe_meta())
  61     finally:
  62         if bupm:
  63             bupm.close()
  64
  65 def tree_dict(repo, oid):
  66     return dict((x.name, x) for x in tree_items(repo, oid))
  67
  68 def run_augment_item_meta_tests(repo,
  69                                 file_path, file_size,
  70                                 link_path, link_target):
  71     _, file_item = vfs.resolve(repo, file_path)[-1]
  72     _, link_item = vfs.lresolve(repo, link_path)[-1]
  73     wvpass(isinstance(file_item.meta, Metadata))
  74     wvpass(isinstance(link_item.meta, Metadata))
  75     # Note: normally, modifying item.meta values is forbidden
  76     file_item.meta.size = file_item.meta.size or vfs.item_size(repo, file_item)
  77     link_item.meta.size = link_item.meta.size or vfs.item_size(repo, link_item)
  78
  79     ## Ensure a fully populated item is left alone
  80     augmented = vfs.augment_item_meta(repo, file_item)
  81     wvpass(augmented is file_item)
  82     wvpass(augmented.meta is file_item.meta)
  83     augmented = vfs.augment_item_meta(repo, file_item, include_size=True)
  84     wvpass(augmented is file_item)
  85     wvpass(augmented.meta is file_item.meta)
  86
  87     ## Ensure a missing size is handled poperly
  88     file_item.meta.size = None
  89     augmented = vfs.augment_item_meta(repo, file_item)
  90     wvpass(augmented is file_item)
  91     wvpass(augmented.meta is file_item.meta)
  92     augmented = vfs.augment_item_meta(repo, file_item, include_size=True)
  93     wvpass(augmented is not file_item)
  94     wvpasseq(file_size, augmented.meta.size)
  95
  96     ## Ensure a meta mode is handled properly
  97     mode_item = file_item._replace(meta=vfs.default_file_mode)
  98     augmented = vfs.augment_item_meta(repo, mode_item)
  99     augmented_w_size = vfs.augment_item_meta(repo, mode_item, include_size=True)
 100     for item in (augmented, augmented_w_size):
 101         meta = item.meta
 102         wvpass(item is not file_item)
 103         wvpass(isinstance(meta, Metadata))
 104         wvpasseq(vfs.default_file_mode, meta.mode)
 105         wvpasseq((0, 0, 0, 0, 0),
 106                  (meta.uid, meta.gid, meta.atime, meta.mtime, meta.ctime))
 107     wvpass(augmented.meta.size is None)
 108     wvpasseq(file_size, augmented_w_size.meta.size)
 109
 110     ## Ensure symlinks are handled properly
 111     mode_item = link_item._replace(meta=vfs.default_symlink_mode)
 112     augmented = vfs.augment_item_meta(repo, mode_item)
 113     wvpass(augmented is not mode_item)
 114     wvpass(isinstance(augmented.meta, Metadata))
 115     wvpasseq(link_target, augmented.meta.symlink_target)
 116     wvpasseq(len(link_target), augmented.meta.size)
 117     augmented = vfs.augment_item_meta(repo, mode_item, include_size=True)
 118     wvpass(augmented is not mode_item)
 119     wvpass(isinstance(augmented.meta, Metadata))
 120     wvpasseq(link_target, augmented.meta.symlink_target)
 121     wvpasseq(len(link_target), augmented.meta.size)
 122
 123
 124 @wvtest
 125 def test_item_mode():
 126     with no_lingering_errors():
 127         mode = S_IFDIR | 0o755
 128         meta = metadata.from_path('.')
 129         oid = '\0' * 20
 130         wvpasseq(mode, vfs.item_mode(vfs.Item(oid=oid, meta=mode)))
 131         wvpasseq(meta.mode, vfs.item_mode(vfs.Item(oid=oid, meta=meta)))
 132
 133 @wvtest
 134 def test_reverse_suffix_duplicates():
 135     suffix = lambda x: tuple(vfs._reverse_suffix_duplicates(x))
 136     wvpasseq(('x',), suffix(('x',)))
 137     wvpasseq(('x', 'y'), suffix(('x', 'y')))
 138     wvpasseq(('x-1', 'x-0'), suffix(('x',) * 2))
 139     wvpasseq(['x-%02d' % n for n in reversed(range(11))],
 140              list(suffix(('x',) * 11)))
 141     wvpasseq(('x-1', 'x-0', 'y'), suffix(('x', 'x', 'y')))
 142     wvpasseq(('x', 'y-1', 'y-0'), suffix(('x', 'y', 'y')))
 143     wvpasseq(('x', 'y-1', 'y-0', 'z'), suffix(('x', 'y', 'y', 'z')))
 144
 145 @wvtest
 146 def test_misc():
 147     with no_lingering_errors():
 148         with test_tempdir('bup-tvfs-') as tmpdir:
 149             bup_dir = tmpdir + '/bup'
 150             environ['GIT_DIR'] = bup_dir
 151             environ['BUP_DIR'] = bup_dir
 152             git.repodir = bup_dir
 153             data_path = tmpdir + '/src'
 154             os.mkdir(data_path)
 155             with open(data_path + '/file', 'w+') as tmpfile:
 156                 tmpfile.write(b'canary\n')
 157             symlink('file', data_path + '/symlink')
 158             ex((bup_path, 'init'))
 159             ex((bup_path, 'index', '-v', data_path))
 160             ex((bup_path, 'save', '-d', '100000', '-tvvn', 'test', '--strip',
 161                 data_path))
 162             repo = LocalRepo()
 163
 164             wvstart('readlink')
 165             ls_tree = exo(('git', 'ls-tree', 'test', 'symlink'))
 166             mode, typ, oidx, name = ls_tree[0].strip().split(None, 3)
 167             assert name == 'symlink'
 168             link_item = vfs.Item(oid=oidx.decode('hex'), meta=int(mode, 8))
 169             wvpasseq('file', vfs.readlink(repo, link_item))
 170
 171             ls_tree = exo(('git', 'ls-tree', 'test', 'file'))
 172             mode, typ, oidx, name = ls_tree[0].strip().split(None, 3)
 173             assert name == 'file'
 174             file_item = vfs.Item(oid=oidx.decode('hex'), meta=int(mode, 8))
 175             wvexcept(Exception, vfs.readlink, repo, file_item)
 176
 177             wvstart('item_size')
 178             wvpasseq(4, vfs.item_size(repo, link_item))
 179             wvpasseq(7, vfs.item_size(repo, file_item))
 180             meta = metadata.from_path(__file__)
 181             meta.size = 42
 182             fake_item = file_item._replace(meta=meta)
 183             wvpasseq(42, vfs.item_size(repo, fake_item))
 184
 185             wvstart('augment_item_meta')
 186             run_augment_item_meta_tests(repo,
 187                                         '/test/latest/file', 7,
 188                                         '/test/latest/symlink', 'file')
 189
 190             wvstart('copy_item')
 191             # FIXME: this caused StopIteration
 192             #_, file_item = vfs.resolve(repo, '/file')[-1]
 193             _, file_item = vfs.resolve(repo, '/test/latest/file')[-1]
 194             file_copy = vfs.copy_item(file_item)
 195             wvpass(file_copy is not file_item)
 196             wvpass(file_copy.meta is not file_item.meta)
 197             wvpass(isinstance(file_copy, tuple))
 198             wvpass(file_item.meta.user)
 199             wvpass(file_copy.meta.user)
 200             file_copy.meta.user = None
 201             wvpass(file_item.meta.user)
 202
 203 @wvtest
 204 def test_resolve():
 205     with no_lingering_errors():
 206         with test_tempdir('bup-tvfs-') as tmpdir:
 207             resolve = vfs.resolve
 208             lresolve = vfs.lresolve
 209             bup_dir = tmpdir + '/bup'
 210             environ['GIT_DIR'] = bup_dir
 211             environ['BUP_DIR'] = bup_dir
 212             git.repodir = bup_dir
 213             data_path = tmpdir + '/src'
 214             save_time = 100000
 215             save_time_str = strftime('%Y-%m-%d-%H%M%S', localtime(save_time))
 216             os.mkdir(data_path)
 217             with open(data_path + '/file', 'w+') as tmpfile:
 218                 print('canary', file=tmpfile)
 219             symlink('file', data_path + '/symlink')
 220             ex((bup_path, 'init'))
 221             ex((bup_path, 'index', '-v', data_path))
 222             ex((bup_path, 'save', '-d', str(save_time), '-tvvn', 'test',
 223                 '--strip', data_path))
 224             ex((bup_path, 'tag', 'test-tag', 'test'))
 225             repo = LocalRepo()
 226
 227             tip_hash = exo(('git', 'show-ref', 'refs/heads/test'))[0]
 228             tip_oidx = tip_hash.strip().split()[0]
 229             tip_oid = tip_oidx.decode('hex')
 230             tip_tree_oidx = exo(('git', 'log', '--pretty=%T', '-n1',
 231                                  tip_oidx))[0].strip()
 232             tip_tree_oid = tip_tree_oidx.decode('hex')
 233             tip_tree = tree_dict(repo, tip_tree_oid)
 234             test_revlist = vfs.RevList(meta=S_IFDIR | 0o755, oid=tip_oid)
 235             test_revlist_w_meta = vfs.RevList(meta=tip_tree['.'].meta,
 236                                               oid=tip_oid)
 237             expected_latest_item = vfs.Commit(meta=S_IFDIR | 0o755,
 238                                               oid=tip_tree_oid,
 239                                               coid=tip_oid)
 240             expected_test_tag_item = expected_latest_item
 241
 242             wvstart('resolve: /')
 243             res = resolve(repo, '/')
 244             wvpasseq(1, len(res))
 245             wvpasseq((('', vfs._root),), res)
 246             ignore, root_item = res[0]
 247             root_content = frozenset(vfs.contents(repo, root_item))
 248             wvpasseq(frozenset([('.', root_item),
 249                                 ('.tag', vfs._tags),
 250                                 ('test', test_revlist)]),
 251                      root_content)
 252
 253             wvstart('resolve: /.tag')
 254             res = resolve(repo, '/.tag')
 255             wvpasseq(2, len(res))
 256             wvpasseq((('', vfs._root), ('.tag', vfs._tags)),
 257                      res)
 258             ignore, tag_item = res[1]
 259             tag_content = frozenset(vfs.contents(repo, tag_item))
 260             wvpasseq(frozenset([('.', tag_item),
 261                                 ('test-tag', expected_test_tag_item)]),
 262                      tag_content)
 263
 264             wvstart('resolve: /test')
 265             res = resolve(repo, '/test')
 266             wvpasseq(2, len(res))
 267             wvpasseq((('', vfs._root), ('test', test_revlist)), res)
 268             ignore, test_item = res[1]
 269             test_content = frozenset(vfs.contents(repo, test_item))
 270             wvpasseq(frozenset([('.', test_revlist_w_meta),
 271                                 (save_time_str, expected_latest_item),
 272                                 ('latest', expected_latest_item)]),
 273                      test_content)
 274
 275             wvstart('resolve: /test/latest')
 276             res = resolve(repo, '/test/latest')
 277             wvpasseq(3, len(res))
 278             expected_latest_item_w_meta = vfs.Commit(meta=tip_tree['.'].meta,
 279                                                      oid=tip_tree_oid,
 280                                                      coid=tip_oid)
 281             expected = (('', vfs._root),
 282                         ('test', test_revlist),
 283                         ('latest', expected_latest_item_w_meta))
 284             wvpasseq(expected, res)
 285             ignore, latest_item = res[2]
 286             latest_content = frozenset(vfs.contents(repo, latest_item))
 287             expected = frozenset((x.name, vfs.Item(oid=x.oid, meta=x.meta))
 288                                  for x in (tip_tree[name]
 289                                            for name in ('.', 'file',
 290                                                         'symlink')))
 291             wvpasseq(expected, latest_content)
 292
 293             wvstart('resolve: /test/latest/foo')
 294             res = resolve(repo, '/test/latest/file')
 295             wvpasseq(4, len(res))
 296             expected_file_item_w_meta = vfs.Item(meta=tip_tree['file'].meta,
 297                                                  oid=tip_tree['file'].oid)
 298             expected = (('', vfs._root),
 299                         ('test', test_revlist),
 300                         ('latest', expected_latest_item_w_meta),
 301                         ('file', expected_file_item_w_meta))
 302             wvpasseq(expected, res)
 303
 304             wvstart('resolve: /test/latest/symlink')
 305             res = resolve(repo, '/test/latest/symlink')
 306             wvpasseq(4, len(res))
 307             expected = (('', vfs._root),
 308                         ('test', test_revlist),
 309                         ('latest', expected_latest_item_w_meta),
 310                         ('file', expected_file_item_w_meta))
 311             wvpasseq(expected, res)
 312
 313             wvstart('lresolve: /test/latest/symlink')
 314             res = lresolve(repo, '/test/latest/symlink')
 315             wvpasseq(4, len(res))
 316             symlink_value = tip_tree['symlink']
 317             expected_symlink_item_w_meta = vfs.Item(meta=symlink_value.meta,
 318                                                     oid=symlink_value.oid)
 319             expected = (('', vfs._root),
 320                         ('test', test_revlist),
 321                         ('latest', expected_latest_item_w_meta),
 322                         ('symlink', expected_symlink_item_w_meta))
 323             wvpasseq(expected, res)
 324
 325             wvstart('resolve: /test/latest/missing')
 326             res = resolve(repo, '/test/latest/missing')
 327             wvpasseq(4, len(res))
 328             name, item = res[-1]
 329             wvpasseq('missing', name)
 330             wvpass(item is None)
 331
 332 @wvtest
 333 def test_resolve_loop():
 334     with no_lingering_errors():
 335         with test_tempdir('bup-tvfs-resloop-') as tmpdir:
 336             resolve = vfs.resolve
 337             lresolve = vfs.lresolve
 338             bup_dir = tmpdir + '/bup'
 339             environ['GIT_DIR'] = bup_dir
 340             environ['BUP_DIR'] = bup_dir
 341             git.repodir = bup_dir
 342             repo = LocalRepo()
 343             data_path = tmpdir + '/src'
 344             os.mkdir(data_path)
 345             symlink('loop', data_path + '/loop')
 346             ex((bup_path, 'init'))
 347             ex((bup_path, 'index', '-v', data_path))
 348             ex((bup_path, 'save', '-d', '100000', '-tvvn', 'test', '--strip',
 349                 data_path))
 350             try:
 351                 resolve(repo, '/test/latest/loop')
 352             except vfs.IOError as res_ex:
 353                 wvpasseq(ELOOP, res_ex.errno)
 354                 wvpasseq(['', 'test', 'latest', 'loop'],
 355                          [name for name, item in res_ex.terminus])
 356
 357 @wvtest
 358 def test_contents_with_mismatched_bupm_git_ordering():
 359     with no_lingering_errors():
 360         with test_tempdir('bup-tvfs-') as tmpdir:
 361             bup_dir = tmpdir + '/bup'
 362             environ['GIT_DIR'] = bup_dir
 363             environ['BUP_DIR'] = bup_dir
 364             git.repodir = bup_dir
 365             data_path = tmpdir + '/src'
 366             os.mkdir(data_path)
 367             os.mkdir(data_path + '/foo')
 368             with open(data_path + '/foo.', 'w+') as tmpfile:
 369                 tmpfile.write(b'canary\n')
 370             ex((bup_path, 'init'))
 371             ex((bup_path, 'index', '-v', data_path))
 372             ex((bup_path, 'save', '-tvvn', 'test', '--strip',
 373                 data_path))
 374             repo = LocalRepo()
 375             tip_sref = exo(('git', 'show-ref', 'refs/heads/test'))[0]
 376             tip_oidx = tip_sref.strip().split()[0]
 377             tip_tree_oidx = exo(('git', 'log', '--pretty=%T', '-n1',
 378                                  tip_oidx))[0].strip()
 379             tip_tree_oid = tip_tree_oidx.decode('hex')
 380             tip_tree = tree_dict(repo, tip_tree_oid)
 381
 382             name, item = vfs.resolve(repo, '/test/latest')[2]
 383             wvpasseq('latest', name)
 384             expected = frozenset((x.name, vfs.Item(oid=x.oid, meta=x.meta))
 385                                  for x in (tip_tree[name]
 386                                            for name in ('.', 'foo', 'foo.')))
 387             contents = tuple(vfs.contents(repo, item))
 388             wvpasseq(expected, frozenset(contents))
 389             # Spot check, in case tree_dict shares too much code with the vfs
 390             name, item = next(((n, i) for n, i in contents if n == 'foo'))
 391             wvpass(S_ISDIR(item.meta))
 392             name, item = next(((n, i) for n, i in contents if n == 'foo.'))
 393             wvpass(S_ISREG(item.meta.mode))
 394
 395 @wvtest
 396 def test_duplicate_save_dates():
 397     with no_lingering_errors():
 398         with test_tempdir('bup-tvfs-') as tmpdir:
 399             bup_dir = tmpdir + '/bup'
 400             environ['GIT_DIR'] = bup_dir
 401             environ['BUP_DIR'] = bup_dir
 402             environ['TZ'] = 'UTC'
 403             git.repodir = bup_dir
 404             data_path = tmpdir + '/src'
 405             os.mkdir(data_path)
 406             with open(data_path + '/file', 'w+') as tmpfile:
 407                 tmpfile.write(b'canary\n')
 408             ex((bup_path, 'init'))
 409             ex((bup_path, 'index', '-v', data_path))
 410             for i in range(11):
 411                 ex((bup_path, 'save', '-d', '100000', '-n', 'test', data_path))
 412             repo = LocalRepo()
 413             res = vfs.resolve(repo, '/test')
 414             wvpasseq(2, len(res))
 415             name, revlist = res[-1]
 416             wvpasseq('test', name)
 417             wvpasseq(('.',
 418                       '1970-01-02-034640-00',
 419                       '1970-01-02-034640-01',
 420                       '1970-01-02-034640-02',
 421                       '1970-01-02-034640-03',
 422                       '1970-01-02-034640-04',
 423                       '1970-01-02-034640-05',
 424                       '1970-01-02-034640-06',
 425                       '1970-01-02-034640-07',
 426                       '1970-01-02-034640-08',
 427                       '1970-01-02-034640-09',
 428                       '1970-01-02-034640-10',
 429                       'latest'),
 430                      tuple(sorted(x[0] for x in vfs.contents(repo, revlist))))
 431
 432 # FIXME: add tests for the want_meta=False cases.