cmd/bloom-cmd.py

   1 #!/usr/bin/env python
   2 import sys, glob, tempfile
   3 from bup import options, git
   4 from bup.helpers import *
   5
   6 optspec = """
   7 bup bloom [options...]
   8 --
   9 o,output=  output bloom filename (default: auto-generated)
  10 d,dir=     input directory to look for idx files (default: auto-generated)
  11 """
  12
  13 def do_bloom(path, outfilename):
  14     if not outfilename:
  15         assert(path)
  16         outfilename = os.path.join(path, 'bup.bloom')
  17
  18     b = None
  19     if os.path.exists(outfilename):
  20         b = git.ShaBloom(outfilename, readwrite=True)
  21         if not b.valid():
  22             b = None
  23
  24     add = []
  25     rest = []
  26     add_count = 0
  27     rest_count = 0
  28     for name in glob.glob('%s/*.idx' % path):
  29         ix = git.open_idx(name)
  30         ixbase = os.path.basename(name)
  31         if b is not None and ixbase in b.idxnames:
  32             rest.append(ix)
  33             rest_count += len(ix)
  34         else:
  35             add.append(ix)
  36             add_count += len(ix)
  37     total = add_count + rest_count
  38
  39     if not add:
  40         log("bloom: Nothing to do\n")
  41         return
  42
  43     if b is not None:
  44         if len(b) != rest_count:
  45             log("bloom: size %d != idx total %d, regenerating\n"
  46                     % (len(b), rest_count))
  47             b = None
  48         elif b.bits < git.MAX_BLOOM_BITS and \
  49              b.pfalse_positive(add_count) > git.MAX_PFALSE_POSITIVE:
  50             log("bloom: %d more entries => %.2f false positive, regenerating\n"
  51                     % (add_count, b.pfalse_positive(add_count)))
  52             b = None
  53     if b is None: # Need all idxs to build from scratch
  54         add += rest
  55         add_count += rest_count
  56     del rest
  57     del rest_count
  58
  59     msg = b is None and 'creating from' or 'adding'
  60     log('bloom: %s %d files (%d objects).\n' % (msg, len(add), add_count))
  61
  62     tempname = None
  63     if b is None:
  64         tf = tempfile.NamedTemporaryFile(
  65                 dir=path, suffix='bup.bloom', delete=False)
  66         tempname = tf.name
  67         tf.close()
  68         b = git.ShaBloom.create(tempname, readwrite=True, expected=add_count)
  69     count = 0
  70     for ix in add:
  71         progress('Writing bloom: %d/%d\r' % (count, len(add)))
  72         b.add_idx(ix)
  73         count += 1
  74     log('Writing bloom: %d/%d, done.\n' % (count, len(add)))
  75
  76     if tempname:
  77         os.rename(tempname, outfilename)
  78
  79
  80 handle_ctrl_c()
  81
  82 o = options.Options(optspec)
  83 (opt, flags, extra) = o.parse(sys.argv[1:])
  84
  85 if extra:
  86     o.fatal('no positional parameters expected')
  87
  88 git.check_repo_or_die()
  89
  90 do_bloom(opt.dir or git.repo('objects/pack'), opt.output)