cmd/server-cmd.py

   1 #!/usr/bin/env python
   2 import os, sys, struct
   3 from bup import options, git
   4 from bup.helpers import *
   5
   6 suspended_w = None
   7 dumb_server_mode = False
   8
   9
  10 def do_help(conn, junk):
  11     conn.write('Commands:\n    %s\n' % '\n    '.join(sorted(commands)))
  12     conn.ok()
  13
  14
  15 def _set_mode():
  16     global dumb_server_mode
  17     dumb_server_mode = os.path.exists(git.repo('bup-dumb-server'))
  18     debug1('bup server: serving in %s mode\n'
  19            % (dumb_server_mode and 'dumb' or 'smart'))
  20
  21
  22 def init_dir(conn, arg):
  23     git.init_repo(arg)
  24     debug1('bup server: bupdir initialized: %r\n' % git.repodir)
  25     _set_mode()
  26     conn.ok()
  27
  28
  29 def set_dir(conn, arg):
  30     git.check_repo_or_die(arg)
  31     debug1('bup server: bupdir is %r\n' % git.repodir)
  32     _set_mode()
  33     conn.ok()
  34
  35
  36 def list_indexes(conn, junk):
  37     git.check_repo_or_die()
  38     suffix = ''
  39     if dumb_server_mode:
  40         suffix = ' load'
  41     for f in os.listdir(git.repo('objects/pack')):
  42         if f.endswith('.idx'):
  43             conn.write('%s%s\n' % (f, suffix))
  44     conn.ok()
  45
  46
  47 def send_index(conn, name):
  48     git.check_repo_or_die()
  49     assert(name.find('/') < 0)
  50     assert(name.endswith('.idx'))
  51     idx = git.open_idx(git.repo('objects/pack/%s' % name))
  52     conn.write(struct.pack('!I', len(idx.map)))
  53     conn.write(idx.map)
  54     conn.ok()
  55
  56
  57 def receive_objects_v2(conn, junk):
  58     global suspended_w
  59     git.check_repo_or_die()
  60     suggested = set()
  61     if suspended_w:
  62         w = suspended_w
  63         suspended_w = None
  64     else:
  65         if dumb_server_mode:
  66             w = git.PackWriter(objcache_maker=None)
  67         else:
  68             w = git.PackWriter()
  69     while 1:
  70         ns = conn.read(4)
  71         if not ns:
  72             w.abort()
  73             raise Exception('object read: expected length header, got EOF\n')
  74         n = struct.unpack('!I', ns)[0]
  75         #debug2('expecting %d bytes\n' % n)
  76         if not n:
  77             debug1('bup server: received %d object%s.\n'
  78                 % (w.count, w.count!=1 and "s" or ''))
  79             fullpath = w.close(run_midx=not dumb_server_mode)
  80             if fullpath:
  81                 (dir, name) = os.path.split(fullpath)
  82                 conn.write('%s.idx\n' % name)
  83             conn.ok()
  84             return
  85         elif n == 0xffffffff:
  86             debug2('bup server: receive-objects suspended.\n')
  87             suspended_w = w
  88             conn.ok()
  89             return
  90
  91         shar = conn.read(20)
  92         crcr = struct.unpack('!I', conn.read(4))[0]
  93         n -= 20 + 4
  94         buf = conn.read(n)  # object sizes in bup are reasonably small
  95         #debug2('read %d bytes\n' % n)
  96         _check(w, n, len(buf), 'object read: expected %d bytes, got %d\n')
  97         if not dumb_server_mode:
  98             oldpack = w.exists(shar, want_source=True)
  99             if oldpack:
 100                 assert(not oldpack == True)
 101                 assert(oldpack.endswith('.idx'))
 102                 (dir,name) = os.path.split(oldpack)
 103                 if not (name in suggested):
 104                     debug1("bup server: suggesting index %s\n" % name)
 105                     debug1("bup server:   because of object %s\n"
 106                            % shar.encode('hex'))
 107                     conn.write('index %s\n' % name)
 108                     suggested.add(name)
 109                 continue
 110         nw, crc = w._raw_write((buf,), sha=shar)
 111         _check(w, crcr, crc, 'object read: expected crc %d, got %d\n')
 112     # NOTREACHED
 113
 114
 115 def _check(w, expected, actual, msg):
 116     if expected != actual:
 117         w.abort()
 118         raise Exception(msg % (expected, actual))
 119
 120
 121 def read_ref(conn, refname):
 122     git.check_repo_or_die()
 123     r = git.read_ref(refname)
 124     conn.write('%s\n' % (r or '').encode('hex'))
 125     conn.ok()
 126
 127
 128 def update_ref(conn, refname):
 129     git.check_repo_or_die()
 130     newval = conn.readline().strip()
 131     oldval = conn.readline().strip()
 132     git.update_ref(refname, newval.decode('hex'), oldval.decode('hex'))
 133     conn.ok()
 134
 135
 136 cat_pipe = None
 137 def cat(conn, id):
 138     global cat_pipe
 139     git.check_repo_or_die()
 140     if not cat_pipe:
 141         cat_pipe = git.CatPipe()
 142     try:
 143         for blob in cat_pipe.join(id):
 144             conn.write(struct.pack('!I', len(blob)))
 145             conn.write(blob)
 146     except KeyError, e:
 147         log('server: error: %s\n' % e)
 148         conn.write('\0\0\0\0')
 149         conn.error(e)
 150     else:
 151         conn.write('\0\0\0\0')
 152         conn.ok()
 153
 154
 155 optspec = """
 156 bup server
 157 """
 158 o = options.Options(optspec)
 159 (opt, flags, extra) = o.parse(sys.argv[1:])
 160
 161 if extra:
 162     o.fatal('no arguments expected')
 163
 164 debug2('bup server: reading from stdin.\n')
 165
 166 commands = {
 167     'quit': None,
 168     'help': do_help,
 169     'init-dir': init_dir,
 170     'set-dir': set_dir,
 171     'list-indexes': list_indexes,
 172     'send-index': send_index,
 173     'receive-objects-v2': receive_objects_v2,
 174     'read-ref': read_ref,
 175     'update-ref': update_ref,
 176     'cat': cat,
 177 }
 178
 179 # FIXME: this protocol is totally lame and not at all future-proof.
 180 # (Especially since we abort completely as soon as *anything* bad happens)
 181 conn = Conn(sys.stdin, sys.stdout)
 182 lr = linereader(conn)
 183 for _line in lr:
 184     line = _line.strip()
 185     if not line:
 186         continue
 187     debug1('bup server: command: %r\n' % line)
 188     words = line.split(' ', 1)
 189     cmd = words[0]
 190     rest = len(words)>1 and words[1] or ''
 191     if cmd == 'quit':
 192         break
 193     else:
 194         cmd = commands.get(cmd)
 195         if cmd:
 196             cmd(conn, rest)
 197         else:
 198             raise Exception('unknown server command: %r\n' % line)
 199
 200 debug1('bup server: done\n')