lib/bup/cmd/web.py

   1
   2 from __future__ import absolute_import, print_function
   3 from collections import namedtuple
   4 import mimetypes, os, posixpath, signal, stat, sys, time, webbrowser
   5 from binascii import hexlify
   6
   7
   8 from bup import options, git, vfs
   9 from bup.helpers import (chunkyreader, debug1, format_filesize,
  10                          log, saved_errors)
  11 from bup.path import resource_path
  12 from bup.repo import LocalRepo
  13 from bup.io import path_msg
  14
  15 try:
  16     from tornado import gen
  17     from tornado.httpserver import HTTPServer
  18     from tornado.ioloop import IOLoop
  19     from tornado.netutil import bind_unix_socket
  20     import tornado.web
  21 except ImportError:
  22     log('error: cannot find the python "tornado" module; please install it\n')
  23     sys.exit(1)
  24
  25
  26 # FIXME: right now the way hidden files are handled causes every
  27 # directory to be traversed twice.
  28
  29
  30 def http_date_from_utc_ns(utc_ns):
  31     return time.strftime('%a, %d %b %Y %H:%M:%S', time.gmtime(utc_ns / 10**9))
  32
  33
  34 def _compute_breadcrumbs(path, show_hidden=False):
  35     """Returns a list of breadcrumb objects for a path."""
  36     breadcrumbs = []
  37     breadcrumbs.append((b'[root]', b'/'))
  38     path_parts = path.split(b'/')[1:-1]
  39     full_path = b'/'
  40     for part in path_parts:
  41         full_path += part + b"/"
  42         url_append = b""
  43         if show_hidden:
  44             url_append = b'?hidden=1'
  45         breadcrumbs.append((part, full_path+url_append))
  46     return breadcrumbs
  47
  48
  49 def _contains_hidden_files(repo, dir_item):
  50     """Return true if the directory contains items with names other than
  51     '.' and '..' that begin with '.'
  52
  53     """
  54     for name, item in vfs.contents(repo, dir_item, want_meta=False):
  55         if name in (b'.', b'..'):
  56             continue
  57         if name.startswith(b'.'):
  58             return True
  59     return False
  60
  61
  62 def _dir_contents(repo, resolution, show_hidden=False):
  63     """Yield the display information for the contents of dir_item."""
  64
  65     url_query = b'?hidden=1' if show_hidden else b''
  66
  67     def display_info(name, item, resolved_item, display_name=None):
  68         global opt
  69         # link should be based on fully resolved type to avoid extra
  70         # HTTP redirect.
  71         link = tornado.escape.url_escape(name, plus=False)
  72         if stat.S_ISDIR(vfs.item_mode(resolved_item)):
  73             link += '/'
  74         link = link.encode('ascii')
  75
  76         size = vfs.item_size(repo, item)
  77         if opt.human_readable:
  78             display_size = format_filesize(size)
  79         else:
  80             display_size = size
  81
  82         if not display_name:
  83             mode = vfs.item_mode(item)
  84             if stat.S_ISDIR(mode):
  85                 display_name = name + b'/'
  86             elif stat.S_ISLNK(mode):
  87                 display_name = name + b'@'
  88             else:
  89                 display_name = name
  90
  91         return display_name, link + url_query, display_size
  92
  93     dir_item = resolution[-1][1]
  94     for name, item in vfs.contents(repo, dir_item):
  95         if not show_hidden:
  96             if (name not in (b'.', b'..')) and name.startswith(b'.'):
  97                 continue
  98         if name == b'.':
  99             parent_item = resolution[-2][1] if len(resolution) > 1 else dir_item
 100             yield display_info(b'..', parent_item, parent_item, b'..')
 101             continue
 102         res_item = vfs.ensure_item_has_metadata(repo, item, include_size=True)
 103         yield display_info(name, item, res_item)
 104
 105
 106 class BupRequestHandler(tornado.web.RequestHandler):
 107
 108     def initialize(self, repo=None):
 109         self.repo = repo
 110
 111     def decode_argument(self, value, name=None):
 112         if name == 'path':
 113             return value
 114         return super(BupRequestHandler, self).decode_argument(value, name)
 115
 116     def get(self, path):
 117         return self._process_request(path)
 118
 119     def head(self, path):
 120         return self._process_request(path)
 121
 122     def _process_request(self, path):
 123         print('Handling request for %s' % path)
 124         sys.stdout.flush()
 125         # Set want_meta because dir metadata won't be fetched, and if
 126         # it's not a dir, then we're going to want the metadata.
 127         res = vfs.resolve(self.repo, path, want_meta=True)
 128         leaf_name, leaf_item = res[-1]
 129         if not leaf_item:
 130             self.send_error(404)
 131             return
 132         mode = vfs.item_mode(leaf_item)
 133         if stat.S_ISDIR(mode):
 134             self._list_directory(path, res)
 135         else:
 136             self._get_file(self.repo, path, res)
 137
 138     def _list_directory(self, path, resolution):
 139         """Helper to produce a directory listing.
 140
 141         Return value is either a file object, or None (indicating an
 142         error).  In either case, the headers are sent.
 143         """
 144         if not path.endswith(b'/') and len(path) > 0:
 145             print('Redirecting from %s to %s' % (path_msg(path), path_msg(path + b'/')))
 146             return self.redirect(path + b'/', permanent=True)
 147
 148         hidden_arg = self.request.arguments.get('hidden', [0])[-1]
 149         try:
 150             show_hidden = int(hidden_arg)
 151         except ValueError as e:
 152             show_hidden = False
 153
 154         self.render(
 155             'list-directory.html',
 156             path=path,
 157             breadcrumbs=_compute_breadcrumbs(path, show_hidden),
 158             files_hidden=_contains_hidden_files(self.repo, resolution[-1][1]),
 159             hidden_shown=show_hidden,
 160             dir_contents=_dir_contents(self.repo, resolution,
 161                                        show_hidden=show_hidden))
 162         return None
 163
 164     @gen.coroutine
 165     def _get_file(self, repo, path, resolved):
 166         """Process a request on a file.
 167
 168         Return value is either a file object, or None (indicating an error).
 169         In either case, the headers are sent.
 170         """
 171         file_item = resolved[-1][1]
 172         file_item = vfs.augment_item_meta(repo, file_item, include_size=True)
 173         meta = file_item.meta
 174         ctype = self._guess_type(path)
 175         self.set_header("Last-Modified", http_date_from_utc_ns(meta.mtime))
 176         self.set_header("Content-Type", ctype)
 177
 178         self.set_header("Content-Length", str(meta.size))
 179         assert len(file_item.oid) == 20
 180         self.set_header("Etag", hexlify(file_item.oid))
 181         if self.request.method != 'HEAD':
 182             with vfs.fopen(self.repo, file_item) as f:
 183                 it = chunkyreader(f)
 184                 for blob in chunkyreader(f):
 185                     self.write(blob)
 186         raise gen.Return()
 187
 188     def _guess_type(self, path):
 189         """Guess the type of a file.
 190
 191         Argument is a PATH (a filename).
 192
 193         Return value is a string of the form type/subtype,
 194         usable for a MIME Content-type header.
 195
 196         The default implementation looks the file's extension
 197         up in the table self.extensions_map, using application/octet-stream
 198         as a default; however it would be permissible (if
 199         slow) to look inside the data to make a better guess.
 200         """
 201         base, ext = posixpath.splitext(path)
 202         if ext in self.extensions_map:
 203             return self.extensions_map[ext]
 204         ext = ext.lower()
 205         if ext in self.extensions_map:
 206             return self.extensions_map[ext]
 207         else:
 208             return self.extensions_map['']
 209
 210     if not mimetypes.inited:
 211         mimetypes.init() # try to read system mime.types
 212     extensions_map = mimetypes.types_map.copy()
 213     extensions_map.update({
 214         '': 'text/plain', # Default
 215         '.py': 'text/plain',
 216         '.c': 'text/plain',
 217         '.h': 'text/plain',
 218         })
 219
 220
 221 io_loop = None
 222
 223 def handle_sigterm(signum, frame):
 224     global io_loop
 225     debug1('\nbup-web: signal %d received\n' % signum)
 226     log('Shutdown requested\n')
 227     if not io_loop:
 228         sys.exit(0)
 229     io_loop.stop()
 230
 231
 232 optspec = """
 233 bup web [[hostname]:port]
 234 bup web unix://path
 235 --
 236 human-readable    display human readable file sizes (i.e. 3.9K, 4.7M)
 237 browser           show repository in default browser (incompatible with unix://)
 238 """
 239
 240 opt = None
 241
 242 def main(argv):
 243     global opt
 244     signal.signal(signal.SIGTERM, handle_sigterm)
 245
 246     UnixAddress = namedtuple('UnixAddress', ['path'])
 247     InetAddress = namedtuple('InetAddress', ['host', 'port'])
 248
 249     o = options.Options(optspec)
 250     opt, flags, extra = o.parse_bytes(argv[1:])
 251
 252     if len(extra) > 1:
 253         o.fatal("at most one argument expected")
 254
 255     if len(extra) == 0:
 256         address = InetAddress(host='127.0.0.1', port=8080)
 257     else:
 258         bind_url = extra[0]
 259         if bind_url.startswith('unix://'):
 260             address = UnixAddress(path=bind_url[len('unix://'):])
 261         else:
 262             addr_parts = extra[0].split(':', 1)
 263             if len(addr_parts) == 1:
 264                 host = '127.0.0.1'
 265                 port = addr_parts[0]
 266             else:
 267                 host, port = addr_parts
 268             try:
 269                 port = int(port)
 270             except (TypeError, ValueError) as ex:
 271                 o.fatal('port must be an integer, not %r' % port)
 272             address = InetAddress(host=host, port=port)
 273
 274     git.check_repo_or_die()
 275
 276     settings = dict(
 277         debug = 1,
 278         template_path = resource_path(b'web').decode('utf-8'),
 279         static_path = resource_path(b'web/static').decode('utf-8'),
 280     )
 281
 282     # Disable buffering on stdout, for debug messages
 283     try:
 284         sys.stdout._line_buffering = True
 285     except AttributeError:
 286         sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', 0)
 287
 288     application = tornado.web.Application([
 289         (r"(?P<path>/.*)", BupRequestHandler, dict(repo=LocalRepo())),
 290     ], **settings)
 291
 292     http_server = HTTPServer(application)
 293     io_loop_pending = IOLoop.instance()
 294
 295     if isinstance(address, InetAddress):
 296         sockets = tornado.netutil.bind_sockets(address.port, address.host)
 297         http_server.add_sockets(sockets)
 298         print('Serving HTTP on %s:%d...' % sockets[0].getsockname()[0:2])
 299         if opt.browser:
 300             browser_addr = 'http://' + address[0] + ':' + str(address[1])
 301             io_loop_pending.add_callback(lambda : webbrowser.open(browser_addr))
 302     elif isinstance(address, UnixAddress):
 303         unix_socket = bind_unix_socket(address.path)
 304         http_server.add_socket(unix_socket)
 305         print('Serving HTTP on filesystem socket %r' % address.path)
 306     else:
 307         log('error: unexpected address %r', address)
 308         sys.exit(1)
 309
 310     io_loop = io_loop_pending
 311     io_loop.start()
 312
 313     if saved_errors:
 314         log('WARNING: %d errors encountered while saving.\n' % len(saved_errors))
 315         sys.exit(1)