]> arthur.barton.de Git - bup.git/commit
ShaBloom prefilter to detect nonexistant objects
authorBrandon Low <lostlogic@lostlogicx.com>
Mon, 7 Feb 2011 06:06:06 +0000 (22:06 -0800)
committerAvery Pennarun <apenwarr@gmail.com>
Mon, 7 Feb 2011 09:31:49 +0000 (01:31 -0800)
commit249326eb94c4f78c4114cb29272ef700d8dcfbd0
tree993a957b89357e0554fadf02dd3441622fcadbfa
parentee285725a94584b6284871103a8ff3fe2070f7f1
ShaBloom prefilter to detect nonexistant objects

This inserts a bloom prefilter ahead of midx for efficient checking of
objects most of which do not exist.  As long as you have enough RAM for
the bloom filter to stay in memory, this saves a lot of time compared to
midx files.  Bloom filter is between 1/5th and 1/20th the size of midx
given the parameters I'm using so far.

Signed-off-by: Brandon Low <lostlogic@lostlogicx.com>
Documentation/bup-bloom.md [new file with mode: 0644]
cmd/bloom-cmd.py [new file with mode: 0755]
cmd/memtest-cmd.py
lib/bup/_helpers.c
lib/bup/git.py
lib/bup/t/tclient.py
lib/bup/t/tgit.py