]> arthur.barton.de Git - bup.git/commit
memtest.py: a standalone program for testing memory usage in PackIndex.
authorAvery Pennarun <apenwarr@gmail.com>
Tue, 12 Jan 2010 04:02:56 +0000 (23:02 -0500)
committerAvery Pennarun <apenwarr@gmail.com>
Tue, 12 Jan 2010 05:59:25 +0000 (00:59 -0500)
commit7284f09b451b2f40ce40f1d238782793f0ae79f1
tree7a11372e8dc6bc877748b5fe119c27bfbc1bef79
parent4a641e7ec79a90c450be05d65a7410a90a6e5ad9
memtest.py: a standalone program for testing memory usage in PackIndex.

The majority of the memory usage in bup split/save is now caused by
searching pack indexes for sha1 hashes.  The problem with this is that, in
the common case for a first full backup, *none* of the object hashes will be
found, so we'll *always* have to search *all* the packfiles.  With just 45
packfiles of 200k objects each, that makes about (18-8)*45 = 450 binary
search steps, or 100+ 4k pages that need to be loaded from disk, to check
*each* object hash.  memtest.py lets us see how fast RSS creeps up under
various conditions, and how different optimizations affect the result.
.gitignore
Makefile
memtest.py [new file with mode: 0755]