t/test.sh

   1 #!/usr/bin/env bash
   2 . wvtest.sh
   3 #set -e
   4
   5 TOP="$(/bin/pwd)"
   6 export BUP_DIR="$TOP/buptest.tmp"
   7
   8 bup()
   9 {
  10     "$TOP/bup" "$@"
  11 }
  12
  13 WVSTART "init"
  14
  15 #set -x
  16 rm -rf "$BUP_DIR"
  17 WVPASS bup init
  18
  19 WVSTART "index"
  20 D=bupdata.tmp
  21 rm -rf $D
  22 mkdir $D
  23 WVPASSEQ "$(bup index --check -p)" ""
  24 WVPASSEQ "$(bup index --check -p $D)" ""
  25 WVFAIL [ -e $D.fake ]
  26 WVFAIL bup index --check -u $D.fake
  27 WVPASS bup index --check -u $D
  28 WVPASSEQ "$(bup index --check -p $D)" "$D/"
  29 touch $D/a
  30 WVPASS bup random 128k >$D/b
  31 mkdir $D/d $D/d/e
  32 WVPASS bup random 512 >$D/f
  33 WVPASSEQ "$(bup index -s $D/)" "A $D/"
  34 WVPASSEQ "$(bup index -s $D/b)" ""
  35 WVPASSEQ "$(bup index --check -us $D/b)" "A $D/b"
  36 WVPASSEQ "$(bup index --check -us $D/b $D/d)" \
  37 "A $D/d/e/
  38 A $D/d/
  39 A $D/b"
  40 touch $D/d/z
  41 bup tick
  42 WVPASSEQ "$(bup index --check -usx $D)" \
  43 "A $D/f
  44 A $D/d/z
  45 A $D/d/e/
  46 A $D/d/
  47 A $D/b
  48 A $D/a
  49 A $D/"
  50 WVPASSEQ "$(bup index --check -us $D/a $D/b --fake-valid)" \
  51 "  $D/b
  52   $D/a"
  53 WVPASSEQ "$(bup index --check -us $D/a)" "  $D/a"  # stays unmodified
  54 WVPASSEQ "$(bup index --check -us $D/d --fake-valid)" \
  55 "  $D/d/z
  56   $D/d/e/
  57   $D/d/"
  58 touch $D/d/z
  59 WVPASS bup index -u $D/d/z  # becomes modified
  60 WVPASSEQ "$(bup index -s $D/a $D $D/b)" \
  61 "A $D/f
  62 M $D/d/z
  63   $D/d/e/
  64 M $D/d/
  65   $D/b
  66   $D/a
  67 A $D/"
  68
  69 WVPASS bup index -u $D/d/e $D/a --fake-invalid
  70 WVPASSEQ "$(cd $D && bup index -m .)" \
  71 "./f
  72 ./d/z
  73 ./d/e/
  74 ./d/
  75 ./a
  76 ./"
  77 WVPASSEQ "$(cd $D && bup index -m)" \
  78 "f
  79 d/z
  80 d/e/
  81 d/
  82 a
  83 ./"
  84 WVPASSEQ "$(cd $D && bup index -s .)" "$(cd $D && bup index -s .)"
  85
  86 WVFAIL bup save -t $D/doesnt-exist-filename
  87
  88 mv $BUP_DIR/bupindex $BUP_DIR/bi.old
  89 WVFAIL bup save -t $D/d/e/fifotest
  90 mkfifo $D/d/e/fifotest
  91 WVPASS bup index -u $D/d/e/fifotest
  92 WVFAIL bup save -t $D/d/e/fifotest
  93 WVFAIL bup save -t $D/d/e
  94 rm -f $D/d/e/fifotest
  95 WVPASS bup index -u $D/d/e
  96 WVFAIL bup save -t $D/d/e/fifotest
  97 mv $BUP_DIR/bi.old $BUP_DIR/bupindex
  98
  99 WVPASS bup index -u $D/d/e
 100 WVPASS bup save -t $D/d/e
 101 WVPASSEQ "$(cd $D && bup index -m)" \
 102 "f
 103 d/z
 104 d/
 105 a
 106 ./"
 107 WVPASS bup save -t $D/d
 108 WVPASSEQ "$(cd $D && bup index -m)" \
 109 "f
 110 a
 111 ./"
 112 tree1=$(bup save -t $D)
 113 WVPASSEQ "$(cd $D && bup index -m)" ""
 114 tree2=$(bup save -t $D)
 115 WVPASSEQ "$tree1" "$tree2"
 116 WVPASSEQ "$(bup index -s / | grep ^D)" ""
 117 tree3=$(bup save -t /)
 118 WVPASSEQ "$tree1" "$tree3"
 119 WVPASS bup save -r :$BUP_DIR -n r-test $D
 120 WVFAIL bup save -r :$BUP_DIR/fake/path -n r-test $D
 121 WVFAIL bup save -r :$BUP_DIR -n r-test $D/fake/path
 122
 123 WVSTART "split"
 124 echo a >a.tmp
 125 echo b >b.tmp
 126 WVPASS bup split -b a.tmp >taga.tmp
 127 WVPASS bup split -b b.tmp >tagb.tmp
 128 cat a.tmp b.tmp | WVPASS bup split -b >tagab.tmp
 129 WVPASSEQ $(cat taga.tmp | wc -l) 1
 130 WVPASSEQ $(cat tagb.tmp | wc -l) 1
 131 WVPASSEQ $(cat tagab.tmp | wc -l) 1
 132 WVPASSEQ $(cat tag[ab].tmp | wc -l) 2
 133 WVPASSEQ "$(bup split -b a.tmp b.tmp)" "$(cat tagab.tmp)"
 134 WVPASSEQ "$(bup split -b --keep-boundaries a.tmp b.tmp)" "$(cat tag[ab].tmp)"
 135 WVPASSEQ "$(cat tag[ab].tmp | bup split -b --keep-boundaries --git-ids)" \
 136          "$(cat tag[ab].tmp)"
 137 WVPASSEQ "$(cat tag[ab].tmp | bup split -b --git-ids)" \
 138          "$(cat tagab.tmp)"
 139 WVPASS bup split --bench -b <t/testfile1 >tags1.tmp
 140 WVPASS bup split -vvvv -b t/testfile2 >tags2.tmp
 141 WVPASS bup margin
 142 WVPASS bup midx -f
 143 WVPASS bup margin
 144 WVPASS bup split -t t/testfile2 >tags2t.tmp
 145 WVPASS bup split -t t/testfile2 --fanout 3 >tags2tf.tmp
 146 WVPASS bup split -r "$BUP_DIR" -c t/testfile2 >tags2c.tmp
 147 WVPASS bup split -r :$BUP_DIR -c t/testfile2 >tags2c.tmp
 148 WVPASS ls -lR \
 149    | WVPASS bup split -r :$BUP_DIR -c --fanout 3 --max-pack-objects 3 -n lslr
 150 WVPASS bup ls
 151 WVFAIL bup ls /does-not-exist
 152 WVPASS bup ls /lslr
 153 WVPASS bup ls /lslr/latest
 154 WVPASS bup ls /lslr/latest/
 155 #WVPASS bup ls /lslr/1971-01-01   # all dates always exist
 156 WVFAIL diff -u tags1.tmp tags2.tmp
 157
 158 # fanout must be different from non-fanout
 159 WVFAIL diff tags2t.tmp tags2tf.tmp
 160 wc -c t/testfile1 t/testfile2
 161 wc -l tags1.tmp tags2.tmp
 162
 163 WVPASS bup memtest -c1 -n100
 164 WVPASS bup memtest -c1 -n100 --existing
 165
 166 WVSTART "join"
 167 WVPASS bup join $(cat tags1.tmp) >out1.tmp
 168 WVPASS bup join <tags2.tmp >out2.tmp
 169 WVPASS bup join <tags2t.tmp -o out2t.tmp
 170 WVPASS bup join -r "$BUP_DIR" <tags2c.tmp >out2c.tmp
 171 WVPASS bup join -r ":$BUP_DIR" <tags2c.tmp >out2c.tmp
 172 WVPASS diff -u t/testfile1 out1.tmp
 173 WVPASS diff -u t/testfile2 out2.tmp
 174 WVPASS diff -u t/testfile2 out2t.tmp
 175 WVPASS diff -u t/testfile2 out2c.tmp
 176
 177 WVSTART "save/git-fsck"
 178 (
 179     set -e
 180     cd "$BUP_DIR" || exit 1
 181     #git repack -Ad
 182     #git prune
 183     (cd "$TOP/t/sampledata" && WVPASS bup save -vvn master /) || WVFAIL
 184     n=$(git fsck --full --strict 2>&1 |
 185       egrep -v 'dangling (commit|tree)' |
 186       tee -a /dev/stderr |
 187       wc -l)
 188     WVPASS [ "$n" -eq 0 ]
 189 ) || exit 1
 190
 191 WVSTART "restore"
 192 rm -rf buprestore.tmp
 193 WVFAIL bup restore boink
 194 WVPASS bup restore -C buprestore.tmp "/master/latest/$TOP/$D"
 195 WVPASSEQ "$(ls buprestore.tmp)" "bupdata.tmp"
 196 rm -rf buprestore.tmp
 197 WVPASS bup restore -C buprestore.tmp "/master/latest/$TOP/$D/"
 198 WVPASS diff -ur $D/ buprestore.tmp/
 199
 200 WVSTART "ftp"
 201 WVPASS bup ftp "cat /master/latest/$TOP/$D/b" >$D/b.new
 202 WVPASS bup ftp "cat /master/latest/$TOP/$D/f" >$D/f.new
 203 WVPASS bup ftp "cat /master/latest/$TOP/$D/f"{,} >$D/f2.new
 204 WVPASS bup ftp "cat /master/latest/$TOP/$D/a" >$D/a.new
 205 WVPASSEQ "$(sha1sum <$D/b)" "$(sha1sum <$D/b.new)"
 206 WVPASSEQ "$(sha1sum <$D/f)" "$(sha1sum <$D/f.new)"
 207 WVPASSEQ "$(cat $D/f.new{,} | sha1sum)" "$(sha1sum <$D/f2.new)"
 208 WVPASSEQ "$(sha1sum <$D/a)" "$(sha1sum <$D/a.new)"
 209
 210 WVSTART "tag"
 211 WVFAIL bup tag -d v0.n 2>/dev/null
 212 WVFAIL bup tag v0.n non-existant 2>/dev/null
 213 WVPASSEQ "$(bup tag)" ""
 214 WVPASS bup tag v0.1 master
 215 WVPASSEQ "$(bup tag)" "v0.1"
 216 WVPASS bup tag -d v0.1
 217
 218 # This section destroys data in the bup repository, so it is done last.
 219 WVSTART "fsck"
 220 WVPASS bup fsck
 221 WVPASS bup fsck --quick
 222 if bup fsck --par2-ok; then
 223     WVSTART "fsck (par2)"
 224 else
 225     WVSTART "fsck (PAR2 IS MISSING)"
 226 fi
 227 WVPASS bup fsck -g
 228 WVPASS bup fsck -r
 229 WVPASS bup damage $BUP_DIR/objects/pack/*.pack -n10 -s1 -S0
 230 WVFAIL bup fsck --quick
 231 WVFAIL bup fsck --quick --disable-par2
 232 chmod u+w $BUP_DIR/objects/pack/*.idx
 233 WVPASS bup damage $BUP_DIR/objects/pack/*.idx -n10 -s1 -S0
 234 WVFAIL bup fsck --quick -j4
 235 WVPASS bup damage $BUP_DIR/objects/pack/*.pack -n10 -s1024 --percent 0.4 -S0
 236 WVFAIL bup fsck --quick
 237 WVFAIL bup fsck --quick -rvv -j99   # fails because repairs were needed
 238 if bup fsck --par2-ok; then
 239     WVPASS bup fsck -r # ok because of repairs from last time
 240     WVPASS bup damage $BUP_DIR/objects/pack/*.pack -n202 -s1 --equal -S0
 241     WVFAIL bup fsck
 242     WVFAIL bup fsck -rvv   # too many errors to be repairable
 243     WVFAIL bup fsck -r   # too many errors to be repairable
 244 else
 245     WVFAIL bup fsck --quick -r # still fails because par2 was missing
 246 fi
 247
 248 WVSTART "exclude-bupdir"
 249 D=exclude-bupdir.tmp
 250 rm -rf $D
 251 mkdir $D
 252 export BUP_DIR="$D/.bup"
 253 WVPASS bup init
 254 touch $D/a
 255 WVPASS bup random 128k >$D/b
 256 mkdir $D/d $D/d/e
 257 WVPASS bup random 512 >$D/f
 258 WVPASS bup index -ux $D
 259 bup save -n exclude-bupdir $D
 260 WVPASSEQ "$(bup ls exclude-bupdir/latest/$TOP/$D/)" "a
 261 b
 262 d/
 263 f"
 264
 265 WVSTART "exclude"
 266 D=exclude.tmp
 267 rm -rf $D
 268 mkdir $D
 269 export BUP_DIR="$D/.bup"
 270 WVPASS bup init
 271 touch $D/a
 272 WVPASS bup random 128k >$D/b
 273 mkdir $D/d $D/d/e
 274 WVPASS bup random 512 >$D/f
 275 WVPASS bup index -ux --exclude $D/d $D
 276 bup save -n exclude $D
 277 WVPASSEQ "$(bup ls exclude/latest/$TOP/$D/)" "a
 278 b
 279 f"
 280 mkdir $D/g $D/h
 281 WVPASS bup index -ux --exclude $D/d --exclude $TOP/$D/g --exclude $D/h $D
 282 bup save -n exclude $D
 283 WVPASSEQ "$(bup ls exclude/latest/$TOP/$D/)" "a
 284 b
 285 f"
 286
 287 WVSTART "exclude-from"
 288 D=exclude-fromdir.tmp
 289 EXCLUDE_FILE=exclude-from.tmp
 290 echo "$D/d
 291  $TOP/$D/g
 292 $D/h" > $EXCLUDE_FILE
 293 rm -rf $D
 294 mkdir $D
 295 export BUP_DIR="$D/.bup"
 296 WVPASS bup init
 297 touch $D/a
 298 WVPASS bup random 128k >$D/b
 299 mkdir $D/d $D/d/e
 300 WVPASS bup random 512 >$D/f
 301 mkdir $D/g $D/h
 302 WVPASS bup index -ux --exclude-from $EXCLUDE_FILE $D
 303 bup save -n exclude-from $D
 304 WVPASSEQ "$(bup ls exclude-from/latest/$TOP/$D/)" "a
 305 b
 306 f"
 307 rm $EXCLUDE_FILE
 308
 309 WVSTART "strip"
 310 D=strip.tmp
 311 rm -rf $D
 312 mkdir $D
 313 export BUP_DIR="$D/.bup"
 314 WVPASS bup init
 315 touch $D/a
 316 WVPASS bup random 128k >$D/b
 317 mkdir $D/d $D/d/e
 318 WVPASS bup random 512 >$D/f
 319 WVPASS bup index -ux $D
 320 bup save --strip -n strip $D
 321 WVPASSEQ "$(bup ls strip/latest/)" "a
 322 b
 323 d/
 324 f"
 325
 326 WVSTART "strip-path"
 327 D=strip-path.tmp
 328 rm -rf $D
 329 mkdir $D
 330 export BUP_DIR="$D/.bup"
 331 WVPASS bup init
 332 touch $D/a
 333 WVPASS bup random 128k >$D/b
 334 mkdir $D/d $D/d/e
 335 WVPASS bup random 512 >$D/f
 336 WVPASS bup index -ux $D
 337 bup save --strip-path $TOP -n strip-path $D
 338 WVPASSEQ "$(bup ls strip-path/latest/$D/)" "a
 339 b
 340 d/
 341 f"
 342
 343 WVSTART "graft_points"
 344 D=graft-points.tmp
 345 rm -rf $D
 346 mkdir $D
 347 export BUP_DIR="$D/.bup"
 348 WVPASS bup init
 349 touch $D/a
 350 WVPASS bup random 128k >$D/b
 351 mkdir $D/d $D/d/e
 352 WVPASS bup random 512 >$D/f
 353 WVPASS bup index -ux $D
 354 bup save --graft $TOP/$D=/grafted -n graft-point-absolute $D
 355 WVPASSEQ "$(bup ls graft-point-absolute/latest/grafted/)" "a
 356 b
 357 d/
 358 f"
 359 bup save --graft $D=grafted -n graft-point-relative $D
 360 WVPASSEQ "$(bup ls graft-point-relative/latest/$TOP/grafted/)" "a
 361 b
 362 d/
 363 f"
 364
 365 WVSTART "indexfile"
 366 D=indexfile.tmp
 367 INDEXFILE=tmpindexfile.tmp
 368 rm -f $INDEXFILE
 369 rm -rf $D
 370 mkdir $D
 371 export BUP_DIR="$D/.bup"
 372 WVPASS bup init
 373 touch $D/a
 374 touch $D/b
 375 mkdir $D/c
 376 WVPASS bup index -ux $D
 377 bup save --strip -n bupdir $D
 378 WVPASSEQ "$(bup ls bupdir/latest/)" "a
 379 b
 380 c/"
 381 WVPASS bup index -f $INDEXFILE --exclude=$D/c -ux $D
 382 bup save --strip -n indexfile -f $INDEXFILE $D
 383 WVPASSEQ "$(bup ls indexfile/latest/)" "a
 384 b"
 385
 386
 387 WVSTART "import-rsnapshot"
 388 D=rsnapshot.tmp
 389 export BUP_DIR="$TOP/$D/.bup"
 390 rm -rf $D
 391 mkdir $D
 392 WVPASS bup init
 393 mkdir -p $D/hourly.0/buptest/a
 394 touch $D/hourly.0/buptest/a/b
 395 mkdir -p $D/hourly.0/buptest/c/d
 396 touch $D/hourly.0/buptest/c/d/e
 397 WVPASS true
 398 WVPASS bup import-rsnapshot $D/
 399 WVPASSEQ "$(bup ls buptest/latest/)" "a/
 400 c/"