pintos-os.org Git - pspp/blob - build-pspp

   1 #! /usr/bin/env perl
   2
   3 use Cwd;
   4 use File::Spec;
   5 use Getopt::Long qw(:config bundling no_ignore_case);
   6 use IO::Handle;
   7 use POSIX;
   8
   9 use strict;
  10 use warnings;
  11
  12 my $help = 0;
  13 my $build_binary = 1;
  14 my $batch = 0;
  15 my $builddir;
  16 my $build_number;
  17 GetOptions ("h|help" => \$help,
  18             "binary!" => \$build_binary,
  19             "batch!" => \$batch,
  20             "o|output=s" => \$builddir,
  21             "build-number=i" => \$build_number);
  22
  23 usage () if $help;
  24
  25 die "$0: exactly one or two nonoption arguments are required\n"
  26   if @ARGV != 1 && @ARGV != 2;
  27
  28 my $builder = `hostname`;
  29 chomp $builder;
  30
  31 # Select build number.
  32 if (!defined ($build_number)) {
  33     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
  34 }
  35
  36 my $topdir = getcwd ();
  37
  38 # Create build directory.
  39 if (!defined ($builddir)) {
  40     $builddir = "builds/$build_number";
  41     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
  42 }
  43 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
  44 my $abs_builddir = File::Spec->rel2abs ($builddir);
  45
  46 our $resultsdir = "$builddir/results";
  47 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
  48 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
  49 my $abs_resultsdir = File::Spec->rel2abs ($resultsdir);
  50
  51 my $varsfile = "$resultsdir/VARS";
  52 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
  53 VARS->autoflush (1);
  54
  55 my $logfile = "$resultsdir/LOG";
  56 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
  57
  58 set_var ("builder", $builder);
  59 set_var ("build_number", $build_number);
  60
  61 sub start_step {
  62     my ($msg) = @_;
  63     print LOG "\f\n$msg\n";
  64     print "$msg\n" unless $batch;
  65 }
  66
  67 sub set_var {
  68     my ($var, $value) = @_;
  69
  70     print VARS "$var=$value\n";
  71
  72     print "\t$var=$value\n" unless $batch;
  73
  74     open (VAR, '>', "$resultsdir/vars/$var")
  75       or die "creating $resultsdir/$var failed: $!\n";
  76     print VAR "$value\n";
  77     close VAR;
  78 }
  79
  80 sub saved_result {
  81     my ($product) = @_;
  82     start_step ("Saving $product");
  83 }
  84
  85 sub save_result {
  86     my ($src, $rm_src) = @_;
  87     my ($basename) = $src;
  88     $basename =~ s(^.*/)();
  89     my ($dst) = "$resultsdir/$basename";
  90
  91     saved_result ($basename);
  92     run ("cp -R $src $dst");
  93
  94     if (defined ($rm_src) && $rm_src) {
  95         run ("rm $src");
  96     }
  97
  98     return $dst;
  99 }
 100
 101 sub save_result_if_exists {
 102     my ($src, $rm_src) = @_;
 103     if (-e $src) {
 104         save_result (@_);
 105     } else {
 106         start_step ("$src does not exist, cannot save");
 107     }
 108 }
 109
 110 my $tarball;
 111 if (@ARGV == 2) {
 112     my ($repo, $branch) = @ARGV;
 113
 114     # Fetch branch
 115     start_step ("Fetch $repo, branch $branch");
 116     run ("git fetch $repo +$branch:buildtmp/$$/pspp");
 117
 118     # Get revision number.
 119     my $revision = `git rev-parse buildtmp/$$/pspp`;
 120     chomp $revision;
 121     set_var ("pspp_commit", $revision);
 122     my $abbrev_commit = substr ($revision, 0, 6);
 123
 124     # Extract source.
 125     start_step ("Extract branch into $builddir/pspp$build_number");
 126     run ("git archive --format=tar --prefix=pspp$build_number/ buildtmp/$$/pspp | (cd $builddir && tar xf -)");
 127     run ("git branch -D buildtmp/$$/pspp");
 128
 129     # Extract version number.
 130     start_step ("Extract repository version number");
 131     my $trace = `cd $builddir/pspp$build_number && autoconf -t AC_INIT`;
 132     chomp $trace;
 133     my ($file, $line, $macro, $package, $repo_version, @rest)
 134       = split (':', $trace);
 135     set_var ("repo_version", $repo_version);
 136
 137     # Is this a "gnits" mode tree?
 138     start_step ("Checking Automake mode");
 139     open (MAKEFILE_AM, '<', "$builddir/pspp$build_number/Makefile.am");
 140     my $am_mode = "gnu";
 141     while (<MAKEFILE_AM>) {
 142         if (/gnits/) {
 143             $am_mode = "gnits";
 144             last;
 145         }
 146     }
 147     close (MAKEFILE_AM);
 148     set_var ("am_mode", $am_mode);
 149
 150     # Generate version number for build.
 151     # We want to append -g012345, but if we're in Gnits mode and the
 152     # version number already has a hyphen, we have to omit it.
 153     start_step ("Generate build version number");
 154     my $version = $repo_version;
 155     $version .= '-' unless $version =~ /-/;
 156     $version .= "g$abbrev_commit";
 157     set_var ("version", $version);
 158
 159     # Append -g012345 to configure.ac version number.
 160     start_step ("Updating version number in $file");
 161     my $fullname = "$builddir/pspp$build_number/$file";
 162     open (OLDFILE, '<', $fullname)
 163       or die "opening $fullname failed: $!\n";
 164     open (NEWFILE, '>', "$fullname.new")
 165       or die "creating $fullname.new failed: $!\n";
 166     while (<OLDFILE>) {
 167         if ($. != $line) {
 168             print NEWFILE $_;
 169         } else {
 170             print NEWFILE "AC_INIT([$package], [$version]";
 171             print NEWFILE ", [$_]" foreach @rest;
 172             print NEWFILE ")\n";
 173         }
 174     }
 175     close (NEWFILE);
 176     close (OLDFILE);
 177     rename ("$fullname.new", $fullname)
 178       or die "rename $fullname.new to $fullname failed: $!\n";
 179
 180     # Add note to beginning of NEWS (otherwise "make dist" fails).
 181     start_step ("Updating NEWS");
 182     $fullname = "$builddir/pspp$build_number/NEWS";
 183     open (OLDFILE, '<', $fullname)
 184       or die "opening $fullname failed: $!\n";
 185     open (NEWFILE, '>', "$fullname.new")
 186       or die "creating $fullname.new failed: $!\n";
 187     my $found_changes = 0;
 188     while (<OLDFILE>) {
 189         if (!$found_changes && /^Changes/) {
 190             $found_changes = 1;
 191             print NEWFILE <<EOF;
 192 Changes from $repo_version to $version:
 193
 194  * Built automatically from commit $revision
 195    in branch $branch by builder $builder
 196
 197 EOF
 198         }
 199         print NEWFILE $_;
 200     }
 201     close (NEWFILE);
 202     close (OLDFILE);
 203     rename ("$fullname.new", $fullname)
 204       or die "rename $fullname.new to $fullname failed: $!\n";
 205
 206     # Get Gnulib commit number.
 207     start_step ("Reading README.Git to find Gnulib commit number");
 208     my $gnulib_commit;
 209     $fullname = "$builddir/pspp$build_number/README.Git";
 210     open (README_GIT, '<', $fullname)
 211       or die "opening $fullname failed: $!\n";
 212     while (<README_GIT>) {
 213         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
 214     }
 215     die "$fullname does not specify a Git commit number\n"
 216       if !defined ($gnulib_commit);
 217     set_var ("gnulib_commit", $gnulib_commit);
 218
 219     # If we don't already have that Gnulib commit, update Gnulib.
 220     `git rev-parse $gnulib_commit`;
 221     if ($? != 0) {
 222         start_step ("Updating Gnulib to obtain commit");
 223         run ("git fetch gnulib");
 224     }
 225
 226     # Extract gnulib source.
 227     start_step ("Extract Gnulib source");
 228     run ("git archive --format=tar --prefix=gnulib/ $gnulib_commit | (cd $builddir && tar xf -)");
 229
 230     # Bootstrap.
 231     start_step ("Bootstrap (make -f Smake)");
 232     run ("cd $builddir/pspp$build_number && make -f Smake", "bootstrap");
 233
 234     # Configure.
 235     start_step ("Configure source");
 236     run ("cd $builddir/pspp$build_number && mkdir _build && cd _build && ../configure", "configure");
 237
 238     # Distribute.
 239     start_step ("Make source tarball");
 240     run ("cd $builddir/pspp$build_number/_build && make dist", "dist");
 241     my $tarname = "pspp-$version.tar.gz";
 242     $tarball = save_result ("$builddir/pspp$build_number/_build/$tarname", 1);
 243
 244     # Build user manual
 245     start_step ("Build user manual");
 246     run ("cd $builddir/pspp$build_number && cp _build/doc/*.texi doc/");
 247     run ("cd $builddir/pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texinfo -o $abs_resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
 248     saved_result ("user-manual");
 249
 250     # Build developer's guide
 251     start_step ("Build developers guide");
 252     run ("cd $builddir/pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texinfo -o $abs_resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
 253     saved_result ("dev-guide");
 254 } else {
 255     $tarball = $ARGV[0];
 256 }
 257
 258 if ($build_binary) {
 259     start_step ("Determining $tarball target directory");
 260     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
 261     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
 262     set_var ("dist_dir", $tarball_dir);
 263
 264     start_step ("Extracting $tarball into $builddir/$tarball_dir");
 265     run ("zcat $tarball | (cd $builddir && tar xf -)");
 266
 267     start_step ("Extracting tar version");
 268     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
 269       =~ /configure (\S+)$/;
 270     set_var ("dist_version", $version);
 271     my ($binary_version) = "$version-$builder-build$build_number";
 272     set_var ("binary_version", $binary_version);
 273
 274     start_step ("Configuring");
 275     run ("chmod -R a-w $builddir/$tarball_dir");
 276     run ("chmod u+w $builddir/$tarball_dir");
 277     run ("mkdir $builddir/$tarball_dir/_build");
 278     run ("chmod a-w $builddir/$tarball_dir");
 279     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --enable-relocatable --prefix=''", "bin-configure");
 280     for my $basename ("config.h", "config.log") {
 281         save_result_if_exists ("$builddir/$tarball_dir/_build/$basename");
 282     }
 283     fail () if !$ok;
 284
 285     start_step ("Build");
 286     run ("cd $builddir/$tarball_dir/_build && make", "build");
 287
 288     start_step ("Install");
 289     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
 290
 291     start_step ("Make binary distribution");
 292     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
 293     save_result ("$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
 294
 295     start_step ("Check");
 296     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
 297     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
 298         save_result_if_exists ("$builddir/$tarball_dir/_build/$basename");
 299     }
 300     fail () if !$ok;
 301
 302     start_step ("Uninstall");
 303     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
 304
 305     start_step ("Check uninstall");
 306     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
 307
 308     # distcleancheck
 309 }
 310
 311 start_step ("Success");
 312
 313 sub usage {
 314     print <<EOF;
 315 $0, for building and testing PSPP
 316 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
 317 where TARBALL is the name of a tarball produced by "make dist"
 318    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
 319
 320 Options:
 321   --help            Print this usage message and exit
 322   --no-binary       Build source tarballs but no binaries.
 323   --batch           Do not print progress to stdout.
 324 EOF
 325     exit(0);
 326 }
 327
 328 sub run {
 329     fail () if !try_run (@_);
 330 }
 331
 332 sub try_run {
 333     my ($command, $id) = @_;
 334
 335     print LOG "$command\n";
 336
 337     my $pid = open (COMMAND, '-|');
 338     if (!defined ($pid)) {
 339         die "fork failed: $!\n";
 340     } elsif (!$pid) {
 341         dup2 (1, 2);
 342         exec ($command);
 343         die "$command: exec failed: $!\n";
 344     }
 345
 346     my ($start) = time ();
 347     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
 348
 349     local ($|) = 1;
 350     my $lines = 0;
 351     while (<COMMAND>) {
 352         print LOG $_;
 353
 354         my $elapsed = time () - $start;
 355         $progress = sprintf "%d lines logged, %d s elapsed",
 356           $lines++, $elapsed;
 357         if ($est_time > 0) {
 358             my $left = $est_time - $elapsed;
 359             if ($left > 0) {
 360                 $progress .= sprintf ", ETA %d s", $left;
 361             }
 362         }
 363         print "\r$progress", " " x (79 - length ($progress)), "\r"
 364           unless $batch;
 365     }
 366     close (COMMAND);
 367     print "\r", " " x 79, "\r" unless $batch;
 368
 369     write_timing ($id, time () - $start) if defined ($id);
 370
 371     return 1 if !$?;
 372
 373     if ($? & 127) {
 374         printf STDERR "%s: child died with signal %d, %s coredump\n",
 375           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
 376     } else {
 377         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
 378     }
 379     return 0;
 380 }
 381
 382 sub read_timing {
 383     my ($id) = @_;
 384     open (TIMINGS, "<", "$topdir/timings") or return 0;
 385     while (<TIMINGS>) {
 386         chomp;
 387         my ($key, $value) = /^([^=]+)=(.*)/ or next;
 388         return $value if $key eq $id;
 389     }
 390     close (TIMINGS);
 391     return 0;
 392 }
 393
 394 sub write_timing {
 395     my ($id, $time) = @_;
 396
 397     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
 398
 399     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
 400         while (<OLDTIMINGS>) {
 401             if (my ($key, $value) = /^([^=]+)=(.*)/) {
 402                 next if $key eq $id;
 403             }
 404             print NEWTIMINGS $_;
 405         }
 406         close (OLDTIMINGS);
 407     }
 408
 409     print NEWTIMINGS "$id=$time\n";
 410     close (NEWTIMINGS);
 411
 412     rename ("$topdir/timings.tmp$$", "$topdir/timings");
 413 }
 414
 415 sub fail {
 416     die "Build failed, refer to:\n\t$topdir/$logfile\nfor details.\n";
 417 }