pintos-os.org Git - pspp/blob - build-pspp

   1 #! /usr/bin/env perl
   2
   3 use Cwd;
   4 use File::Spec;
   5 use Getopt::Long qw(:config bundling no_ignore_case);
   6 use IO::Handle;
   7 use POSIX;
   8
   9 use strict;
  10 use warnings;
  11
  12 my $help = 0;
  13 my $build_binary = 1;
  14 my $batch = 0;
  15 my $builddir;
  16 my $build_number;
  17 GetOptions ("h|help" => \$help,
  18             "binary!" => \$build_binary,
  19             "batch!" => \$batch,
  20             "o|output=s" => \$builddir,
  21             "build-number=i" => \$build_number);
  22
  23 usage () if $help;
  24
  25 die "$0: exactly one or two nonoption arguments are required\n"
  26   if @ARGV != 1 && @ARGV != 2;
  27
  28 # Select build number.
  29 if (!defined ($build_number)) {
  30     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
  31 }
  32
  33 my $topdir = getcwd ();
  34
  35 # Create build directory.
  36 if (!defined ($builddir)) {
  37     $builddir = "builds/$build_number";
  38     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
  39 }
  40 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
  41 my $abs_builddir = File::Spec->rel2abs ($builddir);
  42
  43 our $resultsdir = "$builddir/results";
  44 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
  45 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
  46 my $abs_resultsdir = File::Spec->rel2abs ($resultsdir);
  47
  48 my $varsfile = "$resultsdir/VARS";
  49 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
  50 VARS->autoflush (1);
  51
  52 our $logfile = "$resultsdir/LOG";
  53 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
  54
  55 my $build_host = `hostname`;
  56 chomp $build_host;
  57 set_var ("build_host", $build_host);
  58 set_var ("build_number", $build_number);
  59
  60 sub start_step {
  61     my ($msg) = @_;
  62     print LOG "\f\n$msg\n";
  63     print "$msg\n" unless $batch;
  64 }
  65
  66 sub set_var {
  67     my ($var, $value) = @_;
  68
  69     print VARS "$var=$value\n";
  70
  71     print "\t$var=$value\n" unless $batch;
  72
  73     open (VAR, '>', "$resultsdir/vars/$var")
  74       or die "creating $resultsdir/$var failed: $!\n";
  75     print VAR "$value\n";
  76     close VAR;
  77 }
  78
  79 sub saved_result {
  80     my ($name, $product) = @_;
  81     start_step ("Saving $name: $product");
  82 }
  83
  84 sub save_result {
  85     my ($name, $src, $rm_src) = @_;
  86     my ($basename) = $src;
  87     $basename =~ s(^.*/)();
  88     my ($dst) = "$resultsdir/$basename";
  89
  90     saved_result ($name, $basename);
  91     run ("cp -R $src $dst");
  92
  93     if (defined ($rm_src) && $rm_src) {
  94         run ("rm $src");
  95     }
  96
  97     return $dst;
  98 }
  99
 100 sub save_result_if_exists {
 101     my ($name, $src, $rm_src) = @_;
 102     if (-e $src) {
 103         save_result (@_);
 104     } else {
 105         start_step ("$src does not exist, cannot save");
 106     }
 107 }
 108
 109 my $tarball;
 110 if (@ARGV == 2) {
 111     my ($repo, $branch) = @ARGV;
 112
 113     # Fetch branch
 114     start_step ("Fetch $repo, branch $branch");
 115     run ("git fetch $repo +$branch:refs/builds/$build_number/pspp");
 116
 117     # Get revision number.
 118     my $revision = `git rev-parse refs/builds/$build_number/pspp`;
 119     chomp $revision;
 120     set_var ("pspp_commit", $revision);
 121     my $abbrev_commit = substr ($revision, 0, 6);
 122
 123     # Extract source.
 124     start_step ("Extract branch into source directory");
 125     run ("git archive --format=tar --prefix=pspp$build_number/ refs/builds/$build_number/pspp | (cd $builddir && tar xf -)");
 126
 127     # Extract version number.
 128     start_step ("Extract repository version number");
 129     my $trace = `cd $builddir/pspp$build_number && autoconf -t AC_INIT`;
 130     chomp $trace;
 131     my ($file, $line, $macro, $package, $repo_version, @rest)
 132       = split (':', $trace);
 133     set_var ("repo_version", $repo_version);
 134
 135     # Is this a "gnits" mode tree?
 136     start_step ("Checking Automake mode");
 137     open (MAKEFILE_AM, '<', "$builddir/pspp$build_number/Makefile.am");
 138     my $am_mode = "gnu";
 139     while (<MAKEFILE_AM>) {
 140         if (/gnits/) {
 141             $am_mode = "gnits";
 142             last;
 143         }
 144     }
 145     close (MAKEFILE_AM);
 146     set_var ("am_mode", $am_mode);
 147
 148     # Generate version number for build.
 149     # We want to append -g012345, but if we're in Gnits mode and the
 150     # version number already has a hyphen, we have to omit it.
 151     start_step ("Generate build version number");
 152     my $version = $repo_version;
 153     $version .= '-' unless $version =~ /-/;
 154     $version .= "g$abbrev_commit";
 155     set_var ("version", $version);
 156
 157     # Append -g012345 to configure.ac version number.
 158     start_step ("Updating version number in $file");
 159     my $fullname = "$builddir/pspp$build_number/$file";
 160     open (OLDFILE, '<', $fullname)
 161       or die "opening $fullname failed: $!\n";
 162     open (NEWFILE, '>', "$fullname.new")
 163       or die "creating $fullname.new failed: $!\n";
 164     while (<OLDFILE>) {
 165         if ($. != $line) {
 166             print NEWFILE $_;
 167         } else {
 168             print NEWFILE "AC_INIT([$package], [$version]";
 169             print NEWFILE ", [$_]" foreach @rest;
 170             print NEWFILE ")\n";
 171         }
 172     }
 173     close (NEWFILE);
 174     close (OLDFILE);
 175     rename ("$fullname.new", $fullname)
 176       or die "rename $fullname.new to $fullname failed: $!\n";
 177
 178     # Get Gnulib commit number.
 179     start_step ("Reading README.Git to find Gnulib commit number");
 180     my $gnulib_commit;
 181     $fullname = "$builddir/pspp$build_number/README.Git";
 182     open (README_GIT, '<', $fullname)
 183       or die "opening $fullname failed: $!\n";
 184     while (<README_GIT>) {
 185         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
 186     }
 187     die "$fullname does not specify a Git commit number\n"
 188       if !defined ($gnulib_commit);
 189     set_var ("gnulib_commit", $gnulib_commit);
 190
 191     # Add note to beginning of NEWS (otherwise "make dist" fails).
 192     start_step ("Updating NEWS");
 193     $fullname = "$builddir/pspp$build_number/NEWS";
 194     open (OLDFILE, '<', $fullname)
 195       or die "opening $fullname failed: $!\n";
 196     open (NEWFILE, '>', "$fullname.new")
 197       or die "creating $fullname.new failed: $!\n";
 198     my $found_changes = 0;
 199     while (<OLDFILE>) {
 200         if (!$found_changes && /^Changes/) {
 201             $found_changes = 1;
 202             print NEWFILE <<EOF;
 203 Changes from $repo_version to $version:
 204
 205  * Built from PSPP commit $revision
 206    in branch $branch on host $build_host.
 207
 208  * Built from Gnulib commit $gnulib_commit.
 209
 210 EOF
 211         }
 212         print NEWFILE $_;
 213     }
 214     close (NEWFILE);
 215     close (OLDFILE);
 216     rename ("$fullname.new", $fullname)
 217       or die "rename $fullname.new to $fullname failed: $!\n";
 218
 219     # If we don't already have that Gnulib commit, update Gnulib.
 220     system ("git rev-parse --verify --quiet $gnulib_commit");
 221     if ($? != 0) {
 222         start_step ("Updating Gnulib to obtain commit");
 223         run ("git fetch gnulib");
 224     }
 225     run ("git update-ref refs/builds/$build_number/gnulib $gnulib_commit");
 226
 227     # Extract gnulib source.
 228     start_step ("Extract Gnulib source");
 229     run ("git archive --format=tar --prefix=gnulib/ $gnulib_commit | (cd $builddir && tar xf -)");
 230
 231     # Bootstrap.
 232     start_step ("Bootstrap (make -f Smake)");
 233     run ("cd $builddir/pspp$build_number && make -f Smake", "bootstrap");
 234
 235     # Configure.
 236     start_step ("Configure source");
 237     run ("cd $builddir/pspp$build_number && mkdir _build && cd _build && ../configure", "configure");
 238
 239     # Distribute.
 240     start_step ("Make source tarball");
 241     run ("cd $builddir/pspp$build_number/_build && make dist", "dist");
 242     my $tarname = "pspp-$version.tar.gz";
 243     $tarball = save_result ("source distribution", "$builddir/pspp$build_number/_build/$tarname", 1);
 244
 245     # Build user manual
 246     start_step ("Build user manual");
 247     run ("cd $builddir/pspp$build_number && cp _build/doc/*.texi doc/");
 248     run ("cd $builddir/pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texinfo -o $abs_resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
 249     saved_result ("User Manual", "user-manual");
 250
 251     # Build developer's guide
 252     start_step ("Build developers guide");
 253     run ("cd $builddir/pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texinfo -o $abs_resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
 254     saved_result ("Developers Guide", "dev-guide");
 255 } else {
 256     $tarball = $ARGV[0];
 257 }
 258
 259 if ($build_binary) {
 260     start_step ("Determining $tarball target directory");
 261     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
 262     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
 263     set_var ("dist_dir", $tarball_dir);
 264
 265     start_step ("Extracting source tarball");
 266     run ("zcat $tarball | (cd $builddir && tar xf -)");
 267
 268     start_step ("Extracting tar version");
 269     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
 270       =~ /configure (\S+)$/;
 271     set_var ("dist_version", $version);
 272     my ($binary_version) = "$version-$build_host-build$build_number";
 273     set_var ("binary_version", $binary_version);
 274
 275     start_step ("Configuring");
 276     run ("chmod -R a-w $builddir/$tarball_dir");
 277     run ("chmod u+w $builddir/$tarball_dir");
 278     run ("mkdir $builddir/$tarball_dir/_build");
 279     run ("chmod a-w $builddir/$tarball_dir");
 280     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --enable-relocatable --prefix=''", "bin-configure");
 281     for my $basename ("config.h", "config.log") {
 282         save_result_if_exists ("build configuration",
 283                                "$builddir/$tarball_dir/_build/$basename");
 284     }
 285     fail () if !$ok;
 286
 287     start_step ("Build");
 288     run ("cd $builddir/$tarball_dir/_build && make", "build");
 289
 290     start_step ("Install");
 291     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
 292
 293     start_step ("Make binary distribution");
 294     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
 295     save_result ("binary distribution", "$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
 296
 297     start_step ("Check");
 298     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
 299     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
 300         save_result_if_exists ("test logs", "$builddir/$tarball_dir/_build/$basename");
 301     }
 302     fail () if !$ok;
 303
 304     start_step ("Uninstall");
 305     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
 306
 307     start_step ("Check uninstall");
 308     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
 309
 310     # distcleancheck
 311 }
 312
 313 start_step ("Success");
 314
 315 sub usage {
 316     print <<EOF;
 317 $0, for building and testing PSPP
 318 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
 319 where TARBALL is the name of a tarball produced by "make dist"
 320    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
 321
 322 Options:
 323   --help            Print this usage message and exit
 324   --no-binary       Build source tarballs but no binaries.
 325   --batch           Do not print progress to stdout.
 326 EOF
 327     exit(0);
 328 }
 329
 330 sub run {
 331     fail () if !try_run (@_);
 332 }
 333
 334 sub try_run {
 335     my ($command, $id) = @_;
 336
 337     print LOG "$command\n";
 338
 339     my $pid = open (COMMAND, '-|');
 340     if (!defined ($pid)) {
 341         die "fork failed: $!\n";
 342     } elsif (!$pid) {
 343         dup2 (1, 2);
 344         exec ($command);
 345         die "$command: exec failed: $!\n";
 346     }
 347
 348     my ($start) = time ();
 349     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
 350
 351     local ($|) = 1;
 352     my $lines = 0;
 353     while (<COMMAND>) {
 354         print LOG $_;
 355
 356         my $elapsed = time () - $start;
 357         my $progress = sprintf "%d lines logged, %d s elapsed",
 358           $lines++, $elapsed;
 359         if ($est_time > 0) {
 360             my $left = $est_time - $elapsed;
 361             if ($left > 0) {
 362                 $progress .= sprintf ", ETA %d s", $left;
 363             }
 364         }
 365         print "\r$progress", " " x (79 - length ($progress)), "\r"
 366           unless $batch;
 367     }
 368     close (COMMAND);
 369     print "\r", " " x 79, "\r" unless $batch;
 370
 371     write_timing ($id, time () - $start) if defined ($id);
 372
 373     return 1 if !$?;
 374
 375     if ($? & 127) {
 376         printf STDERR "%s: child died with signal %d, %s coredump\n",
 377           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
 378     } else {
 379         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
 380     }
 381     return 0;
 382 }
 383
 384 sub read_timing {
 385     my ($id) = @_;
 386     open (TIMINGS, "<", "$topdir/timings") or return 0;
 387     while (<TIMINGS>) {
 388         chomp;
 389         my ($key, $value) = /^([^=]+)=(.*)/ or next;
 390         return $value if $key eq $id;
 391     }
 392     close (TIMINGS);
 393     return 0;
 394 }
 395
 396 sub write_timing {
 397     my ($id, $time) = @_;
 398
 399     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
 400
 401     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
 402         while (<OLDTIMINGS>) {
 403             if (my ($key, $value) = /^([^=]+)=(.*)/) {
 404                 next if $key eq $id;
 405             }
 406             print NEWTIMINGS $_;
 407         }
 408         close (OLDTIMINGS);
 409     }
 410
 411     print NEWTIMINGS "$id=$time\n";
 412     close (NEWTIMINGS);
 413
 414     rename ("$topdir/timings.tmp$$", "$topdir/timings");
 415 }
 416
 417 sub fail {
 418     die "Build failed, refer to:\n\t$topdir/$logfile\nfor details.\n";
 419 }