pintos-os.org Git - pspp/blob - build-pspp

   1 #! /usr/bin/env perl
   2
   3 use Cwd;
   4 use File::Basename;
   5 use File::Spec;
   6 use Getopt::Long qw(:config bundling no_ignore_case);
   7 use IO::Handle;
   8 use POSIX;
   9
  10 use strict;
  11 use warnings;
  12
  13 my $help = 0;
  14 my $build_binary = 1;
  15 my $batch = 0;
  16 my $builddir;
  17 my $build_number;
  18 GetOptions ("h|help" => \$help,
  19             "binary!" => \$build_binary,
  20             "batch!" => \$batch,
  21             "o|output=s" => \$builddir,
  22             "build-number=i" => \$build_number);
  23
  24 usage () if $help;
  25
  26 die "$0: exactly one or two nonoption arguments are required\n"
  27   if @ARGV != 1 && @ARGV != 2;
  28
  29 my $tarball;
  30 if (@ARGV == 1) {
  31     $tarball = File::Spec->rel2abs ($ARGV[0]);
  32 } else {
  33     # Tarball will be generated later.
  34 }
  35
  36 # Select build number.
  37 if (!defined ($build_number)) {
  38     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
  39 }
  40
  41 my $topdir = dirname ($0);
  42 $topdir = cwd () . "/$topdir" if $topdir !~ m%^/%;
  43
  44 # Create build directory.
  45 if (!defined ($builddir)) {
  46     $builddir = "builds/$build_number";
  47     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
  48 }
  49 $builddir = File::Spec->rel2abs ($builddir);
  50 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
  51 chdir ($builddir) or die "$builddir: chdir: $!\n";
  52
  53 our $resultsdir = "$builddir/results";
  54 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
  55 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
  56
  57 my $varsfile = "$resultsdir/VARS";
  58 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
  59 VARS->autoflush (1);
  60
  61 our $logfile = "$resultsdir/LOG";
  62 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
  63
  64 my $build_host = `hostname`;
  65 chomp $build_host;
  66 set_var ("build_host", $build_host);
  67 set_var ("build_number", $build_number);
  68
  69 our $GIT = "git --git-dir=$topdir/.git";
  70
  71 sub start_step {
  72     my ($msg) = @_;
  73     print LOG "\f\n$msg\n";
  74     print "$msg\n" unless $batch;
  75 }
  76
  77 sub set_var {
  78     my ($var, $value) = @_;
  79
  80     print VARS "$var=$value\n";
  81
  82     print "\t$var=$value\n" unless $batch;
  83
  84     open (VAR, '>', "$resultsdir/vars/$var")
  85       or die "creating $resultsdir/$var failed: $!\n";
  86     print VAR "$value\n";
  87     close VAR;
  88 }
  89
  90 sub saved_result {
  91     my ($name, $product) = @_;
  92     start_step ("Saving $name: $product");
  93 }
  94
  95 sub save_result {
  96     my ($name, $src, $rm_src) = @_;
  97     my ($basename) = $src;
  98     $basename =~ s(^.*/)();
  99     my ($dst) = "$resultsdir/$basename";
 100
 101     saved_result ($name, $basename);
 102     run ("cp -R $src $dst");
 103
 104     if (defined ($rm_src) && $rm_src) {
 105         run ("rm $src");
 106     }
 107
 108     return $dst;
 109 }
 110
 111 sub save_result_if_exists {
 112     my ($name, $src, $rm_src) = @_;
 113     if (-e $src) {
 114         save_result (@_);
 115     } else {
 116         start_step ("$src does not exist, cannot save");
 117     }
 118 }
 119
 120 sub ref_to_commit {
 121     my ($ref) = @_;
 122     my $commit = `$GIT rev-parse $ref`;
 123     chomp $commit;
 124     return $commit;
 125 }
 126
 127 if (@ARGV == 2) {
 128     my ($repo, $branch) = @ARGV;
 129
 130     start_step ("Fetch branch from Git");
 131     set_var ("git_repo", $repo);
 132     set_var ("git_branch", $branch);
 133     run ("$GIT fetch $repo +$branch:refs/builds/$build_number/pspp");
 134
 135     # Get revision number.
 136     set_var ("pspp_ref", "refs/builds/$build_number/pspp");
 137     my $revision = ref_to_commit ("refs/builds/$build_number/pspp");
 138     set_var ("pspp_commit", $revision);
 139     my $abbrev_commit = substr ($revision, 0, 6);
 140
 141     # Extract source.
 142     start_step ("Extract branch into source directory");
 143     run ("$GIT archive --format=tar --prefix=pspp/ refs/builds/$build_number/pspp | tar xf -");
 144
 145     # Extract version number.
 146     start_step ("Extract repository version number");
 147     my $trace = `cd pspp && autoconf -t AC_INIT`;
 148     chomp $trace;
 149     my ($file, $line, $macro, $package, $repo_version, @rest)
 150       = split (':', $trace);
 151     set_var ("repo_version", $repo_version);
 152
 153     # Is this a "gnits" mode tree?
 154     start_step ("Checking Automake mode");
 155     open (MAKEFILE_AM, '<', "pspp/Makefile.am");
 156     my $am_mode = "gnu";
 157     while (<MAKEFILE_AM>) {
 158         if (/gnits/) {
 159             $am_mode = "gnits";
 160             last;
 161         }
 162     }
 163     close (MAKEFILE_AM);
 164     print LOG "Automake mode is $am_mode\n";
 165
 166     # Generate version number for build.
 167     # We want to append -g012345, but if we're in Gnits mode and the
 168     # version number already has a hyphen, we have to omit it.
 169     start_step ("Generate build version number");
 170     my $version = $repo_version;
 171     $version .= '-' unless $version =~ /-/;
 172     $version .= "g$abbrev_commit";
 173     set_var ("version", $version);
 174
 175     # Append -g012345 to configure.ac version number.
 176     start_step ("Updating version number in $file");
 177     my $fullname = "pspp/$file";
 178     open (OLDFILE, '<', $fullname)
 179       or die "opening $fullname failed: $!\n";
 180     open (NEWFILE, '>', "$fullname.new")
 181       or die "creating $fullname.new failed: $!\n";
 182     while (<OLDFILE>) {
 183         if ($. != $line) {
 184             print NEWFILE $_;
 185         } else {
 186             print NEWFILE "AC_INIT([$package], [$version]";
 187             print NEWFILE ", [$_]" foreach @rest;
 188             print NEWFILE ")\n";
 189         }
 190     }
 191     close (NEWFILE);
 192     close (OLDFILE);
 193     rename ("$fullname.new", $fullname)
 194       or die "rename $fullname.new to $fullname failed: $!\n";
 195
 196     # Get Gnulib commit number.
 197     start_step ("Reading README.Git to find Gnulib commit number");
 198     my $gnulib_commit;
 199     $fullname = "pspp/README.Git";
 200     open (README_GIT, '<', $fullname)
 201       or die "opening $fullname failed: $!\n";
 202     while (<README_GIT>) {
 203         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
 204     }
 205     die "$fullname does not specify a Git commit number\n"
 206       if !defined ($gnulib_commit);
 207     set_var ("gnulib_commit", $gnulib_commit);
 208
 209     # Add note to beginning of NEWS (otherwise "make dist" fails).
 210     start_step ("Updating NEWS");
 211     $fullname = "pspp/NEWS";
 212     open (OLDFILE, '<', $fullname)
 213       or die "opening $fullname failed: $!\n";
 214     open (NEWFILE, '>', "$fullname.new")
 215       or die "creating $fullname.new failed: $!\n";
 216     my $found_changes = 0;
 217     while (<OLDFILE>) {
 218         if (!$found_changes && /^Changes/) {
 219             $found_changes = 1;
 220             print NEWFILE <<EOF;
 221 Changes from $repo_version to $version:
 222
 223  * Built from PSPP commit $revision
 224    in branch $branch on host $build_host.
 225
 226  * Built from Gnulib commit $gnulib_commit.
 227
 228 EOF
 229         }
 230         print NEWFILE $_;
 231     }
 232     close (NEWFILE);
 233     close (OLDFILE);
 234     rename ("$fullname.new", $fullname)
 235       or die "rename $fullname.new to $fullname failed: $!\n";
 236
 237     # If we don't already have that Gnulib commit, update Gnulib.
 238     system ("$GIT rev-parse --verify --quiet $gnulib_commit^0 > /dev/null");
 239     if ($? != 0) {
 240         start_step ("Updating Gnulib to obtain commit");
 241         run ("$GIT fetch gnulib");
 242     }
 243     run ("$GIT update-ref refs/builds/$build_number/gnulib $gnulib_commit");
 244     set_var ("gnulib_ref", "refs/builds/$build_number/gnulib");
 245
 246     # Extract gnulib source.
 247     start_step ("Extract Gnulib source");
 248     run ("$GIT archive --format=tar --prefix=gnulib/ $gnulib_commit | tar xf -");
 249
 250     # Bootstrap.
 251     start_step ("Bootstrap (make -f Smake)");
 252     run ("cd pspp && make -f Smake", "bootstrap");
 253
 254     # Configure.
 255     start_step ("Configure source");
 256     run ("cd pspp && mkdir _build && cd _build && ../configure", "configure");
 257
 258     # Distribute.
 259     start_step ("Make source tarball");
 260     run ("cd pspp/_build && make dist", "dist");
 261     my $tarname = "pspp-$version.tar.gz";
 262     $tarball = save_result ("source distribution", "pspp/_build/$tarname", 1);
 263
 264     # Save translation templates.
 265     my $potfile = "pspp/_build/po/pspp.pot";
 266     $potfile = "pspp/po/pspp.pot" if ! -e $potfile;
 267     save_result ("translation templates", $potfile);
 268
 269     # Build user manual
 270     start_step ("Build user manual");
 271     run ("cd pspp && cp _build/doc/*.texi doc/");
 272     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texinfo -o $resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
 273     saved_result ("User Manual", "user-manual");
 274
 275     # Build developer's guide
 276     start_step ("Build developers guide");
 277     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texinfo -o $resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
 278     saved_result ("Developers Guide", "dev-guide");
 279 } else {
 280     $tarball = saved_result ("source distribution", $tarball);
 281 }
 282
 283 if ($build_binary) {
 284     start_step ("Save tarball to Git");
 285     run ("GIT_DIR=$topdir/.git $topdir/git-import-tar $tarball refs/builds/$build_number/dist", "git-dist");
 286     set_var ("dist_ref", "refs/builds/$build_number/dist");
 287     set_var ("dist_commit", ref_to_commit ("refs/builds/$build_number/dist"));
 288
 289     start_step ("Determining $tarball target directory");
 290     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
 291     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
 292     set_var ("dist_dir", $tarball_dir);
 293
 294     start_step ("Extracting source tarball");
 295     run ("zcat $tarball | (cd $builddir && tar xf -)");
 296
 297     start_step ("Extracting tar version");
 298     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
 299       =~ /configure (\S+)$/;
 300     set_var ("dist_version", $version);
 301     my ($binary_version) = "$version-$build_host-build$build_number";
 302     set_var ("binary_version", $binary_version);
 303
 304     start_step ("Configuring");
 305     run ("chmod -R a-w $builddir/$tarball_dir");
 306     run ("chmod u+w $builddir/$tarball_dir");
 307     run ("mkdir $builddir/$tarball_dir/_build");
 308     run ("chmod a-w $builddir/$tarball_dir");
 309     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --enable-relocatable --prefix=''", "bin-configure");
 310     for my $basename ("config.h", "config.log") {
 311         save_result_if_exists ("build configuration",
 312                                "$builddir/$tarball_dir/_build/$basename");
 313     }
 314     fail () if !$ok;
 315
 316     start_step ("Build");
 317     run ("cd $builddir/$tarball_dir/_build && make", "build");
 318
 319     start_step ("Install");
 320     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
 321
 322     start_step ("Make binary distribution");
 323     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
 324     save_result ("binary distribution", "$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
 325
 326     start_step ("Check");
 327     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
 328     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
 329         save_result_if_exists ("test logs", "$builddir/$tarball_dir/_build/$basename");
 330     }
 331     fail () if !$ok;
 332
 333     start_step ("Uninstall");
 334     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
 335
 336     start_step ("Check uninstall");
 337     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
 338
 339     # distcleancheck
 340 }
 341
 342 start_step ("Success");
 343
 344 sub usage {
 345     print <<EOF;
 346 $0, for building and testing PSPP
 347 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
 348 where TARBALL is the name of a tarball produced by "make dist"
 349    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
 350
 351 Options:
 352   --help            Print this usage message and exit
 353   --no-binary       Build source tarballs but no binaries.
 354   --batch           Do not print progress to stdout.
 355 EOF
 356     exit(0);
 357 }
 358
 359 sub run {
 360     fail () if !try_run (@_);
 361 }
 362
 363 sub try_run {
 364     my ($command, $id) = @_;
 365
 366     print LOG "$command\n";
 367
 368     my $pid = open (COMMAND, '-|');
 369     if (!defined ($pid)) {
 370         die "fork failed: $!\n";
 371     } elsif (!$pid) {
 372         dup2 (1, 2);
 373         exec ($command);
 374         die "$command: exec failed: $!\n";
 375     }
 376
 377     my ($start) = time ();
 378     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
 379
 380     local ($|) = 1;
 381     my $lines = 0;
 382     while (<COMMAND>) {
 383         print LOG $_;
 384
 385         my $elapsed = time () - $start;
 386         my $progress = sprintf "%d lines logged, %d s elapsed",
 387           $lines++, $elapsed;
 388         if ($est_time > 0) {
 389             my $left = $est_time - $elapsed;
 390             if ($left > 0) {
 391                 $progress .= sprintf ", ETA %d s", $left;
 392             }
 393         }
 394         print "\r$progress", " " x (79 - length ($progress)), "\r"
 395           unless $batch;
 396     }
 397     close (COMMAND);
 398     print "\r", " " x 79, "\r" unless $batch;
 399
 400     write_timing ($id, time () - $start) if defined ($id);
 401
 402     return 1 if !$?;
 403
 404     if ($? & 127) {
 405         printf STDERR "%s: child died with signal %d, %s coredump\n",
 406           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
 407     } else {
 408         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
 409     }
 410     return 0;
 411 }
 412
 413 sub read_timing {
 414     my ($id) = @_;
 415     open (TIMINGS, "<", "$topdir/timings") or return 0;
 416     while (<TIMINGS>) {
 417         chomp;
 418         my ($key, $value) = /^([^=]+)=(.*)/ or next;
 419         return $value if $key eq $id;
 420     }
 421     close (TIMINGS);
 422     return 0;
 423 }
 424
 425 sub write_timing {
 426     my ($id, $time) = @_;
 427
 428     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
 429
 430     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
 431         while (<OLDTIMINGS>) {
 432             if (my ($key, $value) = /^([^=]+)=(.*)/) {
 433                 next if $key eq $id;
 434             }
 435             print NEWTIMINGS $_;
 436         }
 437         close (OLDTIMINGS);
 438     }
 439
 440     print NEWTIMINGS "$id=$time\n";
 441     close (NEWTIMINGS);
 442
 443     rename ("$topdir/timings.tmp$$", "$topdir/timings");
 444 }
 445
 446 sub fail {
 447     die "Build failed, refer to:\n\t$logfile\nfor details.\n";
 448 }