pintos-os.org Git - pspp/blob - build-pspp

   1 #! /usr/bin/env perl
   2
   3 use Cwd;
   4 use File::Basename;
   5 use File::Spec;
   6 use Getopt::Long qw(:config bundling no_ignore_case);
   7 use IO::Handle;
   8 use POSIX;
   9
  10 use strict;
  11 use warnings;
  12
  13 my $help = 0;
  14 my $build_binary = 1;
  15 my $batch = 0;
  16 my $builddir;
  17 my $build_number;
  18 my $builder = `hostname`;
  19 chomp $builder;
  20 GetOptions ("h|help" => \$help,
  21             "binary!" => \$build_binary,
  22             "batch!" => \$batch,
  23             "o|output=s" => \$builddir,
  24             "builder=s" => \$builder,
  25             "build-number=i" => \$build_number);
  26
  27 usage () if $help;
  28
  29 die "$0: exactly one or two nonoption arguments are required\n"
  30   if @ARGV != 1 && @ARGV != 2;
  31
  32 my $tarball;
  33 if (@ARGV == 1) {
  34     $tarball = File::Spec->rel2abs ($ARGV[0]);
  35 } else {
  36     # Tarball will be generated later.
  37 }
  38
  39 # Select build number.
  40 if (!defined ($build_number)) {
  41     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
  42 }
  43
  44 my $topdir = dirname ($0);
  45 $topdir = cwd () . "/$topdir" if $topdir !~ m%^/%;
  46
  47 # Create build directory.
  48 if (!defined ($builddir)) {
  49     $builddir = "builds/$build_number";
  50     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
  51 }
  52 $builddir = File::Spec->rel2abs ($builddir);
  53 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
  54 chdir ($builddir) or die "$builddir: chdir: $!\n";
  55
  56 our $resultsdir = "$builddir/results";
  57 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
  58 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
  59
  60 my $varsfile = "$resultsdir/VARS";
  61 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
  62 VARS->autoflush (1);
  63
  64 our $logfile = "$resultsdir/LOG";
  65 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
  66
  67 set_var ("builder", $builder);
  68 set_var ("build_number", $build_number);
  69
  70 our $GIT = "git --git-dir=$topdir/.git";
  71
  72 sub start_step {
  73     my ($msg) = @_;
  74     print LOG "\f\n$msg\n";
  75     print "$msg\n" unless $batch;
  76 }
  77
  78 sub set_var {
  79     my ($var, $value) = @_;
  80
  81     print VARS "$var=$value\n";
  82
  83     print "\t$var=$value\n" unless $batch;
  84
  85     open (VAR, '>', "$resultsdir/vars/$var")
  86       or die "creating $resultsdir/$var failed: $!\n";
  87     print VAR "$value\n";
  88     close VAR;
  89 }
  90
  91 sub saved_result {
  92     my ($name, $product) = @_;
  93     start_step ("Saving $name: $product");
  94 }
  95
  96 sub save_result {
  97     my ($name, $src, $rm_src) = @_;
  98     my ($basename) = $src;
  99     $basename =~ s(^.*/)();
 100     my ($dst) = "$resultsdir/$basename";
 101
 102     saved_result ($name, $basename);
 103     run ("cp -R $src $dst");
 104
 105     if (defined ($rm_src) && $rm_src) {
 106         run ("rm $src");
 107     }
 108
 109     return $dst;
 110 }
 111
 112 sub save_result_if_exists {
 113     my ($name, $src, $rm_src) = @_;
 114     if (-e $src) {
 115         save_result (@_);
 116     } else {
 117         start_step ("$src does not exist, cannot save");
 118     }
 119 }
 120
 121 sub ref_to_commit {
 122     my ($ref) = @_;
 123     my $commit = `$GIT rev-parse $ref`;
 124     chomp $commit;
 125     return $commit;
 126 }
 127
 128 my $ssw = "spread-sheet-widget-0.1";
 129 if (@ARGV == 2) {
 130     my ($repo, $branch) = @ARGV;
 131
 132     my $ssw_tar = "$topdir/$ssw.tar.gz";
 133     start_step ("Extract spread-sheet-widget");
 134     run ("tar xzf $ssw_tar");
 135
 136     start_step ("Configure spread-sheet-widget");
 137     run ("cd $ssw && ./configure --prefix=''");
 138
 139     start_step ("Build spread-sheet-widget");
 140     run ("cd $ssw && make -j10");
 141
 142     start_step ("Install spread-sheet-widget");
 143     run ("cd $ssw && make -j10 install DESTDIR=\$PWD/inst");
 144
 145     start_step ("Fetch branch from Git");
 146     set_var ("git_repo", $repo);
 147     set_var ("git_branch", $branch);
 148     run ("$GIT fetch $repo +$branch:refs/builds/$build_number/pspp");
 149
 150     # Get revision number.
 151     set_var ("pspp_ref", "refs/builds/$build_number/pspp");
 152     my $revision = ref_to_commit ("refs/builds/$build_number/pspp");
 153     set_var ("pspp_commit", $revision);
 154     my $abbrev_commit = substr ($revision, 0, 6);
 155
 156     # Extract source.
 157     start_step ("Extract branch into source directory");
 158     run ("$GIT archive --format=tar --prefix=pspp/ refs/builds/$build_number/pspp | tar xf -");
 159
 160     # Extract version number.
 161     start_step ("Extract repository version number");
 162     my $trace = `cd pspp && autoconf -t AC_INIT`;
 163     chomp $trace;
 164     my ($file, $line, $macro, $package, $repo_version, @rest)
 165       = split (':', $trace);
 166     set_var ("repo_version", $repo_version);
 167
 168     # Is this a "gnits" mode tree?
 169     start_step ("Checking Automake mode");
 170     open (MAKEFILE_AM, '<', "pspp/Makefile.am");
 171     my $am_mode = "gnu";
 172     while (<MAKEFILE_AM>) {
 173         if (/gnits/) {
 174             $am_mode = "gnits";
 175             last;
 176         }
 177     }
 178     close (MAKEFILE_AM);
 179     print LOG "Automake mode is $am_mode\n";
 180
 181     # Generate version number for build.
 182     # We want to append -g012345, but if we're in Gnits mode and the
 183     # version number already has a hyphen, we have to omit it.
 184     start_step ("Generate build version number");
 185     my $version = $repo_version;
 186     $version .= '-' unless $version =~ /-/;
 187     $version .= "g$abbrev_commit";
 188     set_var ("version", $version);
 189
 190     # Append -g012345 to configure.ac version number.
 191     start_step ("Updating version number in $file");
 192     my $fullname = "pspp/$file";
 193     open (OLDFILE, '<', $fullname)
 194       or die "opening $fullname failed: $!\n";
 195     open (NEWFILE, '>', "$fullname.new")
 196       or die "creating $fullname.new failed: $!\n";
 197     while (<OLDFILE>) {
 198         if ($. != $line) {
 199             print NEWFILE $_;
 200         } else {
 201             print NEWFILE "AC_INIT([$package], [$version]";
 202             print NEWFILE ", [$_]" foreach @rest;
 203             print NEWFILE ")\n";
 204         }
 205     }
 206     close (NEWFILE);
 207     close (OLDFILE);
 208     rename ("$fullname.new", $fullname)
 209       or die "rename $fullname.new to $fullname failed: $!\n";
 210
 211     # Get Gnulib commit number.
 212     start_step ("Reading README.Git to find Gnulib commit number");
 213     my $gnulib_commit;
 214     $fullname = "pspp/README.Git";
 215     open (README_GIT, '<', $fullname)
 216       or die "opening $fullname failed: $!\n";
 217     while (<README_GIT>) {
 218         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
 219     }
 220     die "$fullname does not specify a Git commit number\n"
 221       if !defined ($gnulib_commit);
 222     set_var ("gnulib_commit", $gnulib_commit);
 223
 224     # Add note to beginning of NEWS (otherwise "make dist" fails).
 225     start_step ("Updating NEWS");
 226     $fullname = "pspp/NEWS";
 227     open (OLDFILE, '<', $fullname)
 228       or die "opening $fullname failed: $!\n";
 229     open (NEWFILE, '>', "$fullname.new")
 230       or die "creating $fullname.new failed: $!\n";
 231     my $found_changes = 0;
 232     while (<OLDFILE>) {
 233         if (!$found_changes && /^Changes/) {
 234             $found_changes = 1;
 235             print NEWFILE <<EOF;
 236 Changes from $repo_version to $version:
 237
 238  * Built from PSPP commit $revision
 239    in branch $branch on builder $builder.
 240
 241  * Built from Gnulib commit $gnulib_commit.
 242
 243 EOF
 244         }
 245         print NEWFILE $_;
 246     }
 247     close (NEWFILE);
 248     close (OLDFILE);
 249     rename ("$fullname.new", $fullname)
 250       or die "rename $fullname.new to $fullname failed: $!\n";
 251
 252     # If we don't already have that Gnulib commit, update Gnulib.
 253     system ("$GIT rev-parse --verify --quiet $gnulib_commit^0 > /dev/null");
 254     if ($? != 0) {
 255         start_step ("Updating Gnulib to obtain commit");
 256         run ("$GIT fetch gnulib");
 257     }
 258     run ("$GIT update-ref refs/builds/$build_number/gnulib $gnulib_commit");
 259     set_var ("gnulib_ref", "refs/builds/$build_number/gnulib");
 260
 261     # Extract gnulib source.
 262     start_step ("Extract Gnulib source");
 263     run ("$GIT archive --format=tar --prefix=gnulib/ $gnulib_commit | tar xf -");
 264
 265     # Bootstrap.
 266     start_step ("Bootstrap (make -f Smake)");
 267     run ("cd pspp && make -f Smake -j10", "bootstrap");
 268
 269     # Configure.
 270     start_step ("Configure source");
 271     run ("cd pspp && mkdir _build && cd _build && ../configure PKG_CONFIG_PATH=\$PWD/../../../source/$ssw/inst/lib/pkgconfig", "configure");
 272
 273     # Distribute.
 274     start_step ("Make source tarball");
 275     run ("cd pspp/_build && make dist", "dist");
 276     my $tarname = "pspp-$version.tar.gz";
 277     $tarball = save_result ("source distribution", "pspp/_build/$tarname", 1);
 278
 279     # Save translation templates.
 280     my $potfile = "pspp/_build/po/pspp.pot";
 281     $potfile = "pspp/po/pspp.pot" if ! -e $potfile;
 282     save_result ("translation templates", $potfile);
 283
 284     # Build user manual
 285     start_step ("Build user manual");
 286     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texi -I doc -o $resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
 287     saved_result ("User Manual", "user-manual");
 288
 289     # Build developer's guide
 290     start_step ("Build developers guide");
 291     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texi -I doc -o $resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
 292     saved_result ("Developers Guide", "dev-guide");
 293 } else {
 294     start_step ("Starting from $tarball");
 295 }
 296
 297 if ($build_binary) {
 298     start_step ("Save tarball to Git");
 299     run ("GIT_DIR=$topdir/.git $topdir/git-import-tar $tarball refs/builds/$build_number/dist", "git-dist");
 300     set_var ("dist_ref", "refs/builds/$build_number/dist");
 301     set_var ("dist_commit", ref_to_commit ("refs/builds/$build_number/dist"));
 302
 303     start_step ("Determining $tarball target directory");
 304     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
 305     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
 306     set_var ("dist_dir", $tarball_dir);
 307
 308     start_step ("Extracting source tarball");
 309     run ("zcat $tarball | (cd $builddir && tar xf -)");
 310
 311     start_step ("Extracting tar version");
 312     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
 313       =~ /configure (\S+)$/;
 314     set_var ("dist_version", $version);
 315     my ($binary_version) = "$version-$builder-build$build_number";
 316     set_var ("binary_version", $binary_version);
 317
 318     start_step ("Configuring");
 319     run ("chmod -R a-w $builddir/$tarball_dir");
 320     run ("chmod u+w $builddir/$tarball_dir");
 321     run ("mkdir $builddir/$tarball_dir/_build");
 322     run ("chmod a-w $builddir/$tarball_dir");
 323     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --enable-relocatable --prefix='' PKG_CONFIG_PATH=\$PWD/../../../source/$ssw/inst/lib/pkgconfig CPPFLAGS=\"-I\$PWD/../../../source/$ssw/inst/include\" LDFLAGS=\"-L\$PWD/../../../source/$ssw/inst/lib\"", "bin-configure");
 324     for my $basename ("config.h", "config.log") {
 325         save_result_if_exists ("build configuration",
 326                                "$builddir/$tarball_dir/_build/$basename");
 327     }
 328     fail () if !$ok;
 329
 330     start_step ("Build");
 331     run ("cd $builddir/$tarball_dir/_build && make -j10", "build");
 332
 333     start_step ("Install");
 334     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
 335     run ("cd ../source/$ssw && make -j10 install DESTDIR=$builddir/$tarball_dir/_build/pspp-$binary_version");
 336
 337     start_step ("Make binary distribution");
 338     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
 339     save_result ("binary distribution", "$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
 340
 341     start_step ("Check");
 342     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
 343     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
 344         save_result_if_exists ("test logs", "$builddir/$tarball_dir/_build/$basename");
 345     }
 346     fail () if !$ok;
 347
 348     start_step ("Uninstall");
 349     run ("cd ../source/$ssw && make -j10 uninstall DESTDIR=$builddir/$tarball_dir/_build/pspp-$binary_version");
 350     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
 351
 352     start_step ("Check uninstall");
 353     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
 354
 355     # distcleancheck
 356 }
 357
 358 start_step ("Success");
 359
 360 sub usage {
 361     print <<EOF;
 362 $0, for building and testing PSPP
 363 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
 364 where TARBALL is the name of a tarball produced by "make dist"
 365    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
 366
 367 Options:
 368   --help            Print this usage message and exit
 369   --no-binary       Build source tarballs but no binaries.
 370   --batch           Do not print progress to stdout.
 371 EOF
 372     exit(0);
 373 }
 374
 375 sub run {
 376     fail () if !try_run (@_);
 377 }
 378
 379 sub try_run {
 380     my ($command, $id) = @_;
 381
 382     print LOG "$command\n";
 383
 384     my $pid = open (COMMAND, '-|');
 385     if (!defined ($pid)) {
 386         die "fork failed: $!\n";
 387     } elsif (!$pid) {
 388         dup2 (1, 2);
 389         exec ($command);
 390         die "$command: exec failed: $!\n";
 391     }
 392
 393     my ($start) = time ();
 394     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
 395
 396     local ($|) = 1;
 397     my $lines = 0;
 398     while (<COMMAND>) {
 399         print LOG $_;
 400
 401         my $elapsed = time () - $start;
 402         my $progress = sprintf "%d lines logged, %d s elapsed",
 403           $lines++, $elapsed;
 404         if ($est_time > 0) {
 405             my $left = $est_time - $elapsed;
 406             if ($left > 0) {
 407                 $progress .= sprintf ", ETA %d s", $left;
 408             }
 409         }
 410         print "\r$progress", " " x (79 - length ($progress)), "\r"
 411           unless $batch;
 412     }
 413     close (COMMAND);
 414     print "\r", " " x 79, "\r" unless $batch;
 415
 416     write_timing ($id, time () - $start) if defined ($id);
 417
 418     return 1 if !$?;
 419
 420     if ($? & 127) {
 421         printf STDERR "%s: child died with signal %d, %s coredump\n",
 422           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
 423     } else {
 424         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
 425     }
 426     return 0;
 427 }
 428
 429 sub read_timing {
 430     my ($id) = @_;
 431     open (TIMINGS, "<", "$topdir/timings") or return 0;
 432     while (<TIMINGS>) {
 433         chomp;
 434         my ($key, $value) = /^([^=]+)=(.*)/ or next;
 435         return $value if $key eq $id;
 436     }
 437     close (TIMINGS);
 438     return 0;
 439 }
 440
 441 sub write_timing {
 442     my ($id, $time) = @_;
 443
 444     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
 445
 446     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
 447         while (<OLDTIMINGS>) {
 448             if (my ($key, $value) = /^([^=]+)=(.*)/) {
 449                 next if $key eq $id;
 450             }
 451             print NEWTIMINGS $_;
 452         }
 453         close (OLDTIMINGS);
 454     }
 455
 456     print NEWTIMINGS "$id=$time\n";
 457     close (NEWTIMINGS);
 458
 459     rename ("$topdir/timings.tmp$$", "$topdir/timings");
 460 }
 461
 462 sub fail {
 463     die "Build failed, refer to:\n\t$logfile\nfor details.\n";
 464 }