pintos-os.org Git - pspp/blob - build-pspp

   1 #! /usr/bin/env perl
   2
   3 use Cwd;
   4 use File::Basename;
   5 use File::Spec;
   6 use Getopt::Long qw(:config bundling no_ignore_case);
   7 use IO::Handle;
   8 use POSIX;
   9
  10 use strict;
  11 use warnings;
  12
  13 my $help = 0;
  14 my $build_binary = 1;
  15 my $batch = 0;
  16 my $builddir;
  17 my $build_number;
  18 my $builder = `hostname`;
  19 chomp $builder;
  20 GetOptions ("h|help" => \$help,
  21             "binary!" => \$build_binary,
  22             "batch!" => \$batch,
  23             "o|output=s" => \$builddir,
  24             "builder=s" => \$builder,
  25             "build-number=i" => \$build_number);
  26
  27 usage () if $help;
  28
  29 die "$0: exactly one or two nonoption arguments are required\n"
  30   if @ARGV != 1 && @ARGV != 2;
  31
  32 my $tarball;
  33 if (@ARGV == 1) {
  34     $tarball = File::Spec->rel2abs ($ARGV[0]);
  35 } else {
  36     # Tarball will be generated later.
  37 }
  38
  39 # Select build number.
  40 if (!defined ($build_number)) {
  41     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
  42 }
  43
  44 my $topdir = dirname ($0);
  45 $topdir = cwd () . "/$topdir" if $topdir !~ m%^/%;
  46
  47 # Create build directory.
  48 if (!defined ($builddir)) {
  49     $builddir = "builds/$build_number";
  50     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
  51 }
  52 $builddir = File::Spec->rel2abs ($builddir);
  53 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
  54 chdir ($builddir) or die "$builddir: chdir: $!\n";
  55
  56 our $resultsdir = "$builddir/results";
  57 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
  58 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
  59
  60 my $varsfile = "$resultsdir/VARS";
  61 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
  62 VARS->autoflush (1);
  63
  64 our $logfile = "$resultsdir/LOG";
  65 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
  66
  67 set_var ("builder", $builder);
  68 set_var ("build_number", $build_number);
  69
  70 our $GIT = "git --git-dir=$topdir/.git";
  71
  72 sub start_step {
  73     my ($msg) = @_;
  74     print LOG "\f\n$msg\n";
  75     print "$msg\n" unless $batch;
  76 }
  77
  78 sub set_var {
  79     my ($var, $value) = @_;
  80
  81     print VARS "$var=$value\n";
  82
  83     print "\t$var=$value\n" unless $batch;
  84
  85     open (VAR, '>', "$resultsdir/vars/$var")
  86       or die "creating $resultsdir/$var failed: $!\n";
  87     print VAR "$value\n";
  88     close VAR;
  89 }
  90
  91 sub saved_result {
  92     my ($name, $product) = @_;
  93     start_step ("Saving $name: $product");
  94 }
  95
  96 sub save_result {
  97     my ($name, $src, $rm_src) = @_;
  98     my ($basename) = $src;
  99     $basename =~ s(^.*/)();
 100     my ($dst) = "$resultsdir/$basename";
 101
 102     saved_result ($name, $basename);
 103     run ("cp -R $src $dst");
 104
 105     if (defined ($rm_src) && $rm_src) {
 106         run ("rm $src");
 107     }
 108
 109     return $dst;
 110 }
 111
 112 sub save_result_if_exists {
 113     my ($name, $src, $rm_src) = @_;
 114     if (-e $src) {
 115         save_result (@_);
 116     } else {
 117         start_step ("$src does not exist, cannot save");
 118     }
 119 }
 120
 121 sub ref_to_commit {
 122     my ($ref) = @_;
 123     my $commit = `$GIT rev-parse $ref`;
 124     chomp $commit;
 125     return $commit;
 126 }
 127
 128 my $ssw = "spread-sheet-widget-0.4";
 129 if (@ARGV == 2) {
 130     my ($repo, $branch) = @ARGV;
 131
 132     my $ssw_tar = "$topdir/$ssw.tar.gz";
 133     #save_result ("spread-sheet-widget source", $ssw_tar);
 134     start_step ("Extract spread-sheet-widget");
 135     run ("tar xzf $ssw_tar");
 136
 137     start_step ("Configure spread-sheet-widget");
 138     run ("cd $ssw && ./configure --prefix=''");
 139
 140     start_step ("Build spread-sheet-widget");
 141     run ("cd $ssw && make -j10");
 142
 143     start_step ("Install spread-sheet-widget");
 144     run ("cd $ssw && make -j10 install DESTDIR=\$PWD/inst");
 145
 146     start_step ("Fetch branch from Git");
 147     set_var ("git_repo", $repo);
 148     set_var ("git_branch", $branch);
 149     run ("$GIT fetch $repo +$branch:refs/builds/$build_number/pspp");
 150
 151     # Get revision number.
 152     set_var ("pspp_ref", "refs/builds/$build_number/pspp");
 153     my $revision = ref_to_commit ("refs/builds/$build_number/pspp");
 154     set_var ("pspp_commit", $revision);
 155     my $abbrev_commit = substr ($revision, 0, 6);
 156
 157     # Extract source.
 158     start_step ("Extract branch into source directory");
 159     run ("$GIT archive --format=tar --prefix=pspp/ refs/builds/$build_number/pspp | tar xf -");
 160
 161     # Extract version number.
 162     start_step ("Extract repository version number");
 163     my $trace = `cd pspp && autoconf -t AC_INIT`;
 164     chomp $trace;
 165     my ($file, $line, $macro, $package, $repo_version, @rest)
 166       = split (':', $trace);
 167     set_var ("repo_version", $repo_version);
 168
 169     # Is this a "gnits" mode tree?
 170     start_step ("Checking Automake mode");
 171     open (MAKEFILE_AM, '<', "pspp/Makefile.am");
 172     my $am_mode = "gnu";
 173     while (<MAKEFILE_AM>) {
 174         if (/gnits/) {
 175             $am_mode = "gnits";
 176             last;
 177         }
 178     }
 179     close (MAKEFILE_AM);
 180     print LOG "Automake mode is $am_mode\n";
 181
 182     # Generate version number for build.
 183     # We want to append -g012345, but if we're in Gnits mode and the
 184     # version number already has a hyphen, we have to omit it.
 185     start_step ("Generate build version number");
 186     my $version = $repo_version;
 187     $version .= '-' unless $version =~ /-/;
 188     $version .= "g$abbrev_commit";
 189     set_var ("version", $version);
 190
 191     # Append -g012345 to configure.ac version number.
 192     start_step ("Updating version number in $file");
 193     my $fullname = "pspp/$file";
 194     open (OLDFILE, '<', $fullname)
 195       or die "opening $fullname failed: $!\n";
 196     open (NEWFILE, '>', "$fullname.new")
 197       or die "creating $fullname.new failed: $!\n";
 198     while (<OLDFILE>) {
 199         if ($. != $line) {
 200             print NEWFILE $_;
 201         } else {
 202             print NEWFILE "AC_INIT([$package], [$version]";
 203             print NEWFILE ", [$_]" foreach @rest;
 204             print NEWFILE ")\n";
 205         }
 206     }
 207     close (NEWFILE);
 208     close (OLDFILE);
 209     rename ("$fullname.new", $fullname)
 210       or die "rename $fullname.new to $fullname failed: $!\n";
 211
 212     # Get Gnulib commit number.
 213     start_step ("Reading README.Git to find Gnulib commit number");
 214     my $gnulib_commit;
 215     $fullname = "pspp/README.Git";
 216     open (README_GIT, '<', $fullname)
 217       or die "opening $fullname failed: $!\n";
 218     while (<README_GIT>) {
 219         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
 220     }
 221     die "$fullname does not specify a Git commit number\n"
 222       if !defined ($gnulib_commit);
 223     set_var ("gnulib_commit", $gnulib_commit);
 224
 225     # Add note to beginning of NEWS (otherwise "make dist" fails).
 226     start_step ("Updating NEWS");
 227     $fullname = "pspp/NEWS";
 228     open (OLDFILE, '<', $fullname)
 229       or die "opening $fullname failed: $!\n";
 230     open (NEWFILE, '>', "$fullname.new")
 231       or die "creating $fullname.new failed: $!\n";
 232     my $found_changes = 0;
 233     while (<OLDFILE>) {
 234         if (!$found_changes && /^Changes/) {
 235             $found_changes = 1;
 236             print NEWFILE <<EOF;
 237 Changes from $repo_version to $version:
 238
 239  * Built from PSPP commit $revision
 240    in branch $branch on builder $builder.
 241
 242  * Built from Gnulib commit $gnulib_commit.
 243
 244 EOF
 245         }
 246         print NEWFILE $_;
 247     }
 248     close (NEWFILE);
 249     close (OLDFILE);
 250     rename ("$fullname.new", $fullname)
 251       or die "rename $fullname.new to $fullname failed: $!\n";
 252
 253     # If we don't already have that Gnulib commit, update Gnulib.
 254     system ("$GIT rev-parse --verify --quiet $gnulib_commit^0 > /dev/null");
 255     if ($? != 0) {
 256         start_step ("Updating Gnulib to obtain commit");
 257         run ("$GIT fetch gnulib");
 258     }
 259     run ("$GIT update-ref refs/builds/$build_number/gnulib $gnulib_commit");
 260     set_var ("gnulib_ref", "refs/builds/$build_number/gnulib");
 261
 262     # Extract gnulib source.
 263     start_step ("Extract Gnulib source");
 264     run ("$GIT archive --format=tar --prefix=gnulib/ $gnulib_commit | tar xf -");
 265
 266     # Bootstrap.
 267     start_step ("Bootstrap (make -f Smake)");
 268     run ("cd pspp && make -f Smake -j10", "bootstrap");
 269
 270     # Configure.
 271     start_step ("Configure source");
 272     run ("cd pspp && mkdir _build && cd _build && ../configure PKG_CONFIG_PATH=\$PWD/../../../source/$ssw/inst/lib/pkgconfig", "configure");
 273
 274     # Distribute.
 275     start_step ("Make source tarball");
 276     run ("cd pspp/_build && make dist", "dist");
 277     my $tarname = "pspp-$version.tar.gz";
 278     $tarball = save_result ("source distribution", "pspp/_build/$tarname", 1);
 279
 280     # Save translation templates.
 281     my $potfile = "pspp/_build/po/pspp.pot";
 282     $potfile = "pspp/po/pspp.pot" if ! -e $potfile;
 283     save_result ("translation templates", $potfile);
 284
 285     # Build user manual
 286     start_step ("Build user manual");
 287     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texi -I doc -o $resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
 288     saved_result ("User Manual", "user-manual");
 289
 290     # Build developer's guide
 291     start_step ("Build developers guide");
 292     run ("cd pspp && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texi -I doc -o $resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
 293     saved_result ("Developers Guide", "dev-guide");
 294 } else {
 295     start_step ("Starting from $tarball");
 296 }
 297
 298 if ($build_binary) {
 299     start_step ("Save tarball to Git");
 300     run ("GIT_DIR=$topdir/.git $topdir/git-import-tar $tarball refs/builds/$build_number/dist", "git-dist");
 301     set_var ("dist_ref", "refs/builds/$build_number/dist");
 302     set_var ("dist_commit", ref_to_commit ("refs/builds/$build_number/dist"));
 303
 304     start_step ("Determining $tarball target directory");
 305     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
 306     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
 307     set_var ("dist_dir", $tarball_dir);
 308
 309     start_step ("Extracting source tarball");
 310     run ("zcat $tarball | (cd $builddir && tar xf -)");
 311
 312     start_step ("Extracting tar version");
 313     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
 314       =~ /configure (\S+)$/;
 315     set_var ("dist_version", $version);
 316     my ($binary_version) = "$version-$builder-build$build_number";
 317     set_var ("binary_version", $binary_version);
 318
 319     start_step ("Configuring");
 320     run ("chmod -R a-w $builddir/$tarball_dir");
 321     run ("chmod u+w $builddir/$tarball_dir");
 322     run ("chmod -R u+w $builddir/$tarball_dir/perl-module");
 323     run ("mkdir $builddir/$tarball_dir/_build");
 324     run ("chmod a-w $builddir/$tarball_dir");
 325     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --with-perl-module --enable-relocatable --prefix='' PKG_CONFIG_PATH=\$PWD/../../../source/$ssw/inst/lib/pkgconfig CPPFLAGS=\"-I\$PWD/../../../source/$ssw/inst/include\" LDFLAGS=\"-L\$PWD/../../../source/$ssw/inst/lib\"", "bin-configure");
 326     for my $basename ("config.h", "config.log") {
 327         save_result_if_exists ("build configuration",
 328                                "$builddir/$tarball_dir/_build/$basename");
 329     }
 330     fail () if !$ok;
 331
 332     start_step ("Build");
 333     run ("cd $builddir/$tarball_dir/_build && make -j10", "build");
 334     run ("cd $builddir/$tarball_dir/_build/perl-module && perl Makefile.PL && make -j10", "build Perl module");
 335
 336     start_step ("Install");
 337     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
 338     run ("cd ../source/$ssw && make -j10 install DESTDIR=$builddir/$tarball_dir/_build/pspp-$binary_version");
 339     run ("cd $builddir/$tarball_dir/_build/perl-module && make install DESTDIR=$builddir/$tarball_dir/_build/pspp-$binary_version", "install Perl module");
 340     run ("cd $builddir/$tarball_dir/_build/perl-module && make install DESTDIR=\$PWD/inst");
 341
 342     start_step ("Make binary distribution");
 343     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
 344     save_result ("binary distribution", "$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
 345
 346     start_step ("Check");
 347     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
 348     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
 349         save_result_if_exists ("test logs", "$builddir/$tarball_dir/_build/$basename");
 350     }
 351     fail () if !$ok;
 352
 353     start_step ("Uninstall");
 354     run ("cd ../source/$ssw && make -j10 uninstall DESTDIR=$builddir/$tarball_dir/_build/pspp-$binary_version");
 355     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
 356
 357     start_step ("Check uninstall");
 358     run ("(cd $builddir/$tarball_dir/_build/perl-module/inst && find -type f -print) | (cd $builddir/$tarball_dir/_build/pspp-$binary_version && xargs rm)", "uninstall Perl module");
 359     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
 360
 361     # distcleancheck
 362 }
 363
 364 start_step ("Success");
 365
 366 sub usage {
 367     print <<EOF;
 368 $0, for building and testing PSPP
 369 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
 370 where TARBALL is the name of a tarball produced by "make dist"
 371    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
 372
 373 Options:
 374   --help            Print this usage message and exit
 375   --no-binary       Build source tarballs but no binaries.
 376   --batch           Do not print progress to stdout.
 377 EOF
 378     exit(0);
 379 }
 380
 381 sub run {
 382     fail () if !try_run (@_);
 383 }
 384
 385 sub try_run {
 386     my ($command, $id) = @_;
 387
 388     print LOG "$command\n";
 389
 390     my $pid = open (COMMAND, '-|');
 391     if (!defined ($pid)) {
 392         die "fork failed: $!\n";
 393     } elsif (!$pid) {
 394         dup2 (1, 2);
 395         exec ($command);
 396         die "$command: exec failed: $!\n";
 397     }
 398
 399     my ($start) = time ();
 400     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
 401
 402     local ($|) = 1;
 403     my $lines = 0;
 404     while (<COMMAND>) {
 405         print LOG $_;
 406
 407         my $elapsed = time () - $start;
 408         my $progress = sprintf "%d lines logged, %d s elapsed",
 409           $lines++, $elapsed;
 410         if ($est_time > 0) {
 411             my $left = $est_time - $elapsed;
 412             if ($left > 0) {
 413                 $progress .= sprintf ", ETA %d s", $left;
 414             }
 415         }
 416         print "\r$progress", " " x (79 - length ($progress)), "\r"
 417           unless $batch;
 418     }
 419     close (COMMAND);
 420     print "\r", " " x 79, "\r" unless $batch;
 421
 422     write_timing ($id, time () - $start) if defined ($id);
 423
 424     return 1 if !$?;
 425
 426     if ($? & 127) {
 427         printf STDERR "%s: child died with signal %d, %s coredump\n",
 428           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
 429     } else {
 430         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
 431     }
 432     return 0;
 433 }
 434
 435 sub read_timing {
 436     my ($id) = @_;
 437     open (TIMINGS, "<", "$topdir/timings") or return 0;
 438     while (<TIMINGS>) {
 439         chomp;
 440         my ($key, $value) = /^([^=]+)=(.*)/ or next;
 441         return $value if $key eq $id;
 442     }
 443     close (TIMINGS);
 444     return 0;
 445 }
 446
 447 sub write_timing {
 448     my ($id, $time) = @_;
 449
 450     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
 451
 452     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
 453         while (<OLDTIMINGS>) {
 454             if (my ($key, $value) = /^([^=]+)=(.*)/) {
 455                 next if $key eq $id;
 456             }
 457             print NEWTIMINGS $_;
 458         }
 459         close (OLDTIMINGS);
 460     }
 461
 462     print NEWTIMINGS "$id=$time\n";
 463     close (NEWTIMINGS);
 464
 465     rename ("$topdir/timings.tmp$$", "$topdir/timings");
 466 }
 467
 468 sub fail {
 469     die "Build failed, refer to:\n\t$logfile\nfor details.\n";
 470 }