d8e4a794cb59d755f1dde8d0e2f4670413585233
[pspp] / build-pspp
1 #! /usr/bin/env perl
2
3 use Cwd;
4 use File::Basename;
5 use File::Spec;
6 use Getopt::Long qw(:config bundling no_ignore_case);
7 use IO::Handle;
8 use POSIX;
9
10 use strict;
11 use warnings;
12
13 my $help = 0;
14 my $build_binary = 1;
15 my $batch = 0;
16 my $builddir;
17 my $build_number;
18 GetOptions ("h|help" => \$help,
19             "binary!" => \$build_binary,
20             "batch!" => \$batch,
21             "o|output=s" => \$builddir,
22             "build-number=i" => \$build_number);
23
24 usage () if $help;
25
26 die "$0: exactly one or two nonoption arguments are required\n"
27   if @ARGV != 1 && @ARGV != 2;
28
29 my $tarball;
30 if (@ARGV == 1) {
31     $tarball = File::Spec->rel2abs ($ARGV[0]);
32 } else {
33     # Tarball will be generated later.
34 }
35
36 # Select build number.
37 if (!defined ($build_number)) {
38     $build_number = POSIX::strftime("%Y%m%d%H%M%S", localtime);
39 }
40
41 my $topdir = dirname ($0);
42 $topdir = cwd () . "/$topdir" if $topdir !~ m%^/%;
43
44 # Create build directory.
45 if (!defined ($builddir)) {
46     $builddir = "builds/$build_number";
47     mkdir "builds" or die "builds: mkdir: $!\n" if ! -d "builds";
48 }
49 $builddir = File::Spec->rel2abs ($builddir);
50 -d $builddir or mkdir $builddir or die "$builddir: mkdir: $!\n";
51 chdir ($builddir) or die "$builddir: chdir: $!\n";
52
53 our $resultsdir = "$builddir/results";
54 mkdir $resultsdir or die "$resultsdir: mkdir: $!\n";
55 mkdir "$resultsdir/vars" or die "$resultsdir/vars: mkdir: $!\n";
56
57 my $varsfile = "$resultsdir/VARS";
58 open (VARS, '>', $varsfile) or die "creating $varsfile failed: $!\n";
59 VARS->autoflush (1);
60
61 our $logfile = "$resultsdir/LOG";
62 open (LOG, '>', $logfile) or die "creating $logfile failed: $!\n";
63
64 my $build_host = `hostname`;
65 chomp $build_host;
66 set_var ("build_host", $build_host);
67 set_var ("build_number", $build_number);
68
69 sub start_step {
70     my ($msg) = @_;
71     print LOG "\f\n$msg\n";
72     print "$msg\n" unless $batch;
73 }
74
75 sub set_var {
76     my ($var, $value) = @_;
77
78     print VARS "$var=$value\n";
79
80     print "\t$var=$value\n" unless $batch;
81
82     open (VAR, '>', "$resultsdir/vars/$var")
83       or die "creating $resultsdir/$var failed: $!\n";
84     print VAR "$value\n";
85     close VAR;
86 }
87
88 sub saved_result {
89     my ($name, $product) = @_;
90     start_step ("Saving $name: $product");
91 }
92
93 sub save_result {
94     my ($name, $src, $rm_src) = @_;
95     my ($basename) = $src;
96     $basename =~ s(^.*/)();
97     my ($dst) = "$resultsdir/$basename";
98
99     saved_result ($name, $basename);
100     run ("cp -R $src $dst");
101
102     if (defined ($rm_src) && $rm_src) {
103         run ("rm $src");
104     }
105
106     return $dst;
107 }
108
109 sub save_result_if_exists {
110     my ($name, $src, $rm_src) = @_;
111     if (-e $src) {
112         save_result (@_);
113     } else {
114         start_step ("$src does not exist, cannot save");
115     }
116 }
117
118 my $GIT = "git --git-dir=$topdir/.git";
119
120 if (@ARGV == 2) {
121     my ($repo, $branch) = @ARGV;
122
123     # Fetch branch
124     start_step ("Fetch $repo, branch $branch");
125     run ("$GIT fetch $repo +$branch:refs/builds/$build_number/pspp");
126
127     # Get revision number.
128     my $revision = `$GIT rev-parse refs/builds/$build_number/pspp`;
129     chomp $revision;
130     set_var ("pspp_commit", $revision);
131     my $abbrev_commit = substr ($revision, 0, 6);
132
133     # Extract source.
134     start_step ("Extract branch into source directory");
135     run ("$GIT archive --format=tar --prefix=pspp$build_number/ refs/builds/$build_number/pspp | tar xf -");
136
137     # Extract version number.
138     start_step ("Extract repository version number");
139     my $trace = `cd pspp$build_number && autoconf -t AC_INIT`;
140     chomp $trace;
141     my ($file, $line, $macro, $package, $repo_version, @rest)
142       = split (':', $trace);
143     set_var ("repo_version", $repo_version);
144
145     # Is this a "gnits" mode tree?
146     start_step ("Checking Automake mode");
147     open (MAKEFILE_AM, '<', "pspp$build_number/Makefile.am");
148     my $am_mode = "gnu";
149     while (<MAKEFILE_AM>) {
150         if (/gnits/) {
151             $am_mode = "gnits";
152             last;
153         }
154     }
155     close (MAKEFILE_AM);
156     set_var ("am_mode", $am_mode);
157
158     # Generate version number for build.
159     # We want to append -g012345, but if we're in Gnits mode and the
160     # version number already has a hyphen, we have to omit it.
161     start_step ("Generate build version number");
162     my $version = $repo_version;
163     $version .= '-' unless $version =~ /-/;
164     $version .= "g$abbrev_commit";
165     set_var ("version", $version);
166
167     # Append -g012345 to configure.ac version number.
168     start_step ("Updating version number in $file");
169     my $fullname = "pspp$build_number/$file";
170     open (OLDFILE, '<', $fullname)
171       or die "opening $fullname failed: $!\n";
172     open (NEWFILE, '>', "$fullname.new")
173       or die "creating $fullname.new failed: $!\n";
174     while (<OLDFILE>) {
175         if ($. != $line) {
176             print NEWFILE $_;
177         } else {
178             print NEWFILE "AC_INIT([$package], [$version]";
179             print NEWFILE ", [$_]" foreach @rest;
180             print NEWFILE ")\n";
181         }
182     }
183     close (NEWFILE);
184     close (OLDFILE);
185     rename ("$fullname.new", $fullname)
186       or die "rename $fullname.new to $fullname failed: $!\n";
187
188     # Get Gnulib commit number.
189     start_step ("Reading README.Git to find Gnulib commit number");
190     my $gnulib_commit;
191     $fullname = "pspp$build_number/README.Git";
192     open (README_GIT, '<', $fullname)
193       or die "opening $fullname failed: $!\n";
194     while (<README_GIT>) {
195         ($gnulib_commit) = /^\s+commit ([0-9a-fA-F]{8,})/ and last;
196     }
197     die "$fullname does not specify a Git commit number\n"
198       if !defined ($gnulib_commit);
199     set_var ("gnulib_commit", $gnulib_commit);
200
201     # Add note to beginning of NEWS (otherwise "make dist" fails).
202     start_step ("Updating NEWS");
203     $fullname = "pspp$build_number/NEWS";
204     open (OLDFILE, '<', $fullname)
205       or die "opening $fullname failed: $!\n";
206     open (NEWFILE, '>', "$fullname.new")
207       or die "creating $fullname.new failed: $!\n";
208     my $found_changes = 0;
209     while (<OLDFILE>) {
210         if (!$found_changes && /^Changes/) {
211             $found_changes = 1;
212             print NEWFILE <<EOF;
213 Changes from $repo_version to $version:
214
215  * Built from PSPP commit $revision
216    in branch $branch on host $build_host.
217
218  * Built from Gnulib commit $gnulib_commit.
219
220 EOF
221         }
222         print NEWFILE $_;
223     }
224     close (NEWFILE);
225     close (OLDFILE);
226     rename ("$fullname.new", $fullname)
227       or die "rename $fullname.new to $fullname failed: $!\n";
228
229     # If we don't already have that Gnulib commit, update Gnulib.
230     system ("$GIT rev-parse --verify --quiet $gnulib_commit");
231     if ($? != 0) {
232         start_step ("Updating Gnulib to obtain commit");
233         run ("$GIT fetch gnulib");
234     }
235     run ("$GIT update-ref refs/builds/$build_number/gnulib $gnulib_commit");
236
237     # Extract gnulib source.
238     start_step ("Extract Gnulib source");
239     run ("$GIT archive --format=tar --prefix=gnulib/ $gnulib_commit | tar xf -");
240
241     # Bootstrap.
242     start_step ("Bootstrap (make -f Smake)");
243     run ("cd pspp$build_number && make -f Smake", "bootstrap");
244
245     # Configure.
246     start_step ("Configure source");
247     run ("cd pspp$build_number && mkdir _build && cd _build && ../configure", "configure");
248
249     # Distribute.
250     start_step ("Make source tarball");
251     run ("cd pspp$build_number/_build && make dist", "dist");
252     my $tarname = "pspp-$version.tar.gz";
253     $tarball = save_result ("source distribution", "pspp$build_number/_build/$tarname", 1);
254
255     # Build user manual
256     start_step ("Build user manual");
257     run ("cd pspp$build_number && cp _build/doc/*.texi doc/");
258     run ("cd pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp.texinfo -o $resultsdir/user-manual --email bug-gnu-pspp\@gnu.org pspp \"GNU PSPP User Manual\"", "user-manual");
259     saved_result ("User Manual", "user-manual");
260
261     # Build developer's guide
262     start_step ("Build developers guide");
263     run ("cd pspp$build_number && GENDOCS_TEMPLATE_DIR=$topdir $topdir/gendocs.sh -s doc/pspp-dev.texinfo -o $resultsdir/dev-guide --email bug-gnu-pspp\@gnu.org pspp-dev \"GNU PSPP Developers Guide\"", "dev-guide");
264     saved_result ("Developers Guide", "dev-guide");
265 }
266
267 if ($build_binary) {
268     start_step ("Determining $tarball target directory");
269     my $sample_filename = `zcat $tarball | tar tf - | head -1`;
270     my ($tarball_dir) = $sample_filename =~ m%^(?:[./])*([^/]+)/%;
271     set_var ("dist_dir", $tarball_dir);
272
273     start_step ("Extracting source tarball");
274     run ("zcat $tarball | (cd $builddir && tar xf -)");
275
276     start_step ("Extracting tar version");
277     my ($version) = `cd $builddir/$tarball_dir && ./configure --version | head -1`
278       =~ /configure (\S+)$/;
279     set_var ("dist_version", $version);
280     my ($binary_version) = "$version-$build_host-build$build_number";
281     set_var ("binary_version", $binary_version);
282
283     start_step ("Configuring");
284     run ("chmod -R a-w $builddir/$tarball_dir");
285     run ("chmod u+w $builddir/$tarball_dir");
286     run ("mkdir $builddir/$tarball_dir/_build");
287     run ("chmod a-w $builddir/$tarball_dir");
288     my $ok = try_run ("cd $builddir/$tarball_dir/_build && ../configure --enable-relocatable --prefix=''", "bin-configure");
289     for my $basename ("config.h", "config.log") {
290         save_result_if_exists ("build configuration",
291                                "$builddir/$tarball_dir/_build/$basename");
292     }
293     fail () if !$ok;
294
295     start_step ("Build");
296     run ("cd $builddir/$tarball_dir/_build && make", "build");
297
298     start_step ("Install");
299     run ("cd $builddir/$tarball_dir/_build && make install DESTDIR=\$PWD/pspp-$binary_version", "install");
300
301     start_step ("Make binary distribution");
302     run ("cd $builddir/$tarball_dir/_build && tar cfz pspp-$binary_version.tar.gz pspp-$binary_version");
303     save_result ("binary distribution", "$builddir/$tarball_dir/_build/pspp-$binary_version.tar.gz", 1);
304
305     start_step ("Check");
306     $ok = try_run ("cd $builddir/$tarball_dir/_build && make check", "check");
307     for my $basename ("tests/testsuite.log", "tests/testsuite.dir") {
308         save_result_if_exists ("test logs", "$builddir/$tarball_dir/_build/$basename");
309     }
310     fail () if !$ok;
311
312     start_step ("Uninstall");
313     run ("cd $builddir/$tarball_dir/_build && make uninstall DESTDIR=\$PWD/pspp-$binary_version", "uninstall");
314
315     start_step ("Check uninstall");
316     run ("cd $builddir/$tarball_dir/_build && make distuninstallcheck distuninstallcheck_dir=\$PWD/pspp-$binary_version", "distuninstallcheck");
317
318     # distcleancheck
319 }
320
321 start_step ("Success");
322
323 sub usage {
324     print <<EOF;
325 $0, for building and testing PSPP
326 usage: $0 [OPTIONS] [TARBALL | REPO REFSPEC]
327 where TARBALL is the name of a tarball produced by "make dist"
328    or REPO and REFSPEC are a Git repo and refspec (e.g. branch) to clone.
329
330 Options:
331   --help            Print this usage message and exit
332   --no-binary       Build source tarballs but no binaries.
333   --batch           Do not print progress to stdout.
334 EOF
335     exit(0);
336 }
337
338 sub run {
339     fail () if !try_run (@_);
340 }
341
342 sub try_run {
343     my ($command, $id) = @_;
344
345     print LOG "$command\n";
346
347     my $pid = open (COMMAND, '-|');
348     if (!defined ($pid)) {
349         die "fork failed: $!\n";
350     } elsif (!$pid) {
351         dup2 (1, 2);
352         exec ($command);
353         die "$command: exec failed: $!\n";
354     }
355
356     my ($start) = time ();
357     my ($est_time) = (defined ($id) ? read_timing ($id) : 0);
358
359     local ($|) = 1;
360     my $lines = 0;
361     while (<COMMAND>) {
362         print LOG $_;
363
364         my $elapsed = time () - $start;
365         my $progress = sprintf "%d lines logged, %d s elapsed",
366           $lines++, $elapsed;
367         if ($est_time > 0) {
368             my $left = $est_time - $elapsed;
369             if ($left > 0) {
370                 $progress .= sprintf ", ETA %d s", $left;
371             }
372         }
373         print "\r$progress", " " x (79 - length ($progress)), "\r"
374           unless $batch;
375     }
376     close (COMMAND);
377     print "\r", " " x 79, "\r" unless $batch;
378
379     write_timing ($id, time () - $start) if defined ($id);
380
381     return 1 if !$?;
382
383     if ($? & 127) {
384         printf STDERR "%s: child died with signal %d, %s coredump\n",
385           $command, ($? & 127),  ($? & 128) ? 'with' : 'without';
386     } else {
387         printf STDERR "%s: child exited with value %d\n", $command, $? >> 8;
388     }
389     return 0;
390 }
391
392 sub read_timing {
393     my ($id) = @_;
394     open (TIMINGS, "<", "$topdir/timings") or return 0;
395     while (<TIMINGS>) {
396         chomp;
397         my ($key, $value) = /^([^=]+)=(.*)/ or next;
398         return $value if $key eq $id;
399     }
400     close (TIMINGS);
401     return 0;
402 }
403
404 sub write_timing {
405     my ($id, $time) = @_;
406
407     open (NEWTIMINGS, ">", "$topdir/timings.tmp$$") or return;
408
409     if (open (OLDTIMINGS, "<", "$topdir/timings")) {
410         while (<OLDTIMINGS>) {
411             if (my ($key, $value) = /^([^=]+)=(.*)/) {
412                 next if $key eq $id;
413             }
414             print NEWTIMINGS $_;
415         }
416         close (OLDTIMINGS);
417     }
418
419     print NEWTIMINGS "$id=$time\n";
420     close (NEWTIMINGS);
421
422     rename ("$topdir/timings.tmp$$", "$topdir/timings");
423 }
424
425 sub fail {
426     die "Build failed, refer to:\n\t$logfile\nfor details.\n";
427 }