FREQUENCIES: Get rid of unused data_pool.

FREQUENCIES: Capitalize names of enums.

This is just a cleanup for consistency with the style used elsewhere in
PSPP.

FREQUENCIES: Use newer hmap library instead of older hsh_table library.

The FREQUENCIES procedure can use some cleanup.  Here's one step.

value: New function value_clone().

array: Fix indentation.

INSTALL: libintl is also required.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

INSTALL: Remove duplicate pkg-config requirement.

gui: Add charts, additional formatting feature to FREQUENCIES dialog.

Partial fix for bug #27832 "Wishlist: graphic output in GUI".

tests: Integrate FREQUENCIES tests into Autotest testsuite.

FREQUENCIES: Modernize syntax and improve chart support.

The FREQUENCIES syntax was carrying a lot of baggage from old versions
that is no longer mentioned in the SPSS syntax reference.  This commit
removes support for those obsolete features.

The implementation only supported a single chart at a time.  Now it
supports pie charts and histograms in a single command.  The MIN and
MAX format options are now implemented, as are the MISSING/NOMISSING
options for pie charts.  (The FREQ/PERCENT options are still not
implemented.)

Also update documentation to match.

FREQUENCIES: Use Freedman-Diaconis formula to choose histogram bin width.

Recently the FREQUENCIES procedure adopted Sturges' formula, more or less
arbitrarily, to choose the bin width of histograms.  Gaj Vidmar
<gaj.vidmar@mf.uni-lj.si>, however, recommended the Freedman-Diaconis
formula instead, so this commit adopts that formula instead.

Tested with only a few examples.

FREQUENCIES: Add ability to calculating percentiles without showing them.

This feature is not used yet, but it will be in an upcoming commit.

tab: Add debugging checks to tab_hline() to match those for tab_vline().

I'm not sure that this is really a good approach, but we might as well be
consistent.

FREQUENCIES: Fix spelling error in dialog box text.

DESCRIPTIVES: In GUI, generate Z scores immediately instead of deferring.

Having the Z scores variable show up immediately, but not the actual Z
scores, confuses users.

Reported by Douglas A Ferguson <FergusonD@cofc.edu>.

gui: Fix build problem (missing header #include).

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

gui: Merge File|Open|Syntax and File|Open|Data into File|Open.

In playing with the GUI, I've found it increasingly annoying to have to
click an extra time to tell PSPPIRE whether I want to open a data file or
a syntax file.  There's no need for that--it can easily figure out what
kind of file it's being asked to read.  This commit implements that
behavior.

FREQUENCIES: Choose number of bins for histogram based on valid cases.

Until now, histograms have always had exactly 11 bins.  There is no
"correct" number of bins, but a fixed number of bins also seems less than
ideal.  Use Sturges' formula, instead, to choose the number of bins.

Reported by Erik Frebold <efrebold@interchange.ubc.ca>.

configure: Check for glib-genmarshal program at configure time.

The GUI build cannot succeed without glib-genmarshal, so it seems like a
good idea to fail earlier.

Related to bug #28959, reported by Harry Thijssen.

CROSSTABS: Make 3-way crosstabulation work reasonably.

As reported in bug #27452, until now 3-way crosstabulations have completely
failed to work.  This commit makes them work, apparently correctly at
first glance.  Only the actual crosstabulation tables have been tested; it
is likely that statistics tables still do not display correctly or cause
runtime failures.

tab: Drop redundant assertions.

There is not much value in asserting that a pointer parameter is non-null
if that parameter is always dereferenced.

tests: Fix bug in NPAR TESTS subtest for CHISQUARE command.

Reported by John Darrington.

CROSSTABS: Rewrite tests in Autotest and add test for bug #27883.

terminal UI: Fix circumstances when errors should be logged to stdout.

The logic here was supposed to be that, if errors weren't already being
logged explicitly and if no output driver was already directed to stdout,
then send errors to standard output.  But one of the conditions was
reversed.  This fixes the problem.

CROSSTABS: Initialize hash tables for every split, not just once overall.

Fixes bug #27883, reported by Jason Stover.

procedure: Fix LIST procedure (and others) in GUI.

John Darrington reported that the following syntax makes PSPPIRE
crash:

    data list list /alpha * beta * gamma *.
    begin data.
    1 2 3
    4 5 6
    end data.

    list.

The problem is that the GUI output driver keeps a reference to the
output_items that are submitted to it.  An output_item that in turn
has a reference to the casereader for the procedure casereader (that
is, the casereader returned by proc_open()), which currently is LIST
and few if any other procedures, then causes an assertion failure in
proc_commit().  This is because until now a precondition of
proc_commit() has been that the procedure casereader be closed, which
is what the assertion enforces.

This commit fixes the problem by getting rid of the precondition on
proc_commit().  Now the procedure casereader's lifetime may be
extended arbitrarily.  This should help take PSPP output in the
direction that I want it to go, where more and more output is
generated directly or semi-directly from casereaders, as the LIST
procedure now does.

casereader: Factor buffering shim out into separate source file.

This moves the "shim" code out of casereader.c into a separate
casereader-shim.[ch] in preparation for using it from procedure.c.

This commit also adds an optimization: if the shim reads all of the
subreader, then it closes the subreader immediately, instead of waiting
for the shim itself to be destroyed. This can allow resources to be freed
earlier.

This commit also adds a new function casereader_shim_slurp().  This
function will be used for the first time in the following commit.

configure: Always apply zlib crc32() rename fix.

PSPP can link against zlib indirectly even if it doesn't link directly, so
it is simplest to always rename gnulib's crc32() to gl_crc32().

Reported by John Darrington.

gui: Save positions of windows only when they are closed.

When windows in the GUI are moved around the desktop or resized, the
machine's disk can thrash madly in some setups.  This is because each
change in a window's position or size triggers a write to the PSPPIRE
preferences file noting the new position as a default for the next
PSPPIRE run.  It wasn't always a problem, but newer Glib versions call
fsync() from g_file_set_contents(), the function used to write the
preferences file, which bypasses the OS cache and forces a synchronous
disk write.

This commit makes PSPPIRE update the preferences file only when a window
is closed, which fixes the problem.  Avoiding g_file_set_contents() would
be another reasonable solution.

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

po: Update Dutch translation.

From Harry Thijssen via translationproject.org.

Fix zlib problem introduced by linking against gnulib's crc32() function.

Diagnosed by John Darrington.

odt: Remove dependency on external "zip" program.

csv: Fix setting output file name.

The output file named used to be provided as an option named "output-file",
but now it is a separate argument to the "create" function.  This had
been overlooked for the CSV driver, so that it always produced output in
a file named "pspp.csv", but this commit fixes the problem.

gui: Fix File|Export in output viewer.

Commit f51ecb480 "Greatly simplify PSPP configuration" changed how PSPP
output drivers are configured but failed to completely update the
implementation of File|Export to match.  This commit fixes the problem.

A few problems, perhaps not connected, linger:

    * The CSV driver appears to always output to "pspp.csv" when invoked
      from the GUI, regardless of the requested file name.

    * The ODT driver appears to be broken.

Reported by John Darrington <john@darrington.wattle.id.au>.

gui: Suggest viewing the user manual online if starting Yelp fails.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

AUTHORS, THANKS: Add additional credits for translators.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

Remove obsolete TODO file.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

gnumeric-reader: Avoid convert_xml_string_to_value segfault on NULL string

If the 'xv' argument is null, the previous version of this code would
still dereference it.  This commit rewrites it to instead just set the
value as missing and avoid the segfault.  It also takes advantage of the
fairly recently added function value_copy_str_rpad() to eliminate some
code.

NPAR TESTS: Avoid segfault in do_summary_box() if descriptives disabled.

Found by Clang (http://clang-analyzer.llvm.org).

q2c: Mark functions that do not return NO_RETURN.

q2c: Fix format string errors.

These calls to write blank lines have caused warnings before, so introduce
a new function just for the purpose so that any future warnings can be
fixed in a single place.

Fix format string errors.

Found by Clang (http://clang-analyzer.llvm.org).

FREQUENCIES: Fix corner case for histogram calculation.

calc_stats() assumes that ft->n_valid is nonzero.  It has two callers, but
only one of them was checking ft->valid.  The other one (which produces a
histogram) is fixed up by this commit.

Found by Clang (http://clang-analyzer.llvm.org).

gui: Fix theoretical comparison against garbage pointer.

Presumably gtk_tree_model_iter_n_children() never returns a negative value,
but in case it ever could, this eliminates a comparison against an
uninitialized 'v1' value.

Found by Clang (http://clang-analyzer.llvm.org).

gui: Fix null pointer dereference in get_object_assert().

This function was checking whether o == NULL and then blindly
dereferencing it after it found it to be so.

Found by Clang (http://clang-analyzer.llvm.org).

moments: Fix null pointer dereference in calc_moments().

Found by Clang (http://clang-analyzer.llvm.org).

MISSING VALUES: Fix free of indeterminate pointer.

If the main "while" loop in this function falls through immediately without
ever executing its body, then 'v' is passed to free() without ever being
initialized.

Found by Clang (http://clang-analyzer.llvm.org).

Build the ODT driver only if libxml2 is available.

Reported by Michel Boaventura <michel@michelboaventura.com>.

doc: Do not remove pspp.xml upon "make distclean".

Reported by Harry Thijssen <pspp@sjpaes.nl>.

testsuite: Don't check pspp version with AT_TESTED.

AT_TESTED is for reporting the versions of binaries that you test, but
the testsuite doesn't currently test the "pspp" binary.  More
importantly, the Makefile doesn't ensure that the "pspp" binary is in
$PATH when the testsuite runs, which can cause a spurious test failure.

perl-module: Automatically update PSPP.pm version number check.

Until now the $PSPP::VERSION variable was hard-coded in the source tree
and had to be manually updated whenever configure.ac was updated to
specify a new version number.  This is easy to forget.  So this commit
makes perl-module/lib/PSPP.pm a generated file, with the value of
$PSPP::VERSION automatically expanded from the @VERSION_FOR_PERL@
variable already set up by "configure".

FACTOR: Avoid freeing indeterminate pointer.

The first test in cmd_factor() is:
    if (!lex_force_match_id (lexer, "VARIABLES"))

If this fails, then control jumps to the "error" label, which frees
factor.vars, which has not been initialized at this point.

This commit fixes the problem by initializing factor.vars to NULL.  It is
not strictly necessary to also initialize factor.n_vars to 0, but it seems
like a good idea.

Found by Clang (http://clang-analyzer.llvm.org).

configure.ac: Update version number to 0.7.4 to release new POT file.

translationproject.org needs a version number increment to receive a new
pspp.pot.

Allow more version number flexibility, by using Automake "gnu" mode.

The "gnits" mode that PSPP has used for some time constrains version
numbers considerably.  For example, it prevents using two hyphens in the
version number to indicate, for instance, a prerelease and a Git commit
number like 0.8.0-pre1-g12345678.

This commit changes PSPP to use "gnu" mode instead, and then to also
enable the extra options that "gnits" mode enabled automatically
that we still want to use.

The Automake manual discourages using "gnits" mode anyhow:

     ...Unless you are a Gnits standards contributor, it is
     recommended that you avoid this option until such time as the Gnits
     standard is actually published (which may never happen).

RELIABILITY: Make expected test results reflect "N of Items" capitalization.

Also update the documentation.

Include the .glade files in pspp.pot, not just the .ui files.

Reported by Harry Thijssen <pspp@sjpaes.nl>.

RELIABILITY: Consistently capitalize "N of Items".

Reported by Harry Thijssen <pspp@sjpaes.nl>.

FACTOR: Mark translatable string as not a printf format string.

gettext uses a heuristic to guess whether a translatable string is a printf
format string.  In this case, it guesses wrong, so add a comment that tells
gettext that "% of Variance" is not a format string.

Without this change, the translationproject.org robot rejects translations.

Reported by fxmiguel@gmail.com.

odt: Restore writing creator metadata.

Commit 4d7a2ed5 "odt: Remove dependency on <pwd.h> because mingw32 does
not have it" stopped writing creator metadata to ODT output files.  This
commit adds it back, but only on systems that have <pwd.h>.

This commit also adds avoids a null pointer dereference if getpwuid()
returns NULL.  That should happen only rarely, but it is best to handle it
properly.

At John Darrington's request.

Smake: Add mkdtemp module, used by odt output driver.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

levene: Write null pointers as NULL instead of as 0.

Using 0 as a null pointer constant is not incorrect but NULL is the style
used in most of PSPP.

Found using coccinelle and coccicheck (http://coccinelle.lip6.fr/).

gui: Remove write-only variable 'new_type' from on_var_type_ok_clicked().

Found using coccinelle and coccicheck (http://coccinelle.lip6.fr/).

output: Support --without-cairo.

This was supposed to be supported all along, but I forgot to test it before
I did a commit.

Reported by Michel Boaventura <michel@michelboaventura.com>.

odt: Remove dependency on <pwd.h> because mingw32 does not have it.

The "meta:initial-creator" and "meta:creator" fields do not seem to me to
be important enough to have to deal with this dependency.

Reported by unknown-1 <pspp@sjpaes.nl>.

hmap-test: Disable ordered insert tests on GCC 4.3.

GCC 4.3 miscompiles this test (although it does not seem to miscompile
any important code actually in PSPP) so disable it to avoid spurious
failures from "make check".

Smake: Remove unused gethostname, getlogin_r, strsep modules.

gethostname in particular has caused problems in the past on mingw32, so
it is good to get rid of it.

output: Phrase output driver error messages more consistently.

This should aid translation.

Merge "output" into "master"

output: Make errors, warnings, and notes into a new "message_item".

This lets us move the terminal UI's support for writing errors to a file
or to stdout into a new "msglog" output driver, and to convert journaling
from a special case to an output driver of its own.

Greatly simplify PSPP configuration.

This gets rid of the "devices" configuration file entirely.  Now you
can make pspp output to, for example, an HTML file, by invoking it as
"pspp -o out.html".  Please read the documentation for full information.

It would be good to have a way to read options from a file to support,
for example, the IBM-PC or Unicode line drawing characters as implemented
in "devices" in previous versions.  I hope that we can introduce that
soon.

doc: Distribute doc/pspp.xml, so that users don't need makeinfo or xmllint.

Reported by unknown-1 <pspp@sjpaes.nl>.

Update Catalan and Brazilian Portuguese translations.

Add Spanish translation from translationproject.org.

This translation is by F.J.Miguel <Miguel.Quesada@uab.cat> and others.
Miguel included the following note:

I appreciate very much the work of Xavier and Palmira with translation, the
support from coordinators Jordi and Santiago, and the comments from Ben,
John and Michel. Encouragement for those working with other languages!!!

make-file: Fix #includes.

In particular "gl/xvasprintf.h" is needed for xasprintf(), but I took the
opportunity to update the header file style and ordering too.

datasheet-test: Make variable "const".

llx: New function llx_find() to find a pointer in a list.

llx: New macro LLX_INITIALIZER to initialize an llx list statically.

New "string_array" data structure for working with arrays of strings.

Occasionally a dynamic array of strings is very useful, so this commit
adds a set of helper functions for working with them.

verbose-msg: Remove.

This feature is not used very much and in fact is really only useful at all
because it is difficult to understand how PSPP configuration works.
Upcoming commits will make PSPP configuration much simpler, so we drop it
now to simplify the code in advance.

message: Give MSG_ values for categories and severities different prefixes

This reduces confusion in reading and writing code that uses these values.

array: Fix typo in comment.

doc: Be more optimistic about PSPP completion.

configure.ac: Modernize call to AC_INIT so that PACKAGE_URL gets defined.

odt: Avoid assertion failure if "mimetype" file cannot be created.

Triggered by tests/bugs/unwritable-dir.sh.

odt: Fix writing files with names different from pspp.odt.

html: Delete redundant code.

This code was part of an earlier attempt at CSS styling for HTML output.
It does nothing useful, so remove it.

csv: Close pipe files properly.

csv_create() opens the output file with fn_open() so csv_destroy() should
close it with fn_close() to ensure that pipes and the standard file
descriptors are closed properly.

csv: Open output file immediately, instead of delaying.

cairo: Avoid GLib-GObject-CRITICAL from g_object_unref() on error path.

This could be triggered by an error creating the output file, e.g. by
tests/bugs/unwritable-dir.sh.

cairo: Require minimum page width.

A too-narrow page (in particular, a zero-width page) can cause an infinite
loop in the rendering code.

ascii: Remove unimplemented "tab-width" setting.

Make text output left-justified in ascii and cairo drivers.

This only makes a difference for text output that wraps across lines, for
example with long error messages.

msg-ui: Fix typo in user message.

odt: Change default output file name to "pspp.odt".

It seems that "pspp.pdt" was just a typo.

ascii: Fix handling of file open error.

This fixes a hang in tests/bugs/unwritable-dir.sh.

Reported by John Darrington.

pspp: Fix interactive usability for multi-line commands.

Until now, the terminal UI has only flushed output just before reading
the first line of a command.  This generally worked OK because typically
only the final command produced output, not intermediate lines.  But now
every line of a command potentially produces output (e.g. the command name
or the command syntax).  With the ASCII driver that makes the interface
difficult to use because it typically opens and holds open a pipe to an
interactive program such as "more", which in turn turns off terminal echo
etc.

Flushing output before reading each command avoids this problem and makes
the terminal UI more usable.

ascii: Fix closing pipe files in ascii_destroy().

Files that are opened with fn_open() must be closed with fn_close(), but
ascii_destroy() wasn't doing that.  This made a particular difference for
interactive output where fn_close() calls pclose() instead of fclose().

ascii: Fix ascii_flush().

ascii_flush() was not actually flushing the contents of the page, so this
commit changes it to do that.

This change made it clear that the proper place to reset the "y" position
on the page is in ascii_close_page(), so it makes that change too.

message: Fix corner case in msg_emit().

In most cases, msg_emit() initialized the "where" member of the message
passed in.  However, if msg_init() had not yet been called, it did not do
this.  This fixes that corner case.

In addition, one caller of msg_emit() did not initialize these members.  It
is not necessary for both msg_emit() and its callers to do so, but since
most callers did so, this commit simply makes the remaining caller do so
as well, for consistency.

message: Make msg_dup() copy and msg_destroy() free the file name.

This fixes a PSPPIRE bug in its message handling (found by inspection).  It
makes copies of messages to use later.  The file names were not being
copied, so in the meantime it was posible that they would be freed,
yielding a use-after-free error.

Since doing this sensibly required changing the file_name member of
struct msg_locator from "const char *" to "char *", it also touches up
places where this caused new warnings.