dictionary: Use hmap instead of older hsh_table.

The greatest benefit of this change is that it allows dict_lookup_var() to
avoid creating and destroying a whole variable just to look one up by name.

hmapx: New function hmapx_clear().

hmap: New function hmap_clear().

variable: Remove unneeded assertions.

These assertions are already effectively checked anyhow, since the program
will already segfault if passed a null pointer.

dictionary: Remove unneeded assertions.

These assertions are already effectively checked anyhow, since the program
will already segfault if passed a null pointer.

vardict: Make vardict opaque to variable code.

Make struct variable refer to struct vardict through a pointer.

This will allow the dictionary to integrate struct vardict into itself in
an upcoming commit.

Make "internal variables" part of a dictionary.

The "internal variables" created by var_create_internal() are somewhat of
a nasty corner case in the PSPP dictionary and variable implementation,
because they are the only variables that have a case index and
dictionary index but do not belong to a dictionary.  This commit fixes
that wart, by putting internal variables in a dictionary that is used just
for them.  It adds an assertion to var_set_vardict() to ensure that this
is now an invariant property.

As part of the change, var_create_internal() is renamed
dict_Create_internal_var() and moved to dictionary.c, since it fits better
there.  Also, a new function dict_destroy_internal_var() must now be used
to destroy internal variables.

The dictionary indexes of internal variables are no longer unique
process-wide.  A previous commit eliminated the dependencies on this
property.

variable: Introduce and use new function var_get_encoding().

These changes seem like slight cleanups since they eliminate a function
parameter in these cases.

dictionary: Fix memory leak in dict_set_encoding().

If this function was called more than once for a given dictionary then all
but the final encoding name would be leaked.

dictionary: Fix potential access beyond allocated memory.

This code replaces the dictionary's "var" array by another one, so it must
either update "var_cap" to the allocated size or allocate "var_cap" (not
"var_cnt") elements.  I chose the latter fix.

Get rid of unnecessary uses of var_get_dict_index().

Some code used the result of var_get_dict_index() on a pair of variables to
tell whether the variables are the same.  This is unnecessary: v1 == v2
works just as well.

Other code used the result of var_get_dict_index() as part of a hash value
computation.  This is reasonable, but it is even better just to hash the
pointer to the variable.

hash-functions: New function hash_pointer().

examples: Remove obsolete Makefile.am.

The build is now done through automake.mk (and has been for a long time
now).

Update to most recent gnulib.

dict: Make dict_clone_var(), dict_clone_var_assert() not rename variables.

Most uses of dict_clone_var() and dict_clone_var_assert() do not involve
renaming variables, but the interface assumes that renaming is the common
case.  This commit changes their interfaces to not support renaming and
adds new functions dict_clone_var_as() and dict_clone_var_as_assert() to
support renaming during cloning.

bt: Improve code formatting.

bt: New function bt_is_empty().

psppire: Use default GTK+ font in output shown in GUI.

This makes the output look more consistent with the rest of the interface.

I didn't see an easy way to get a "default" monospace font.  GTK+ doesn't
seem to have one.

Reported by John Darrington.

FREQUENCIES: Simplify code for sorting the frequency table.

FREQUENCIES: Get rid of final (non-const) file-scope variable.

FREQUENCIES: Move file-scope variables for charts into struct frq_proc.

FREQUENCIES: Move file-scope variables for stats into struct frq_proc.

FREQUENCIES: Move file-scope variables for percentiles into struct frq_proc.

FREQUENCIES: Move file-scope variable syntax_pool into struct frq_proc.

FREQUENCIES: Eliminate file-scope variables n_variables, v_variables.

Also, as a nice side effect, FREQUENCIES no longer uses the variable
auxiliary data feature, which is ugly at best.

FREQUENCIES: Get rid of unused data_pool.

FREQUENCIES: Capitalize names of enums.

This is just a cleanup for consistency with the style used elsewhere in
PSPP.

FREQUENCIES: Use newer hmap library instead of older hsh_table library.

The FREQUENCIES procedure can use some cleanup.  Here's one step.

value: New function value_clone().

array: Fix indentation.

INSTALL: libintl is also required.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

INSTALL: Remove duplicate pkg-config requirement.

gui: Add charts, additional formatting feature to FREQUENCIES dialog.

Partial fix for bug #27832 "Wishlist: graphic output in GUI".

tests: Integrate FREQUENCIES tests into Autotest testsuite.

FREQUENCIES: Modernize syntax and improve chart support.

The FREQUENCIES syntax was carrying a lot of baggage from old versions
that is no longer mentioned in the SPSS syntax reference.  This commit
removes support for those obsolete features.

The implementation only supported a single chart at a time.  Now it
supports pie charts and histograms in a single command.  The MIN and
MAX format options are now implemented, as are the MISSING/NOMISSING
options for pie charts.  (The FREQ/PERCENT options are still not
implemented.)

Also update documentation to match.

FREQUENCIES: Use Freedman-Diaconis formula to choose histogram bin width.

Recently the FREQUENCIES procedure adopted Sturges' formula, more or less
arbitrarily, to choose the bin width of histograms.  Gaj Vidmar
<gaj.vidmar@mf.uni-lj.si>, however, recommended the Freedman-Diaconis
formula instead, so this commit adopts that formula instead.

Tested with only a few examples.

FREQUENCIES: Add ability to calculating percentiles without showing them.

This feature is not used yet, but it will be in an upcoming commit.

tab: Add debugging checks to tab_hline() to match those for tab_vline().

I'm not sure that this is really a good approach, but we might as well be
consistent.

FREQUENCIES: Fix spelling error in dialog box text.

DESCRIPTIVES: In GUI, generate Z scores immediately instead of deferring.

Having the Z scores variable show up immediately, but not the actual Z
scores, confuses users.

Reported by Douglas A Ferguson <FergusonD@cofc.edu>.

gui: Fix build problem (missing header #include).

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

gui: Merge File|Open|Syntax and File|Open|Data into File|Open.

In playing with the GUI, I've found it increasingly annoying to have to
click an extra time to tell PSPPIRE whether I want to open a data file or
a syntax file.  There's no need for that--it can easily figure out what
kind of file it's being asked to read.  This commit implements that
behavior.

FREQUENCIES: Choose number of bins for histogram based on valid cases.

Until now, histograms have always had exactly 11 bins.  There is no
"correct" number of bins, but a fixed number of bins also seems less than
ideal.  Use Sturges' formula, instead, to choose the number of bins.

Reported by Erik Frebold <efrebold@interchange.ubc.ca>.

configure: Check for glib-genmarshal program at configure time.

The GUI build cannot succeed without glib-genmarshal, so it seems like a
good idea to fail earlier.

Related to bug #28959, reported by Harry Thijssen.

CROSSTABS: Make 3-way crosstabulation work reasonably.

As reported in bug #27452, until now 3-way crosstabulations have completely
failed to work.  This commit makes them work, apparently correctly at
first glance.  Only the actual crosstabulation tables have been tested; it
is likely that statistics tables still do not display correctly or cause
runtime failures.

tab: Drop redundant assertions.

There is not much value in asserting that a pointer parameter is non-null
if that parameter is always dereferenced.

tests: Fix bug in NPAR TESTS subtest for CHISQUARE command.

Reported by John Darrington.

CROSSTABS: Rewrite tests in Autotest and add test for bug #27883.

terminal UI: Fix circumstances when errors should be logged to stdout.

The logic here was supposed to be that, if errors weren't already being
logged explicitly and if no output driver was already directed to stdout,
then send errors to standard output.  But one of the conditions was
reversed.  This fixes the problem.

CROSSTABS: Initialize hash tables for every split, not just once overall.

Fixes bug #27883, reported by Jason Stover.

procedure: Fix LIST procedure (and others) in GUI.

John Darrington reported that the following syntax makes PSPPIRE
crash:

    data list list /alpha * beta * gamma *.
    begin data.
    1 2 3
    4 5 6
    end data.

    list.

The problem is that the GUI output driver keeps a reference to the
output_items that are submitted to it.  An output_item that in turn
has a reference to the casereader for the procedure casereader (that
is, the casereader returned by proc_open()), which currently is LIST
and few if any other procedures, then causes an assertion failure in
proc_commit().  This is because until now a precondition of
proc_commit() has been that the procedure casereader be closed, which
is what the assertion enforces.

This commit fixes the problem by getting rid of the precondition on
proc_commit().  Now the procedure casereader's lifetime may be
extended arbitrarily.  This should help take PSPP output in the
direction that I want it to go, where more and more output is
generated directly or semi-directly from casereaders, as the LIST
procedure now does.

casereader: Factor buffering shim out into separate source file.

This moves the "shim" code out of casereader.c into a separate
casereader-shim.[ch] in preparation for using it from procedure.c.

This commit also adds an optimization: if the shim reads all of the
subreader, then it closes the subreader immediately, instead of waiting
for the shim itself to be destroyed. This can allow resources to be freed
earlier.

This commit also adds a new function casereader_shim_slurp().  This
function will be used for the first time in the following commit.

configure: Always apply zlib crc32() rename fix.

PSPP can link against zlib indirectly even if it doesn't link directly, so
it is simplest to always rename gnulib's crc32() to gl_crc32().

Reported by John Darrington.

gui: Save positions of windows only when they are closed.

When windows in the GUI are moved around the desktop or resized, the
machine's disk can thrash madly in some setups.  This is because each
change in a window's position or size triggers a write to the PSPPIRE
preferences file noting the new position as a default for the next
PSPPIRE run.  It wasn't always a problem, but newer Glib versions call
fsync() from g_file_set_contents(), the function used to write the
preferences file, which bypasses the OS cache and forces a synchronous
disk write.

This commit makes PSPPIRE update the preferences file only when a window
is closed, which fixes the problem.  Avoiding g_file_set_contents() would
be another reasonable solution.

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

po: Update Dutch translation.

From Harry Thijssen via translationproject.org.

Fix zlib problem introduced by linking against gnulib's crc32() function.

Diagnosed by John Darrington.

odt: Remove dependency on external "zip" program.

csv: Fix setting output file name.

The output file named used to be provided as an option named "output-file",
but now it is a separate argument to the "create" function.  This had
been overlooked for the CSV driver, so that it always produced output in
a file named "pspp.csv", but this commit fixes the problem.

gui: Fix File|Export in output viewer.

Commit f51ecb480 "Greatly simplify PSPP configuration" changed how PSPP
output drivers are configured but failed to completely update the
implementation of File|Export to match.  This commit fixes the problem.

A few problems, perhaps not connected, linger:

    * The CSV driver appears to always output to "pspp.csv" when invoked
      from the GUI, regardless of the requested file name.

    * The ODT driver appears to be broken.

Reported by John Darrington <john@darrington.wattle.id.au>.

gui: Suggest viewing the user manual online if starting Yelp fails.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

AUTHORS, THANKS: Add additional credits for translators.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

Remove obsolete TODO file.

Suggested by Harry Thijssen <pspp@sjpaes.nl>.

gnumeric-reader: Avoid convert_xml_string_to_value segfault on NULL string

If the 'xv' argument is null, the previous version of this code would
still dereference it.  This commit rewrites it to instead just set the
value as missing and avoid the segfault.  It also takes advantage of the
fairly recently added function value_copy_str_rpad() to eliminate some
code.

NPAR TESTS: Avoid segfault in do_summary_box() if descriptives disabled.

Found by Clang (http://clang-analyzer.llvm.org).

q2c: Mark functions that do not return NO_RETURN.

q2c: Fix format string errors.

These calls to write blank lines have caused warnings before, so introduce
a new function just for the purpose so that any future warnings can be
fixed in a single place.

Fix format string errors.

Found by Clang (http://clang-analyzer.llvm.org).

FREQUENCIES: Fix corner case for histogram calculation.

calc_stats() assumes that ft->n_valid is nonzero.  It has two callers, but
only one of them was checking ft->valid.  The other one (which produces a
histogram) is fixed up by this commit.

Found by Clang (http://clang-analyzer.llvm.org).

gui: Fix theoretical comparison against garbage pointer.

Presumably gtk_tree_model_iter_n_children() never returns a negative value,
but in case it ever could, this eliminates a comparison against an
uninitialized 'v1' value.

Found by Clang (http://clang-analyzer.llvm.org).

gui: Fix null pointer dereference in get_object_assert().

This function was checking whether o == NULL and then blindly
dereferencing it after it found it to be so.

Found by Clang (http://clang-analyzer.llvm.org).

moments: Fix null pointer dereference in calc_moments().

Found by Clang (http://clang-analyzer.llvm.org).

MISSING VALUES: Fix free of indeterminate pointer.

If the main "while" loop in this function falls through immediately without
ever executing its body, then 'v' is passed to free() without ever being
initialized.

Found by Clang (http://clang-analyzer.llvm.org).

Build the ODT driver only if libxml2 is available.

Reported by Michel Boaventura <michel@michelboaventura.com>.

doc: Do not remove pspp.xml upon "make distclean".

Reported by Harry Thijssen <pspp@sjpaes.nl>.

testsuite: Don't check pspp version with AT_TESTED.

AT_TESTED is for reporting the versions of binaries that you test, but
the testsuite doesn't currently test the "pspp" binary.  More
importantly, the Makefile doesn't ensure that the "pspp" binary is in
$PATH when the testsuite runs, which can cause a spurious test failure.

perl-module: Automatically update PSPP.pm version number check.

Until now the $PSPP::VERSION variable was hard-coded in the source tree
and had to be manually updated whenever configure.ac was updated to
specify a new version number.  This is easy to forget.  So this commit
makes perl-module/lib/PSPP.pm a generated file, with the value of
$PSPP::VERSION automatically expanded from the @VERSION_FOR_PERL@
variable already set up by "configure".

FACTOR: Avoid freeing indeterminate pointer.

The first test in cmd_factor() is:
    if (!lex_force_match_id (lexer, "VARIABLES"))

If this fails, then control jumps to the "error" label, which frees
factor.vars, which has not been initialized at this point.

This commit fixes the problem by initializing factor.vars to NULL.  It is
not strictly necessary to also initialize factor.n_vars to 0, but it seems
like a good idea.

Found by Clang (http://clang-analyzer.llvm.org).

configure.ac: Update version number to 0.7.4 to release new POT file.

translationproject.org needs a version number increment to receive a new
pspp.pot.

Allow more version number flexibility, by using Automake "gnu" mode.

The "gnits" mode that PSPP has used for some time constrains version
numbers considerably.  For example, it prevents using two hyphens in the
version number to indicate, for instance, a prerelease and a Git commit
number like 0.8.0-pre1-g12345678.

This commit changes PSPP to use "gnu" mode instead, and then to also
enable the extra options that "gnits" mode enabled automatically
that we still want to use.

The Automake manual discourages using "gnits" mode anyhow:

     ...Unless you are a Gnits standards contributor, it is
     recommended that you avoid this option until such time as the Gnits
     standard is actually published (which may never happen).

RELIABILITY: Make expected test results reflect "N of Items" capitalization.

Also update the documentation.

Include the .glade files in pspp.pot, not just the .ui files.

Reported by Harry Thijssen <pspp@sjpaes.nl>.

RELIABILITY: Consistently capitalize "N of Items".

Reported by Harry Thijssen <pspp@sjpaes.nl>.

FACTOR: Mark translatable string as not a printf format string.

gettext uses a heuristic to guess whether a translatable string is a printf
format string.  In this case, it guesses wrong, so add a comment that tells
gettext that "% of Variance" is not a format string.

Without this change, the translationproject.org robot rejects translations.

Reported by fxmiguel@gmail.com.

odt: Restore writing creator metadata.

Commit 4d7a2ed5 "odt: Remove dependency on <pwd.h> because mingw32 does
not have it" stopped writing creator metadata to ODT output files.  This
commit adds it back, but only on systems that have <pwd.h>.

This commit also adds avoids a null pointer dereference if getpwuid()
returns NULL.  That should happen only rarely, but it is best to handle it
properly.

At John Darrington's request.

Smake: Add mkdtemp module, used by odt output driver.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

levene: Write null pointers as NULL instead of as 0.

Using 0 as a null pointer constant is not incorrect but NULL is the style
used in most of PSPP.

Found using coccinelle and coccicheck (http://coccinelle.lip6.fr/).

gui: Remove write-only variable 'new_type' from on_var_type_ok_clicked().

Found using coccinelle and coccicheck (http://coccinelle.lip6.fr/).

output: Support --without-cairo.

This was supposed to be supported all along, but I forgot to test it before
I did a commit.

Reported by Michel Boaventura <michel@michelboaventura.com>.

odt: Remove dependency on <pwd.h> because mingw32 does not have it.

The "meta:initial-creator" and "meta:creator" fields do not seem to me to
be important enough to have to deal with this dependency.

Reported by unknown-1 <pspp@sjpaes.nl>.

hmap-test: Disable ordered insert tests on GCC 4.3.

GCC 4.3 miscompiles this test (although it does not seem to miscompile
any important code actually in PSPP) so disable it to avoid spurious
failures from "make check".

Smake: Remove unused gethostname, getlogin_r, strsep modules.

gethostname in particular has caused problems in the past on mingw32, so
it is good to get rid of it.

output: Phrase output driver error messages more consistently.

This should aid translation.

Merge "output" into "master"

output: Make errors, warnings, and notes into a new "message_item".

This lets us move the terminal UI's support for writing errors to a file
or to stdout into a new "msglog" output driver, and to convert journaling
from a special case to an output driver of its own.

Greatly simplify PSPP configuration.

This gets rid of the "devices" configuration file entirely.  Now you
can make pspp output to, for example, an HTML file, by invoking it as
"pspp -o out.html".  Please read the documentation for full information.

It would be good to have a way to read options from a file to support,
for example, the IBM-PC or Unicode line drawing characters as implemented
in "devices" in previous versions.  I hope that we can introduce that
soon.

doc: Distribute doc/pspp.xml, so that users don't need makeinfo or xmllint.

Reported by unknown-1 <pspp@sjpaes.nl>.

Update Catalan and Brazilian Portuguese translations.

Add Spanish translation from translationproject.org.

This translation is by F.J.Miguel <Miguel.Quesada@uab.cat> and others.
Miguel included the following note:

I appreciate very much the work of Xavier and Palmira with translation, the
support from coordinators Jordi and Santiago, and the comments from Ben,
John and Michel. Encouragement for those working with other languages!!!

make-file: Fix #includes.

In particular "gl/xvasprintf.h" is needed for xasprintf(), but I took the
opportunity to update the header file style and ordering too.