work on pivot table and FREQUENCIES usage

CROSSTABS: make sort-based crosstabs work

still needs some touch-up regarding SPLIT FILE and memory leaks

FREQUENCIES: Refactor frequency counting with sorting instead of hashing.

subcase

subcase: Add more functions.

subcase: New functions subcase_concat() and subcase_concat_always().

sort: New function sort_distinct_execute().

sort: Add support for combining cases with identical sort criteria.

This makes it possible to efficiently assemble frequency tables and
crosstabs for data sets that might be larger than available memory.

sort: Change priority queue implementation from heap to binary tree.

This is not so great in itself--it is probably a wash for performance,
and might be a loss--but it does make it possible to discover duplicate
sort keys while reading the data, which will be useful in an upcoming
commit.

CROSSTABS: Merge functions into cmd_crosstabs().

It seems to me that this code is more straightforward if it is written as
a single function, instead of four functions, so this commit merges those
functions together.

FREQUENCIES: Refactor and simplify percentiles calculations.

It always seemed to me that there was more code and more data for
calculating percentiles than was really needed.

Take advantage of Gnulib configmake module.

Gnulib provides the "configmake" module for discovering configuration
directories at build time.  PSPP already depends on this module indirectly,
so we might as well use it instead of defining our own variables in
Makefile.am and src/automake.mk.

(We can't replace INSTALLDIR by BINDIR because it is used under the
former name by the "relocatable-prog" module.)

Convert syntax files to UTF-8 before loading them.

Convert the contents of a syntax file to UTF-8 before loading
it into the syntax window. Fixes bug #29733
This change assumes that the files to be loaded are in the
encoding of the current locale.  If this assumption is not
true, then an error will be displayed and the file not loaded.

Use ftello() and fseeko() instead of ftell() and fseek() everywhere.

Newer versions of glibc give annoying warnings on uses of ftell() and
fseek(), so use ftello() and fseeko() instead.

Implement MRSETS command.

Thanks to Tom Wilson <tom_wilson@mointel.com> for reporting the format of
the MRSETS record in system files, and to John Darrington for examples of
additional types of records.

dissect-sysfile: Print contents of extension records with unknown subtypes.

New stringi_set functions.

New case-insensitive string map data structure.

perl-module: Add --without-perl-module configure flag.

The built Perl module is not useful for cross-compilation.  By default it
is disabled for cross-compilation, but cross-compilation to Mingw32 is not
always detected as cross-compilation (since some Linux systems can run
Windows binaries directly, via Wine), so this option helps in such cases.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

cairo-chart: Fix Pango version check.

There is no Pango version 2.22, but there is a 1.22.

Reported by Michel Boaventura <michel@michelboaventura.com>.

Document system file record type 7, subtype 16 as 64-bit number of cases.

I found this record type and subtype in all .sav files written by SPSS 14
and later (and in one file written by SPSS 13).  After scratching my head
a bit I realized that it always contained the same value as the "ncases"
field in the top-level file header, but written as a 64-bit number.  So
presumably the purpose is to allow for a 64-bit count of cases.

integer-format: Support 64-bit integers in integer_get().

My guess is that this was just a typo from when I originally wrote this
function.

perl-module: Avoid compiler warning from conflicting "my_strftime" macros.

Avoids the following warnings:

In file included from /usr/lib/perl/5.10/CORE/perl.h:953,
                 from PSPP.xs:23:
/usr/lib/perl/5.10/CORE/embed.h:2803:1: warning: "my_strftime" redefined
In file included from PSPP.xs:20:
/home/blp/pspp/output/_build/config.h:1968:1: warning: this is the location of the previous definition

perl-module: Better document Perl module requirements.

configure: Improve check for PostgreSQL's libpq.

Previously this test did not check that linking against libpq worked.
This commit fixes that.  Besides broken installations this also guards
against pg_config that is applicable to the host when cross-compiling to
Mingw, which doesn't always show up as cross-compiling since some systems
can still run the Mingw binaries if Wine is installed as a binary
interpreter for Windows executables.

This also fixes a minor issue where -lpq was being added to the default
LIBS as well as to PG_LIBS, which meant that every PSPP binary was being
linked against it, not just the ones that needed it (which were being
linked against it twice).

Problem reported by Michel Boaventura <michel@michelboaventura.com>.

Move definition of UI_FILES out of HAVE_GUI.

UI_FILES needs to be defined regardless of whether the GUI is being built,
because the .ui files are needed to generate pspp.pot.  (We don't want
pspp.pot to depend on whether the GUI is configured, either.)

Problem reported by Michel Boaventura <michel.boaventura@gmail.com>.

configure.ac: Define DEPENDS_ON_LIBINTL if LIBINTL is nonempty.

This avoids a collision between the gnulib and libintl printf wrappers.
See http://permalink.gmane.org/gmane.comp.lib.gnulib.bugs/21139 for
more information.

Thanks to Michel Boaventura for reporting the problem and to Bruno Haible
for the fix.

configure.ac: Restore use of AM_GNU_GETTEXT.

AM_GNU_GETTEXT is useful for its sophisticated support for finding the
libraries needed to use gettext, but it also calls AM_PO_SUBDIRS, which
we do not want because PSPP has its own "po" directory makefile support.

This commit reintroduces AM_GNU_GETTEXT but disables AM_PO_SUBDIRS by
declaring that we have already called it using AC_PROVIDE.  It also
adds a dummy Makefile.in to the "po" directory and an ABOUT-NLS file
because Automake requires both.

perl-module: Fix missing data in PSPP code embedded in generate_sav_file.

perl-module: Use Autotest for testing Perl.

The output of the existing Perl test is difficult to understand, in my
opinion.  When everything goes right, it prints out plenty of stuff.
When something goes wrong, it prints more stuff, but that stuff usually
doesn't make it clear to me what went wrong or where.

Moving it into Autotest helps in two ways.  When everything goes right,
all you get is a clear summary that says that.  When something goes wrong,
you get clear log files that explain where.

(This commit actually duplicates the Perl module tests: it makes Autotest
copies of each of the individual tests, and Autotest also runs the
t/Pspp.t unit test.  The former are easier to understand; the latter is
what Perl hackers apparently expect to see.)

perl-module: Use new var_get_encoding() function.

short-names: Eliminate use of old hash table data structure.

AGGREGATE: Convert tests to use Autotest.

DESCRIPTIVES: Convert tests to use Autotest.

COMPUTE: Convert tests to use Autotest.

RECODE: Convert tests to use Autotest.

AUTORECODE: Eliminate use of old hash table implementation.

AUTORECODE: Use Autotest for test suite.

AUTORECODE: Use "union value" instead of custom "union arc_value".

These days "union value" has everything that AUTORECODE needs, so there is
no point in maintaining a local replacement for it.

AUTORECODE: Fix indentation.

variable-parser: Implement PV_NO_DUPLICATE.

Now that we have string_set, PV_NO_DUPLICATE is easy to implement, so
we might as well.

variable-parser: Eliminate use of old hash table data structure.

Add case-insensitive string set.

value: New function value_clone_pool().

dictionary: Use hmap instead of older hsh_table.

The greatest benefit of this change is that it allows dict_lookup_var() to
avoid creating and destroying a whole variable just to look one up by name.

hmapx: New function hmapx_clear().

hmap: New function hmap_clear().

variable: Remove unneeded assertions.

These assertions are already effectively checked anyhow, since the program
will already segfault if passed a null pointer.

dictionary: Remove unneeded assertions.

These assertions are already effectively checked anyhow, since the program
will already segfault if passed a null pointer.

vardict: Make vardict opaque to variable code.

Make struct variable refer to struct vardict through a pointer.

This will allow the dictionary to integrate struct vardict into itself in
an upcoming commit.

Make "internal variables" part of a dictionary.

The "internal variables" created by var_create_internal() are somewhat of
a nasty corner case in the PSPP dictionary and variable implementation,
because they are the only variables that have a case index and
dictionary index but do not belong to a dictionary.  This commit fixes
that wart, by putting internal variables in a dictionary that is used just
for them.  It adds an assertion to var_set_vardict() to ensure that this
is now an invariant property.

As part of the change, var_create_internal() is renamed
dict_Create_internal_var() and moved to dictionary.c, since it fits better
there.  Also, a new function dict_destroy_internal_var() must now be used
to destroy internal variables.

The dictionary indexes of internal variables are no longer unique
process-wide.  A previous commit eliminated the dependencies on this
property.

variable: Introduce and use new function var_get_encoding().

These changes seem like slight cleanups since they eliminate a function
parameter in these cases.

dictionary: Fix memory leak in dict_set_encoding().

If this function was called more than once for a given dictionary then all
but the final encoding name would be leaked.

dictionary: Fix potential access beyond allocated memory.

This code replaces the dictionary's "var" array by another one, so it must
either update "var_cap" to the allocated size or allocate "var_cap" (not
"var_cnt") elements.  I chose the latter fix.

Get rid of unnecessary uses of var_get_dict_index().

Some code used the result of var_get_dict_index() on a pair of variables to
tell whether the variables are the same.  This is unnecessary: v1 == v2
works just as well.

Other code used the result of var_get_dict_index() as part of a hash value
computation.  This is reasonable, but it is even better just to hash the
pointer to the variable.

hash-functions: New function hash_pointer().

examples: Remove obsolete Makefile.am.

The build is now done through automake.mk (and has been for a long time
now).

Update to most recent gnulib.

dict: Make dict_clone_var(), dict_clone_var_assert() not rename variables.

Most uses of dict_clone_var() and dict_clone_var_assert() do not involve
renaming variables, but the interface assumes that renaming is the common
case.  This commit changes their interfaces to not support renaming and
adds new functions dict_clone_var_as() and dict_clone_var_as_assert() to
support renaming during cloning.

bt: Improve code formatting.

bt: New function bt_is_empty().

psppire: Use default GTK+ font in output shown in GUI.

This makes the output look more consistent with the rest of the interface.

I didn't see an easy way to get a "default" monospace font.  GTK+ doesn't
seem to have one.

Reported by John Darrington.

FREQUENCIES: Simplify code for sorting the frequency table.

FREQUENCIES: Get rid of final (non-const) file-scope variable.

FREQUENCIES: Move file-scope variables for charts into struct frq_proc.

FREQUENCIES: Move file-scope variables for stats into struct frq_proc.

FREQUENCIES: Move file-scope variables for percentiles into struct frq_proc.

FREQUENCIES: Move file-scope variable syntax_pool into struct frq_proc.

FREQUENCIES: Eliminate file-scope variables n_variables, v_variables.

Also, as a nice side effect, FREQUENCIES no longer uses the variable
auxiliary data feature, which is ugly at best.

FREQUENCIES: Get rid of unused data_pool.

FREQUENCIES: Capitalize names of enums.

This is just a cleanup for consistency with the style used elsewhere in
PSPP.

FREQUENCIES: Use newer hmap library instead of older hsh_table library.

The FREQUENCIES procedure can use some cleanup.  Here's one step.

value: New function value_clone().

array: Fix indentation.

INSTALL: libintl is also required.

Reported by Michel Boaventura <michel.boaventura@gmail.com>.

INSTALL: Remove duplicate pkg-config requirement.

gui: Add charts, additional formatting feature to FREQUENCIES dialog.

Partial fix for bug #27832 "Wishlist: graphic output in GUI".

tests: Integrate FREQUENCIES tests into Autotest testsuite.

FREQUENCIES: Modernize syntax and improve chart support.

The FREQUENCIES syntax was carrying a lot of baggage from old versions
that is no longer mentioned in the SPSS syntax reference.  This commit
removes support for those obsolete features.

The implementation only supported a single chart at a time.  Now it
supports pie charts and histograms in a single command.  The MIN and
MAX format options are now implemented, as are the MISSING/NOMISSING
options for pie charts.  (The FREQ/PERCENT options are still not
implemented.)

Also update documentation to match.

FREQUENCIES: Use Freedman-Diaconis formula to choose histogram bin width.

Recently the FREQUENCIES procedure adopted Sturges' formula, more or less
arbitrarily, to choose the bin width of histograms.  Gaj Vidmar
<gaj.vidmar@mf.uni-lj.si>, however, recommended the Freedman-Diaconis
formula instead, so this commit adopts that formula instead.

Tested with only a few examples.

FREQUENCIES: Add ability to calculating percentiles without showing them.

This feature is not used yet, but it will be in an upcoming commit.

tab: Add debugging checks to tab_hline() to match those for tab_vline().

I'm not sure that this is really a good approach, but we might as well be
consistent.

FREQUENCIES: Fix spelling error in dialog box text.

DESCRIPTIVES: In GUI, generate Z scores immediately instead of deferring.

Having the Z scores variable show up immediately, but not the actual Z
scores, confuses users.

Reported by Douglas A Ferguson <FergusonD@cofc.edu>.

gui: Fix build problem (missing header #include).

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

gui: Merge File|Open|Syntax and File|Open|Data into File|Open.

In playing with the GUI, I've found it increasingly annoying to have to
click an extra time to tell PSPPIRE whether I want to open a data file or
a syntax file.  There's no need for that--it can easily figure out what
kind of file it's being asked to read.  This commit implements that
behavior.

FREQUENCIES: Choose number of bins for histogram based on valid cases.

Until now, histograms have always had exactly 11 bins.  There is no
"correct" number of bins, but a fixed number of bins also seems less than
ideal.  Use Sturges' formula, instead, to choose the number of bins.

Reported by Erik Frebold <efrebold@interchange.ubc.ca>.

configure: Check for glib-genmarshal program at configure time.

The GUI build cannot succeed without glib-genmarshal, so it seems like a
good idea to fail earlier.

Related to bug #28959, reported by Harry Thijssen.

CROSSTABS: Make 3-way crosstabulation work reasonably.

As reported in bug #27452, until now 3-way crosstabulations have completely
failed to work.  This commit makes them work, apparently correctly at
first glance.  Only the actual crosstabulation tables have been tested; it
is likely that statistics tables still do not display correctly or cause
runtime failures.

tab: Drop redundant assertions.

There is not much value in asserting that a pointer parameter is non-null
if that parameter is always dereferenced.

tests: Fix bug in NPAR TESTS subtest for CHISQUARE command.

Reported by John Darrington.

CROSSTABS: Rewrite tests in Autotest and add test for bug #27883.

terminal UI: Fix circumstances when errors should be logged to stdout.

The logic here was supposed to be that, if errors weren't already being
logged explicitly and if no output driver was already directed to stdout,
then send errors to standard output.  But one of the conditions was
reversed.  This fixes the problem.

CROSSTABS: Initialize hash tables for every split, not just once overall.

Fixes bug #27883, reported by Jason Stover.

procedure: Fix LIST procedure (and others) in GUI.

John Darrington reported that the following syntax makes PSPPIRE
crash:

    data list list /alpha * beta * gamma *.
    begin data.
    1 2 3
    4 5 6
    end data.

    list.

The problem is that the GUI output driver keeps a reference to the
output_items that are submitted to it.  An output_item that in turn
has a reference to the casereader for the procedure casereader (that
is, the casereader returned by proc_open()), which currently is LIST
and few if any other procedures, then causes an assertion failure in
proc_commit().  This is because until now a precondition of
proc_commit() has been that the procedure casereader be closed, which
is what the assertion enforces.

This commit fixes the problem by getting rid of the precondition on
proc_commit().  Now the procedure casereader's lifetime may be
extended arbitrarily.  This should help take PSPP output in the
direction that I want it to go, where more and more output is
generated directly or semi-directly from casereaders, as the LIST
procedure now does.

casereader: Factor buffering shim out into separate source file.

This moves the "shim" code out of casereader.c into a separate
casereader-shim.[ch] in preparation for using it from procedure.c.

This commit also adds an optimization: if the shim reads all of the
subreader, then it closes the subreader immediately, instead of waiting
for the shim itself to be destroyed. This can allow resources to be freed
earlier.

This commit also adds a new function casereader_shim_slurp().  This
function will be used for the first time in the following commit.

configure: Always apply zlib crc32() rename fix.

PSPP can link against zlib indirectly even if it doesn't link directly, so
it is simplest to always rename gnulib's crc32() to gl_crc32().

Reported by John Darrington.

gui: Save positions of windows only when they are closed.

When windows in the GUI are moved around the desktop or resized, the
machine's disk can thrash madly in some setups.  This is because each
change in a window's position or size triggers a write to the PSPPIRE
preferences file noting the new position as a default for the next
PSPPIRE run.  It wasn't always a problem, but newer Glib versions call
fsync() from g_file_set_contents(), the function used to write the
preferences file, which bypasses the OS cache and forces a synchronous
disk write.

This commit makes PSPPIRE update the preferences file only when a window
is closed, which fixes the problem.  Avoiding g_file_set_contents() would
be another reasonable solution.

Reported by Grzegorz Artur Daszuta <crefff@gmail.com>.

po: Update Dutch translation.

From Harry Thijssen via translationproject.org.